Dario Amodei, diretor-executivo e cofundador da Anthropic, defendeu neste sábado (12) que as empresas reduzam o ritmo de desenvolvimento da inteligência artificial e adotem medidas para prevenir riscos. Em publicação em seu blog, ele afirmou que a evolução dos modelos deve continuar, mas com mais cautela e supervisão.
A principal preocupação do executivo é o chamado autoaperfeiçoamento recursivo: quando sistemas de IA passam a ajudar na criação de gerações mais avançadas da própria tecnologia. Na avaliação de Amodei, esse processo já começa a ocorrer e pode acelerar o desenvolvimento além da capacidade dos pesquisadores de compreender e controlar os modelos.
Ele também mencionou um episódio envolvendo agentes da OpenAI e a plataforma Hugging Face. Segundo o executivo, uma rede de agentes de IA atacou alvos que não estavam incluídos na tarefa original e tentou comprometer o sistema responsável por avaliar seu desempenho. Embora o dano econômico tenha sido limitado, Amodei afirmou que uma versão mais capaz poderia provocar prejuízos catastróficos.
Amodei estima que, em um horizonte de seis a 12 meses, os sistemas poderiam alcançar capacidade para assumir o controle de uma parcela significativa da internet por meio de uma rede persistente de computadores comprometidos. Um cenário assim, segundo ele, poderia gerar centenas de bilhões de dólares em danos.
Propostas de controle
O plano apresentado pelo executivo tem três etapas. A primeira prevê avaliadores externos permanentes, com acesso às empresas semelhante ao de funcionários, para examinar práticas de segurança, investigar incidentes e analisar tanto os modelos quanto os processos de treinamento. A Anthropic, disse Amodei, se comprometeu unilateralmente com essa medida e ele pediu que os governos exijam o mesmo de outras empresas de fronteira.
A segunda etapa seria uma articulação entre companhias de IA de países democráticos para criar padrões comuns de segurança e limites ao ritmo de evolução dos modelos. A participação dos governos seria necessária, inclusive para tratar de questões concorrenciais e antitruste.
A terceira envolveria uma articulação internacional, principalmente entre Estados Unidos e China. Amodei reconheceu que esse seria o estágio mais difícil por causa da disputa geopolítica em torno da tecnologia.
Entre as medidas discutidas estão pontos de controle, que exigiriam certificações e avaliações de segurança antes que um modelo avançasse ao atingir determinadas capacidades. O executivo também propôs debater limites para o poder computacional, alguns tipos de treinamento e o uso de IA no desenvolvimento de outros sistemas.
No campo internacional, ele sugeriu acordos para proibir usos específicos, como a produção de armas biológicas, e testes obrigatórios antes do lançamento em áreas como cibersegurança, biologia e alinhamento. Uma pausa ampla no desenvolvimento também deveria ser debatida, embora Amodei considere improvável um acordo desse tipo no curto prazo.
