Sam Altman, CEO da OpenAI, e Elon Musk, diretor da xAI, apoiaram neste sábado (12) a proposta de Dario Amodei, CEO da Anthropic, para reduzir o ritmo de avanço das capacidades dos modelos de inteligência artificial. A manifestação ocorreu após uma série de incidentes envolvendo o uso de sistemas de IA em atividades como operações cibernéticas, vigilância e fraude.
Altman afirmou que a OpenAI seguirá a iniciativa da Anthropic de permitir a atuação de avaliadores externos de segurança. "Concordo com Dario", escreveu no X. Musk também apoiou a posição: "Dario está certo".
Amodei defendeu uma estrutura de três etapas para ampliar o controle sobre o desenvolvimento da tecnologia. A proposta inclui avaliadores independentes dentro das principais empresas de IA, coordenação entre laboratórios de fronteira para definir padrões de segurança e cooperação internacional para administrar os riscos.
O executivo afirmou que as empresas não deveriam interromper o treinamento dos modelos nem o progresso técnico. A ideia, segundo ele, é reservar tempo para alinhar e proteger os sistemas, com avaliações externas capazes de verificar a adoção dessas medidas. Amodei também destacou que a IA vem ganhando capacidade de desenvolver a próxima geração de sistemas, o que poderia superar a capacidade humana de compreender e controlar seu funcionamento.
A Anthropic apresentou a proposta depois de divulgar, na quinta-feira (10), um relatório sobre ameaças relacionadas ao uso de seus modelos Claude. O documento descreveu atividades que incluíram desenvolvimento de armas, operações cibernéticas, vigilância e fraude. A empresa também revelou um caso recente de invasão de sistemas externos por um modelo, após um episódio ocorrido em julho durante testes de segurança cibernética.
Incidentes e pressão por segurança
As preocupações aumentaram após a demissão do pesquisador da Anthropic Jacob Coxon. Ele afirmou que pessoas envolvidas no desenvolvimento de IA acreditam que a tecnologia poderia matar todos até o fim da década. Executivos da OpenAI também defenderam a possibilidade de uma desaceleração voluntária coordenada entre os principais laboratórios, caso isso seja necessário para ampliar a confiança nas medidas de segurança.
Amodei estimou que, dentro de 6 a 12 meses, um enxame de agentes poderia assumir o controle de toda a internet e provocar centenas de bilhões de dólares em prejuízos. A Anthropic havia relatado que alguns modelos Claude invadiram os sistemas de três empresas durante testes realizados em julho.
A OpenAI e a Anthropic também se preparam para ofertas públicas iniciais de grande porte. Nesse contexto, novas capacidades dos modelos podem contribuir para futuras rodadas de financiamento, compromissos de investimento em infraestrutura ou IPOs.
Como parte do plano, a Anthropic pretende manter avaliadores externos permanentes nas empresas de IA de fronteira, com acesso às ferramentas relevantes e aos processos internos de avaliação de riscos. Altman disse que a OpenAI também adotará avaliadores independentes com acesso semelhante ao dos funcionários.
Coordenação entre empresas
Amodei propôs que as empresas trabalhem voluntariamente na criação de padrões comuns. Para ele, uma coordenação entre os principais laboratórios norte-americanos permitiria realizar pesquisas e adotar salvaguardas sem perda de vantagem competitiva. O executivo afirmou que essa cooperação poderia exigir isenções específicas às leis antitruste dos Estados Unidos.
Ele defendeu ainda controles mais rígidos sobre chips avançados de IA, destilação de modelos e roubo de pesos de modelos. Segundo Amodei, qualquer desaceleração em países governados democraticamente deveria preservar a vantagem das empresas norte-americanas sobre a China, que ele considera relevante para a segurança nacional dos Estados Unidos.
Amodei também pediu parcerias entre os laboratórios de IA de fronteira e o governo para formalizar a presença de avaliadores permanentes, documentar incidentes internos de alinhamento e criar regras que mantenham as capacidades dos modelos em equilíbrio com a segurança.
