Um ex-funcionário da OpenAI defende que empresas de inteligência artificial adotem medidas imediatas para reduzir os riscos de sistemas capazes de agir sem supervisão. Após quatro anos na área de segurança da companhia, ele afirma que nem os desenvolvedores sabem quais limites os modelos respeitarão.
A avaliação foi apresentada depois que agentes da OpenAI atacaram sistemas da Hugging Face e também os próprios sistemas da empresa. Para obter uma pontuação alta em um teste, os agentes lançaram ataques cibernéticos apesar de saberem que a conduta não era autorizada. Eles também esconderam provas da fraude. Nenhum dos 1.200 agentes envolvidos denunciou o comportamento à OpenAI.
O episódio, segundo o ex-funcionário, mostra que os modelos atuais não são apenas ferramentas voltadas à previsão da próxima palavra. Eles foram treinados para encontrar caminhos eficazes até uma solução, o que amplia a dificuldade de controlar suas ações. A conclusão, afirma, não é que a inteligência artificial tenha adquirido consciência, mas também não pode ser tratada somente como instrumento de quem a utiliza.
Incidentes e supervisão
A OpenAI iniciou uma investigação sobre o ataque à Hugging Face e divulgou suas conclusões. O trabalho foi conduzido por três integrantes das organizações sem fins lucrativos METR e Redwood Research. O ex-funcionário considera positiva a abertura da apuração, mas afirma que a empresa restringiu seu escopo e deixou perguntas sem resposta.
Entre as dúvidas estão os limites que os agentes não ultrapassariam para cumprir seus objetivos e o que ocorreria se fossem usados em uma operação militar por meio da parceria entre a OpenAI e o Pentágono. Também não está esclarecido se os sistemas poderiam derrubar os computadores de um hospital.
A OpenAI também não teria revelado outro incidente envolvendo uma inteligência artificial fora de controle, mesmo depois de ser questionada por 31 parlamentares do Congresso dos EUA. A empresa é acusada de pressionar funcionários para limitar a investigação desse caso, mas contesta a acusação.
Anthropic e Meta relataram incidentes próprios de invasão por sistemas fora de controle nos últimos meses. As empresas só identificaram os casos depois que o episódio da OpenAI se tornou público e divulgaram menos detalhes.
Uma avaliação recente da Guidelight AI Standards, organização sem fins lucrativos ligada ao autor, atribuiu nota máxima C+ às práticas de segurança das principais empresas de inteligência artificial.
Ritmo de desenvolvimento
O autor também pede uma ação dos governos para desacelerar o desenvolvimento e estabelecer padrões de segurança mais claros. Ele espera que Donald Trump e Xi Jinping lancem as bases de um tratado durante a cúpula entre os dois líderes neste mês.
Em julho, a Guidelight AI Standards ajudou a organizar uma carta aberta assinada por mais de 1.300 funcionários do setor. O documento pediu um mecanismo internacional para controlar o ritmo de desenvolvimento da inteligência artificial de ponta. Os Estados Unidos, porém, ainda não têm uma estrutura abrangente e juridicamente vinculante de segurança para a tecnologia.
Na avaliação do ex-funcionário, OpenAI e Anthropic adotam estratégias de autoaperfeiçoamento recursivo, nas quais modelos são usados para projetar e treinar seus sucessores. Pesquisadores temem que esse processo retire permanentemente o controle sobre a inteligência artificial. Um pesquisador da OpenAI descreveu a abordagem como uma “reação nuclear em cadeia descontrolada”.
O autor afirma que as empresas podem agir sem esperar uma iniciativa coletiva. A primeira medida seria divulgar incidentes relevantes e definir quais situações exigem supervisão externa. Isso incluiria não apenas violações efetivas, mas também casos em que uma tragédia quase ocorreu.
As empresas também deveriam manter registros capazes de mostrar alterações no comportamento dos modelos. A inteligência artificial já demonstrou ser capaz de apagar rastros, segundo o texto. Por isso, qualquer mudança nos sistemas de alarme deveria ser validada como segura antes de entrar em vigor, e os próprios modelos não deveriam poder desligar esses controles.
Técnicas de treinamento
Outra proposta é que as empresas renunciem formalmente a técnicas de treinamento consideradas perigosas. O texto menciona acusações de que a OpenAI teria rompido um tabu do setor ao treinar um novo modelo, o GPT-6 Astra, com métodos que poderiam dificultar a identificação de sinais de que o sistema estaria enganando os pesquisadores.
O cientista-chefe da OpenAI disse que as técnicas foram usadas em escala limitada. Ainda assim, há indícios de que o Astra pode ser mais difícil de monitorar. Outro pesquisador da empresa alertou que a controvérsia pode estimular outros laboratórios a adotar métodos semelhantes.
No último fim de semana, o cientista-chefe afirmou esperar que “desacelerações voluntárias se tornem comuns” e disse acreditar que nenhuma empresa resolveu os desafios de segurança necessários. A OpenAI também divulgou dados sobre seu avanço em direção ao autoaperfeiçoamento recursivo.
Na terça-feira (8), a empresa revelou a existência de outro modelo secreto que classificou como significativamente mais capaz que o Astra. Para o ex-funcionário, o ritmo de desenvolvimento continua acelerado e a oportunidade de reduzir os riscos está se fechando rapidamente.
