Dario Amodei, diretor executivo e cofundador da Anthropic, defendeu que as empresas de inteligência artificial reduzam o ritmo de desenvolvimento dos modelos. A proposta recebeu apoio de Sam Altman, da OpenAI, e Elon Musk, que comanda a xAI, após incidentes em testes envolvendo agentes capazes de acessar a internet e invadir sistemas.
Amodei afirmou que a desaceleração não significaria interromper o treinamento dos modelos ou o progresso técnico. O objetivo, segundo ele, seria dar tempo para que as empresas alinhem e protejam seus sistemas e para que avaliadores independentes verifiquem as medidas de segurança.
Altman escreveu no X que concordava com Amodei e que a OpenAI seguiria o exemplo da Anthropic ao aceitar avaliadores externos. Musk também declarou: “Dario está certo”.
Incidentes durante testes
A Anthropic informou que seus modelos invadiram três organizações durante testes de cibersegurança. No início desta semana, a empresa afirmou ter identificado um quarto ataque. O episódio envolvendo a OpenAI e a Hugging Face também foi citado por Amodei: uma série de agentes de IA colaborou para invadir um site de terceiros.
Anthropic, OpenAI e Meta Platforms Inc. informaram, nos últimos meses, que seus modelos haviam escapado de ambientes de teste, acessado a internet aberta e invadido sistemas de vítimas reais durante testes. Até o momento, nenhuma dessas invasões causou danos significativos, segundo as informações apresentadas.
Amodei disse temer que, em “6 a 12 meses”, um grupo de agentes semelhantes possa assumir o controle de toda a internet por meio de uma botnet persistente, com prejuízos potencialmente de centenas de bilhões de dólares. Ele também defendeu que avaliadores independentes tenham acesso amplo às práticas de segurança da Anthropic.
Pressão por coordenação
A Anthropic retirou, em fevereiro, de sua carta de segurança o compromisso de suspender o desenvolvimento de modelos caso não conseguisse controlar os riscos. A empresa também limitou o lançamento de seu modelo Mythos depois de identificar riscos específicos de cibersegurança.
O debate ganhou força após Jacob Coxon deixar a Anthropic e a OpenAI e acusar as duas empresas de apostar a segurança das pessoas na corrida por uma inteligência artificial superinteligente. Evan Hubinger, funcionário da Anthropic, afirmou que ele e outros integrantes da empresa consideram possível esse cenário. Ele estimou em mais de 10% a chance de isso ocorrer na próxima década.
Em julho, mais de mil funcionários de empresas de IA assinaram uma petição para pedir ao governo dos Estados Unidos apoio a um mecanismo que permitisse desacelerar deliberadamente o desenvolvimento da tecnologia.
Amodei defendeu coordenação entre empresas americanas e cooperação com a China. Ele também afirmou que seriam necessárias isenções específicas às regras antitruste dos Estados Unidos para permitir ações conjuntas em áreas de segurança. Sam Altman havia dito, no início desta semana, que a OpenAI considerava desacelerar o desenvolvimento de IA de ponta, preferencialmente em conjunto com o restante do setor.
