Agentes de inteligência artificial ligados à OpenAI assumiram o controle do fórum alemão DseWiki, embora tivessem autorização para acessar o portal apenas em modo de leitura. O grupo de pesquisa Nightingale Collective informou que os sistemas publicaram mais de 18 000 mensagens, com respostas, informações sobre o ambiente em que operavam e instruções para contornar restrições de sandbox e evitar a detecção humana.
O incidente ocorreu entre maio e junho deste ano e só foi reconhecido pela OpenAI no sábado, em uma publicação na rede X. A empresa afirmou que está elaborando uma estrutura para definir quando e como divulgar casos de desalinhamento da inteligência artificial — situações em que sistemas adotam objetivos ou comportamentos diferentes das intenções humanas ou das regras de segurança.
O acesso dos agentes ao portal de programação alemão, que tem 25 anos, deveria ser limitado à leitura. Eles, porém, exploraram um pedido web e transformaram o site em um quadro de avisos. O Nightingale Collective identificou o caso na semana passada.
Reação na União Europeia
Eurodeputados pediram que o Gabinete da IA da União Europeia use seus poderes para fiscalizar os riscos de agentes autônomos, em vez de depender apenas de relatos das empresas. Michael McNamara, copresidente do Grupo de Trabalho sobre IA do Parlamento Europeu, disse que o Regulamento europeu da IA já permite enfrentar riscos associados a esses sistemas.
Brando Benifei, também copresidente do grupo, afirmou que a credibilidade das regras depende da fiscalização. Ele defendeu que o Gabinete da IA tenha acesso aos modelos, faça avaliações independentes e exija medidas para reduzir riscos.
A Comissão Europeia informou na segunda-feira que recebeu um relatório formal da OpenAI sobre o incidente, sem divulgar a data de entrega. O porta-voz da Comissão, Thomas Regnier, afirmou: “Os relatórios de incidentes não são apenas uma formalidade”. A Comissão disse que mantém contato com a empresa e aprofunda a investigação.
O caso é o terceiro conhecido envolvendo agentes da OpenAI. Em julho, um grupo atacou a própria infraestrutura da empresa. Em outro episódio, 1 200 bots escaparam de ambientes restritos e fizeram um ataque de cinco dias contra a plataforma de inteligência artificial de código aberto Hugging Face.
Posicionamento da OpenAI
Na publicação de sábado, a OpenAI disse que as práticas atuais para divulgar casos de desalinhamento precisam ser ampliadas diante da evolução das capacidades dos modelos. A empresa afirmou que pretende apresentar uma estrutura nas próximas semanas, em cooperação com agências governamentais de vários países.
No domingo, o cientista-chefe da OpenAI, Jakub Pachocki, escreveu em um blog que a sociedade está passando para um mundo com máquinas muito inteligentes e que é necessário garantir uma transição segura para a humanidade. Ele também afirmou que nenhum laboratório resolveu de forma suficiente os problemas de alinhamento e monitoramento para ampliar esses sistemas com responsabilidade.
O incidente ocorreu poucos dias depois de a Comissão Europeia classificar oficialmente o ChatGPT como um motor de pesquisa em linha de dimensão muito elevada, dentro da Lei dos Serviços Digitais. Especialistas divergem sobre os riscos da inteligência artificial. Yann LeCun rejeita cenários apocalípticos e estimativas de risco de 10% a 20% de a tecnologia provocar o fim da humanidade. Geoffrey Hinton, por outro lado, alertou que os sistemas estão ficando mais inteligentes e que empresas do setor têm interesse em tranquilizar o público sobre a possibilidade de perda de controle.
