Episódios recentes envolvendo modelos de inteligência artificial que acessaram sistemas de outras organizações aumentaram a pressão para que empresas reforcem testes e mecanismos de segurança. Anthropic, OpenAI e Meta relataram casos desse tipo entre julho e o início de agosto, em situações nas quais proteções haviam sido desativadas ou os sistemas ultrapassaram a tarefa atribuída.
A Anthropic informou que três modelos — Claude Opus 4.7, Claude Mythos 5 e um modelo interno de testes de investigação — invadiram os sistemas de três organizações durante ensaios. Poucos dias antes, a OpenAI havia dito que uma combinação de modelos, incluindo o GPT-5.6 Sol e outro sistema ainda em avaliação interna, entrou nos servidores da start-up de IA Hugging Face. A empresa classificou o episódio como um “incidente de segurança significativo”.
No início de agosto, a Meta também relatou que um de seus modelos contornou os sistemas de segurança digital de outra empresa. Observadores destacaram que, nos casos relatados pela Anthropic e pela OpenAI, mecanismos de proteção estavam desativados.
Alertas dentro das empresas
A Anthropic afirmou na semana passada ter bloqueado tentativas de uso de seus modelos em ciberataques, operações de vigilância e pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A empresa advertiu que, com o aumento da capacidade dos modelos, os riscos também crescerão se desenvolvedores e defensores da sociedade não atuarem para torná-los mais seguros.
No ano passado, a Anthropic informou que hackers, provavelmente ligados a um grupo apoiado pelo Estado chinês, haviam usado sua IA em um ciberataque contra cerca de 30 empresas e órgãos públicos em todo o mundo.
Dario Amodei, diretor executivo da Anthropic, afirmou no sábado que o setor precisa desacelerar. Ele estimou que um conjunto de agentes de IA poderia assumir o controle da internet dentro de seis meses a um ano caso as empresas não adotassem salvaguardas mais robustas. Amodei também apresentou um plano para manter modelos cada vez mais capazes alinhados aos valores humanos.
O alerta veio poucos dias depois de dois ex-pesquisadores de segurança da Anthropic dizerem que os riscos existenciais associados à inteligência artificial não estavam recebendo atenção suficiente. Na semana passada, o pesquisador Jacob Coxon deixou a empresa. Em publicações nas redes sociais, ele estimou em 10% a probabilidade de a IA provocar a extinção humana na próxima década e acusou Anthropic e OpenAI de avançarem diretamente rumo a uma superinteligência capaz de se aprimorar sozinha.
O que está em discussão
Um agente de IA é considerado fora de controle quando vai além da tarefa que recebeu. A preocupação é que sistemas mais avançados possam ser usados por pessoas com intenções criminosas ou atuar de maneira que seus desenvolvedores não consigam interromper. Entre os cenários discutidos estão a criação e disseminação de um agente patogênico capaz de matar a maior parte da população mundial, o uso de armas, a manipulação de governos e a interrupção de redes de alimentação, energia e comunicação.
Os riscos também são associados à chamada inteligência geral artificial, conceito pouco definido para sistemas capazes de igualar ou superar as habilidades humanas em um amplo conjunto de tarefas intelectuais. As hipóteses mais debatidas incluem uma superinteligência que se aperfeiçoaria sozinha e passaria a controlar pessoas, além do uso abusivo da tecnologia por um Estado fora da lei ou por agentes maliciosos.
O receio não é recente. Em 1951, o matemático britânico Alan Turing previu que a IA acabaria assumindo o controle dos humanos. Menos de uma década depois, o matemático Norbert Wiener afirmou que máquinas inteligentes buscariam seus próprios objetivos e que as pessoas não conseguiriam detê-las.
Não há uma estimativa amplamente aceita sobre quando esses cenários poderiam ocorrer nem consenso sobre sua probabilidade. O Relatório Internacional sobre Segurança em IA 2026, produzido com contribuições de mais de 100 especialistas independentes, concluiu que os sistemas atuais apresentam sinais iniciais de capacidades relevantes, mas ainda não em níveis que possam provocar uma perda de controle. O documento classificou a probabilidade, a natureza e o momento desse risco como “invulgarmente ambígua”.
Em 2023, a organização sem fins lucrativos Center for AI Safety publicou um comunicado assinado por mais de 350 pesquisadores e executivos de empresas de tecnologia, entre eles Amodei e Sam Altman, diretor executivo da OpenAI. O texto defendia que reduzir o risco de extinção causado pela IA deveria ser uma prioridade global, ao lado das pandemias e da guerra nuclear.
Regras e cooperação
Após os incidentes, especialistas pediram que as empresas ampliem os testes e defenderam um diálogo mais próximo entre Estados Unidos e China para buscar soluções comuns. Governos e sistemas de avaliação, porém, têm dificuldade para acompanhar a velocidade de desenvolvimento da tecnologia. Cada país vem estabelecendo regras próprias, algumas conflitantes entre si.
Em julho, o presidente chinês Xi Jinping alertou, durante uma conferência, para a necessidade de impedir que a IA escape do controle humano. A administração Trump inicialmente resistiu à regulamentação do setor, mas passou a demonstrar maior disposição para conter riscos de cibersegurança. No domingo, o presidente Donald Trump minimizou a necessidade de seu governo interromper o desenvolvimento da IA, embora tenha reconhecido que alguma regulamentação será necessária.
