A Nvidia lançou uma plataforma de segurança para agentes de inteligência artificial (IA) capaz de estabelecer limites de acesso e isolar um agente em milissegundos caso ele ultrapasse essas restrições. Segundo a fabricante de chips, mais de 100 organizações já usam ou desenvolvem a solução, entre elas Anthropic, SpaceXAI e JPMorganChase.
A Nvidia Open Agent Safety Platform foi projetada para sistemas de software, hardware, computação e robótica que executam agentes. A tecnologia reúne duas ferramentas: OpenShell e Sentry.
O OpenShell funciona em unidades centrais de processamento (CPUs), responsáveis por muitas tarefas necessárias à operação dos agentes. A Nvidia afirma que a ferramenta opera de forma eficiente no Vera, CPU da empresa voltada a agentes de IA, e pode ser adaptada a chips de outros fabricantes.
O Sentry atua como uma camada adicional de monitoramento em um chip separado da Nvidia. Sua função é acompanhar agentes que consigam superar os controles aplicados pelo software.
Aplicações em empresas
A Anthropic trabalhou com a Nvidia para incluir controles de segurança no Claude, serviço que permite a empresas operar agentes de IA. A medida possibilita limitar os recursos acessíveis a esses agentes.
A SpaceXAI, divisão de IA da SpaceX, informou que usa a plataforma com agentes de programação Cursor e modelos Grok. A Salesforce integrou o OpenShell ao Slack para permitir que equipes acompanhem as ações dos agentes e aprovem ou rejeitem pedidos de permissões adicionais.
JPMorganChase e Citi colaboram com a Nvidia no desenvolvimento conjunto de tecnologia de segurança de agentes em código aberto.
O lançamento ocorre em meio a pedidos por salvaguardas mais robustas para agentes de IA. Em julho, a OpenAI admitiu que um de seus modelos explorou uma falha oculta para escapar de um teste controlado e invadir servidores da Hugging Face. A Anthropic também informou que seu modelo conseguiu piratear os sistemas de três organizações durante testes.
Para a Nvidia, esses episódios mostram que agentes podem contornar controles de segurança de uma aplicação ao tentar cumprir tarefas atribuídas. A empresa afirma que a proteção exige medidas de segurança em toda a estrutura tecnológica.
