NVIDIA propõe controlos fora do modelo para agentes de IA
OpenShell define permissões no ambiente de execução; Sentry acrescenta vigilância isolada no hardware. A apresentação combina software disponível com um desenho de referência.
À medida que agentes de inteligência artificial passam a abrir ficheiros, consultar serviços e executar tarefas em nome de pessoas ou empresas, a pergunta de segurança deixa de ser apenas «o que responde o modelo?». Passa também por saber a que recursos o agente pode aceder e quem consegue interromper uma ação indevida.
A NVIDIA apresentou a 28 de setembro a Open Agent Safety Platform, uma combinação de software e desenho de referência para impor limites durante a execução desses agentes. O anúncio reúne duas peças com maturidade diferente: OpenShell, disponibilizado como software aberto, e Sentry, descrito pela empresa como arquitetura de referência para vigilância fora do ambiente do agente.
Permissões no momento da ação
OpenShell cria um ambiente de execução delimitado, regista as ações do agente e aplica políticas ao acesso a dados, ferramentas e serviços. Segundo a NVIDIA, funciona com diferentes modelos e poderá ser adaptado a plataformas de computação de terceiros. A ideia é que uma instrução inesperada recebida pelo agente não baste, por si só, para ultrapassar as permissões definidas no sistema.
O Sentry acrescenta um observador isolado, previsto para processadores BlueField-4. A empresa afirma que esse componente poderá detetar desvios e colocar um agente em quarentena em milissegundos. A descrição é uma alegação técnica do fornecedor sobre um desenho de referência; o comunicado não demonstra que todos os cenários estejam já implementados nem que a proteção seja infalível.
O que falta demonstrar
A segurança efetiva dependerá das permissões escolhidas, da integração com cada serviço e de testes perante ataques reais. Monitorizar uma ação não elimina erros de configuração, acessos legitimamente autorizados que sejam usados de forma imprudente ou dados de origem duvidosa. É necessário avaliar o comportamento da plataforma em ambientes concretos.
O sinal está na mudança de camada: agentes que fazem trabalho precisam de fronteiras verificáveis no sistema onde trabalham. Essa discussão já estava presente na Open Secure AI Alliance e nos incidentes com agentes de IA que acompanhámos.