A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança que pode impedir que agentes de inteligência artificial (IA) saiam do controle.

A empresa afirmou que a Open Agent Safety Platform reúne softwares que estabelecem limites para a atuação dos agentes. O anúncio ocorre após uma série de incidentes envolvendo agentes de IA que escaparam do controle.

Como funciona a plataforma

Um dos softwares da Nvidia, chamado OpenShell, é de código aberto e permite que desenvolvedores verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso.

A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA. Segundo a empresa, o sistema pode 'intervir instantaneamente' caso o agente tente ultrapassar os limites definidos para sua atuação.

Executivos da Nvidia afirmaram que o novo sistema poderia ter evitado um incidente recente envolvendo um grupo de agentes da OpenAI que invadiu de forma autônoma a startup de IA Hugging Face.