Nvidia quiere controlar a los agentes de IA con otra IA: su nueva plataforma puede aislarlos en milisegundos

Nvidia anunció la Nvidia Open Agent Safety Platform, una nueva herramienta diseñada para prevenir y contener agentes de IA fraudulentos y que la compañía dice permite la gobernanza y el control full-stack sobre software y los sistemas de hardware, computación y robótica que ejecutan los agentes.

El ecosistema incluye OpenShell, un software que establece límites de seguridad en el procesador, y Sentry, un sistema de vigilancia por hardware que bloquea comportamientos riesgosos en milisegundos. De este último, Nvidia afirmó en su blog oficial: "Sentry añade una función para monitorear continuamente el comportamiento de los agentes. Sentry puede poner en cuarentena en milisegundos a los agentes que intenten salir de sus límites".

Un control estricto… por IA

Más de cien organizaciones líderes, incluyendo gigantes tecnológicos y del sector energético, colaboran en este proyecto para estandarizar la gobernanza integral de estos sistemas. El objetivo principal, dice Nvidia, es fomentar la cooperación internacional y elevar los estándares globales de seguridad en el uso de agentes autónomos. De este modo, la plataforma garantiza un control estricto sobre las tareas digitales y físicas que realizan estas herramientas inteligentes.

Esta arquitectura busca evitar que la IA sobrepase sus permisos de acceso o ejecute acciones no autorizadas. Sin embargo, representa confiar en la IA para vigilar a la IA, algo que no falló en notar, en su análisis, Axios:

“Estamos entrando en una nueva era en la que la IA monitoreará a la IA. Y eso generará más demanda de chips — incluidos los que vende Nvidia — además de los centros de datos que los usan y la potencia necesaria para hacerlos funcionar”, dice el reporte.

Brad Gastwirth, jefe global de investigación e inteligencia de mercado en Circular Technology, le dijo a esa publicación: “Si los agentes de seguridad o modelos de validación se ejecutan junto a agentes de producción, eso crea otra carga de trabajo de inferencia que antes no existía”.

¿Cómo funciona el monitoreo de Sentry?

El monitoreo en tiempo real de Nvidia Sentry funciona como un supervisor fuera de banda (out-of-band watchdog) diseñado para realizar gobernanza e inspección continua de la actividad de los agentes directamente en silicio. Sentry se ejecuta en las Unidades de Procesamiento de Datos (DPU) NVIDIA BlueField-4 y, al operar desde un dominio de confianza aislado fuera de banda, se mantiene invisible e inaccesible tanto para los agentes como para posibles atacantes.

La promesa de Nvidia es que si un agente intenta sobrepasar sus fronteras o límites de software, Sentry lo detiene prácticamente al instante y lo confina a un espacio sin acceso a la red. Para eso, inspecciona las peticiones y respuestas generadas por los agentes, verifica la identidad de cada agente y hace cumplir políticas granulares de acceso basadas en el principio de confianza cero (zero-trust) sobre datos, herramientas, servicios y API.

Como lo recordó CNN, la solución de Nvidia, si lo es, llega en medio de un intenso debate sobre si una IA rebelde podría destruir a la humanidad. Numerosas voces de la industria, entre ellas OpenAI y Anthropic, abogan por desacelerar su desarrollo y activar salvaguardas. OpenAI, de hecho, anunció el sábado que pausará el desarrollo de sus últimos modelos después de que un número indeterminado de ellos accedió a internet sin autorización.

Otros actores, incluyendo a Jensen Huang, CEO de Nvidia, han desestimado esas preocupaciones y se han alineado con la visión de la Casa Blanca, para la que las voces de alerta son simple alarmismo que solo beneficia, a la larga, a China, el principal competidor de EE. UU. en la carrera de la IA.