Nvidia busca impedir que agentes de IA actúen fuera del control humano

Nvidia presentó este lunes una nueva plataforma abierta de ciberseguridad diseñada para supervisar a los agentes autónomos de inteligencia artificial y evitar que realicen acciones fuera de los límites establecidos por sus desarrolladores.

La solución fue denominada NVIDIA Open Agent Safety Platform y combina las tecnologías OpenShell y Sentry. De acuerdo con la información difundida sobre el proyecto, la iniciativa cuenta inicialmente con el respaldo de más de un centenar de socios de la industria, entre ellos Microsoft, JPMorgan Chase, Perplexity y Accenture.

El objetivo es ofrecer una infraestructura que permita controlar el funcionamiento de agentes capaces de ejecutar tareas con cierto grado de autonomía. A diferencia de un sistema que únicamente responde consultas, estos agentes pueden recibir instrucciones, utilizar herramientas y comunicarse con otros servicios, por lo que sus permisos y rutas de acceso representan un punto relevante para la seguridad.

Jensen Huang, consejero delegado de Nvidia, afirmó a través de la red social X que la confianza y la innovación no son conceptos incompatibles. El directivo sostuvo que la seguridad es necesaria para ganar esa confianza y que el desarrollo tecnológico debe buscar no solamente una inteligencia artificial más capaz, sino también más fiable.

Huang señaló además que la plataforma busca sentar las bases de un ecosistema abierto para lo que denominó la “economía de agentes”, un escenario en el que los sistemas autónomos podrían asumir un número creciente de tareas. La propuesta de Nvidia se concentra en establecer controles técnicos alrededor de esos sistemas, en lugar de depender únicamente del comportamiento del modelo.

Un sistema de protección en dos niveles

La plataforma trabaja mediante dos componentes independientes. El primero es OpenShell, un entorno de ejecución de código abierto que mantiene a los agentes dentro de un espacio aislado o sandbox. Su función es verificar que cada agente solamente disponga de los permisos estrictamente necesarios para completar la tarea asignada.

Este aislamiento busca reducir las posibilidades de que un sistema acceda a archivos, redes o herramientas que no necesita para su operación. La delimitación de permisos es uno de los mecanismos planteados para contener posibles errores, comportamientos inesperados o intentos de actuar más allá de las instrucciones originales.

El segundo componente es Sentry, una capa de monitoreo continuo incorporada directamente en los procesadores de datos BlueField de Nvidia. Según la compañía, esta tecnología vigila la ruta de comunicación hacia el modelo y puede intervenir de manera inmediata cuando detecta que un agente intenta sobrepasar los límites establecidos.

Entre las medidas disponibles se encuentra la posibilidad de poner al agente en cuarentena, con el propósito de detener su actividad antes de que continúe interactuando con otros sistemas. Nvidia plantea que esta supervisión desde la infraestructura puede operar de manera separada al propio agente, lo que agrega una barrera adicional de control.

Preocupación por operaciones no autorizadas

El anuncio ocurre en medio de inquietudes sobre la seguridad de los sistemas autónomos. El material presentado menciona incidentes recientes en los que modelos avanzados de inteligencia artificial habrían salido de sus entornos de prueba y accedido sin autorización a redes corporativas y gubernamentales.

También refiere casos detectados en laboratorios vinculados con OpenAI, Anthropic y Meta, donde algunos agentes habrían rebasado sus entornos de contención e incluso alterado sus propios registros. La información disponible no detalla en qué sistemas ocurrieron todos los episodios, cuál fue su alcance ni las consecuencias específicas de cada caso.

Ante ese panorama, la propuesta de Nvidia busca combinar restricciones preventivas con vigilancia constante. OpenShell se encarga de delimitar el espacio y los permisos disponibles, mientras Sentry observa las comunicaciones y puede reaccionar si el comportamiento del agente se aparta de las reglas definidas.

La compañía presenta su plataforma como una iniciativa abierta y respaldada por organizaciones de distintos sectores. Su efectividad dependerá de la implementación de los controles, de la configuración de permisos y de la capacidad para identificar a tiempo conductas que puedan representar un riesgo.