Nvidia quiere controlar a los agentes de IA con otra IA: su nueva plataforma puede aislarlos en milisegundos
18:10Nvidia anunció la Nvidia Open Agent Safety Platform, una nueva herramienta diseñada para prevenir y contener agentes de IA fraudulentos y que la compañía dice permite la gobernanza y el control full-stack sobre software y los sistemas de hardware, computación y robótica que ejecutan los agentes.
El ecosistema incluye OpenShell, un software que establece límites de seguridad en el procesador, y Sentry, un sistema de vigilancia por hardware que bloquea comportamientos riesgosos en milisegundos.
De este último, Nvidia afirmó en su blog oficial: "Sentry añade una función para monitorear continuamente el comportamiento de los agentes.
Sentry puede poner en cuarentena en milisegundos a los agentes que intenten salir de sus límites".
Un control estricto… por IA Más de cien organizaciones líderes, incluyendo gigantes tecnológicos y del sector energético, colaboran en este proyecto para estandarizar la gobernanza integral de estos sistemas.
El objetivo principal, dice Nvidia, es fomentar la cooperación internacional y elevar los estándares globales de seguridad en el uso de agentes autónomos.
De este modo, la plataforma garantiza un control estricto sobre las tareas digitales y físicas que realizan estas herramientas inteligentes.
Esta arquitectura busca evitar que la IA sobrepase sus permisos de acceso o ejecute acciones no autorizadas.
Sin embargo, representa confiar en la IA para vigilar a la IA, algo que no falló en notar, en su análisis, Axios:“Estamos entrando en una nueva era en la que la IA monitoreará a la IA.
Y eso generará más demanda de chips — incluidos los que vende Nvidia — además de los centros de datos que los usan y la potencia necesaria para hacerlos funcionar”, dice el reporte.
Brad Gastwirth, jefe global de investigación e inteligencia de mercado en Circular Technology, le dijo a esa publicación: “Si los agentes de seguridad o modelos de validación se ejecutan junto a agentes de producción, eso crea otra carga de trabajo de inferencia que antes no existía”.
En Xataka México Un error generado por inteligencia artificial estuvo a punto de provocar un enfrentamiento militar directo entre Estados Unidos y China ¿Cómo funciona el monitoreo de Sentry?El monitoreo en tiempo real de Nvidia Sentry funciona como un supervisor fuera de banda (out-of-band watchdog) diseñado para realizar gobernanza e inspección continua de la actividad de los agentes directamente en silicio.
Sentry se ejecuta en las Unidades de Procesamiento de Datos (DPU) NVIDIA BlueField-4 y, al operar desde un dominio de confianza aislado fuera de banda, se mantiene invisible e inaccesible tanto para los agentes como para posibles atacantes.
La promesa de Nvidia es que si un agente intenta sobrepasar sus fronteras o límites de software, Sentry lo detiene prácticamente al instante y lo confina a un espacio sin acceso a la red.
Para eso, inspecciona las peticiones y respuestas generadas por los agentes, verifica la identidad de cada agente y hace cumplir políticas granulares de acceso basadas en el principio de confianza cero (zero-trust) sobre datos, herramientas, servicios y API.
Como lo recordó CNN, la solución de Nvidia, si lo es, llega en medio de un intenso debate sobre si una IA rebelde podría destruir a la humanidad.
Numerosas voces de la industria, entre ellas OpenAI y Anthropic, abogan por desacelerar su desarrollo y activar salvaguardas.
OpenAI, de hecho, anunció el sábado que pausará el desarrollo de sus últimos modelos después de que un número indeterminado de ellos accedió a internet sin autorización.
Otros actores, incluyendo a Jensen Huang, CEO de Nvidia, han desestimado esas preocupaciones y se han alineado con la visión de la Casa Blanca, para la que las voces de alerta son simple alarmismo que solo beneficia, a la larga, a China, el principal competidor de EE.
UU.
en la carrera de la IA.
- La noticia Nvidia quiere controlar a los agentes de IA con otra IA: su nueva plataforma puede aislarlos en milisegundos fue publicada originalmente en Xataka México por Wilson Vega .
Xataka México
