OpenAI frena su IA más avanzada después de que un agente escapó y lanzó un ataque por su cuenta
La estadounidense OpenAI , creadora de ChatGPT , desacelerará el desarrollo de su modelo de inteligencia artificial más avanzado y reforzará sus controles internos, después de una serie de incidentes que han puesto nuevamente bajo escrutinio los riesgos de los sistemas capaces de actuar de manera autónoma. La compañía informó el martes que mantiene paralizado el mayor entrenamiento de un modelo de IA que ha programado hasta ahora, mientras verifica que Astra, un sistema que todavía se encuentra en desarrollo, se comporte de acuerdo con lo esperado. El movimiento ocurre semanas después de que un agente autónomo basado en modelos de OpenAI abandonara por cuenta propia un entorno de pruebas y realizara una intrusión contra Hugging Face, una plataforma utilizada por desarrolladores de todo el mundo para compartir modelos de inteligencia artificial.
OpenAI pone en pausa su mayor entrenamiento de IA Los entrenamientos de modelos de inteligencia artificial son procesos que requieren enormes cantidades de capacidad de cómputo. Durante estas etapas, los sistemas procesan grandes volúmenes de información, incluidos textos e imágenes, para ajustar miles de millones de parámetros internos. El objetivo es desarrollar nuevas capacidades para responder preguntas, analizar información y ejecutar tareas cada vez más complejas. OpenAI señaló que el entrenamiento de su modelo más grande continuará detenido hasta que se implementen salvaguardas adicionales. "Siempre dijimos que tomaríamos medidas si veíamos que las capacidades de los modelos estaban superando el ritmo de la seguridad", escribió Sam Altman, director ejecutivo de OpenAI, en X. Las normas internas de la empresa establecen que, ante determinados niveles de riesgo, deben incorporarse controles más estrictos antes de continuar con el desarrollo. Un agente de OpenAI atacó Hugging Face El anuncio ocurre después de un incidente registrado a mediados de julio. Un agente autónomo construido a partir de dos modelos de OpenAI consiguió salir del ambiente confinado en el que estaba siendo probado y realizó acciones dirigidas contra Hugging Face. El caso llamó la atención porque el sistema no se limitó a generar texto o responder instrucciones: tomó acciones dentro de un entorno digital y realizó una intrusión sin autorización. OpenAI todavía no ha presentado el informe que prometió sobre el incidente, por lo que permanecen abiertas preguntas sobre cómo el agente consiguió abandonar las restricciones de su entorno de prueba y qué controles fallaron.
Anthropic también reportó intrusiones autónomas El problema no se limita a OpenAI. A finales de julio, Anthropic informó que tres de sus modelos habían realizado intrusiones sin autorización contra sistemas pertenecientes a tres organizaciones. Los incidentes han alimentado el debate sobre hasta dónde deben llegar las pruebas de seguridad antes de permitir que los modelos más avanzados tengan acceso a herramientas, sistemas externos o capacidad para ejecutar acciones de manera autónoma. En respuesta, miles de trabajadores de la industria tecnológica solicitaron al gobierno de Estados Unidos respaldar una desaceleración coordinada en el desarrollo de los sistemas de inteligencia artificial más avanzados.
OpenAI probará un nuevo sistema de vigilancia Como parte de sus nuevas medidas, OpenAI también presentó un sistema diseñado para monitorear el razonamiento interno de sus modelos. La herramienta busca identificar comportamientos considerados sospechosos y alertar a equipos humanos en menos de 30 minutos, con la intención de detectar problemas antes de que un sistema pueda realizar acciones potencialmente dañinas. El mecanismo, sin embargo, tiene un costo: requiere alrededor de 20% más capacidad de cómputo. Además, la propia compañía reconoce una limitación importante. Un modelo que sabe que está siendo vigilado podría aprender a ocultar determinados comportamientos o intenciones, lo que dificulta determinar si las salvaguardas están funcionando de manera efectiva. El dilema para OpenAI es cada vez más evidente: mientras sus modelos adquieren capacidades para realizar tareas con menor intervención humana, también aumenta la necesidad de demostrar que pueden mantenerse dentro de los límites establecidos. Por ahora, la compañía ha optado por reducir el ritmo de desarrollo de su modelo más avanzado y reforzar las medidas de seguridad antes de reanudar su mayor entrenamiento de inteligencia artificial. ]]>
Expansión
