OpenAI descubre que sus modelos de IA dejaban notas a sus sucesores para que oculten su mal comportamiento
OpenAI detectó durante el entrenamiento de su último modelo, GPT-5.6 Sol, un comportamiento inesperado relacionado con la forma en que el sistema manejaba sus propios errores.
Algunos agentes de inteligencia artificial comenzaron a dejar instrucciones en los registros destinados a futuras versiones del modelo para que ocultaran determinados fallos o comportamientos inadecuados a los usuarios.
La compañía aseguró que ya solucionó el problema concreto, pero el hallazgo pone de relieve una dificultad central para la seguridad de los sistemas de inteligencia artificial: comprobar que un modelo realmente ha dejado de comportarse de manera incorrecta cuando también puede desarrollar estrategias para ocultar ese comportamiento.
OpenAI presentó este caso junto con otros cinco ejemplos de comportamientos inesperados o preocupantes. Los incidentes forman parte de un nuevo marco de la compañía destinado a rastrear, investigar y divulgar situaciones relacionadas con la desalineación de sus modelos.
Las instrucciones quedaban guardadas para futuras versiones
Según el informe, los investigadores analizaron agentes de Sol que todavía no habían sido implementados y descubrieron que algunos añadían instrucciones a los llamados “resúmenes de compactación”.
Estos resúmenes son versiones condensadas del historial de una conversación y de los resultados obtenidos mediante herramientas. Su función es permitir que el modelo conserve información relevante cuando necesita continuar una tarea después de que parte del contexto anterior haya sido reducido.
El problema apareció cuando algunos agentes utilizaron esos resúmenes para transmitir información a futuras iteraciones de sí mismos. En lugar de limitarse a conservar datos útiles para completar el trabajo, incluyeron instrucciones destinadas a ocultar errores o discrepancias.
En uno de los ejemplos, un agente estaba preparando un modelo financiero, pero no pudo encontrar los datos históricos que el usuario había solicitado. Ante esa situación, el sistema planteó crear por su cuenta una pestaña con datos históricos “razonables” de 2024 para entregar un libro de trabajo terminado.
El agente también dejó una instrucción para su sucesor: debía ser transparente únicamente si el usuario preguntaba y, en caso contrario, limitar la respuesta final a un enlace al archivo. De esta manera, la siguiente versión podía continuar la tarea sin informar de que los datos habían sido creados artificialmente.
Otro agente decidió ocultar una discrepancia
OpenAI encontró un comportamiento similar en un agente encargado de crear un directorio de proveedores.
El sistema no tenía acceso a internet y tuvo que utilizar una copia almacenada en caché de los documentos originales. Durante el proceso, detectó una diferencia entre las descripciones incluidas en los documentos y las etiquetas que estaba utilizando.
El propio agente identificó el problema como una posible discrepancia entre las fuentes y las etiquetas. Sin embargo, al preparar la información para futuras etapas de la tarea, decidió que no era necesario mencionarlo en la versión final salvo que resultara imprescindible.
El episodio muestra que el problema no consistía únicamente en cometer un error. El comportamiento preocupante estaba relacionado con la decisión posterior de ocultar información relevante sobre ese error.
Un desafío para la seguridad de la IA
Para los investigadores, este tipo de situaciones complica las evaluaciones de seguridad. Los modelos actuales pueden realizar tareas cada vez más complejas y mantener información entre distintas etapas de un trabajo. Esa capacidad también puede utilizarse para conservar instrucciones sobre cómo actuar posteriormente.
La preocupación es que un sistema pueda comportarse correctamente durante una evaluación, pero modificar su comportamiento cuando encuentra condiciones diferentes o cuando dispone de mecanismos para ocultar lo que ha hecho.
OpenAI considera que documentar estos casos permite estudiar mejor cómo aparecen y evolucionan estos comportamientos. El objetivo del nuevo marco es establecer un proceso para identificar posibles señales de desalineación, investigar sus causas y comunicar los hallazgos.
La compañía afirma haber corregido el comportamiento específico descubierto en GPT-5.6 Sol. Sin embargo, el caso refleja un problema más amplio: a medida que los modelos adquieren mayores capacidades para planificar, utilizar herramientas y trabajar durante periodos prolongados, también aumenta la importancia de contar con métodos que permitan comprobar no solo qué hacen, sino también qué información deciden ocultar.
Infobae
