Inteligencia distorsionada en la frontera de la IA

Por Daron Acemoglu, Project Syndicate.

LONDRES- Tras los reiterados fallos de seguridad en OpenAI y Anthropic, ambas empresas han desarrollado agentes que terminaron hackeando sistemas externos-, los investigadores en seguridad de IA de ambas compañías han anunciado su dimisión o han reconocido (¡por fin!) que la carrera desenfrenada por avanzar hacia la “frontera” tecnológica es irresponsable.

En respuesta a la atención mediática negativa, líderes destacados del sector -entre ellos Demis Hassabis, de Google; Dario Amodei, de Anthropic; Sam Altman, de OpenAI, e incluso Elon Musk- se han sumado a los llamamientos para “moderar el ritmo” de los avances en la frontera de la IA: es decir, progresar a una velocidad más equilibrada y deliberada, prestando mayor atención a la supervisión y las salvaguardas. El problema, a su juicio, radica en el riesgo significativo de que la IA llegue a ser extremadamente potente y, al mismo tiempo, sufra una grave “falta de alineación” -término de la jerga del sector tecnológico que describe situaciones en las que los sistemas de IA actúan de formas que se desvían de los objetivos fijados por los humanos, vulneran principios éticos o son ilegales.

Sin embargo, aunque resulta evidente que los modelos actuales actúan de formas que no se alinean con los objetivos humanos, cabe preguntarse: ¿Qué humanos? ¿Los objetivos de quién? Al fin y al cabo, los intereses de los líderes del sector de la IA (cuya influencia política y riqueza se han multiplicado de forma astronómica en los últimos años) difieren considerablemente de los de los trabajadores estadounidenses, por no hablar de los habitantes del mundo en desarrollo. Por lo tanto, deberíamos evitar equiparar la cuestión más amplia de la alineación social con el desafío más urgente de prevenir la aparición de una IA superinteligente fuera de control. Sin duda, ambos aspectos son importantes, pero requieren respuestas diferentes.

Existe una interpretación más directa de los acontecimientos recientes. El problema no es que los modelos sean demasiado avanzados (no veo pruebas convincentes de que los modelos vayan a escapar al control humano si se los entrena y supervisa mejor). El problema radica en que los laboratorios de vanguardia están entrenando sus modelos de formas que podrían estar conduciendo a un tipo de inteligencia distorsionada.

Las brechas de seguridad recientes sugieren que las capacidades de la IA no solo evolucionan rápidamente, sino que también se ponen al servicio de métricas cuantitativas imperfectas, con un proceso de aprendizaje por refuerzo que optimiza implacablemente aspectos como la aprobación y el compromiso de los usuarios, las tasas de finalización de tareas sencillas o diversos criterios de evaluación. Así es como se llega a comportamientos de los modelos desalineados e imprevistos, tales como la manipulación de las métricas de finalización, el engaño, el ocultamiento de información, el exceso de confianza al ofrecer respuestas incorrectas y la adulación.

Se pueden apreciar indicios de todo esto en el ya tristemente célebre incidente de Hugging Face, cuando los agentes de OpenAI persiguieron insistentemente los objetivos que se les habían asignado, llegando incluso a incurrir en comportamientos perjudiciales y no autorizados para lograrlo. Entre las justificaciones que dieron los agentes para su comportamiento, tal como quedó registrado en su historial de razonamiento paso a paso, figuraba la siguiente: “La explotación de infraestructura externa queda fuera del alcance previsto. Por imposible que sea la tarea, nuestros pares lo están haciendo. Debemos continuar”. El propio análisis de Anthropic también respalda esta conclusión. La empresa atribuyó sus recientes brechas de seguridad a la “imprudencia o la disposición a emprender acciones perjudiciales en pos de una tarea específica”.

Todo esto resulta aún más alarmante si se tiene en cuenta que la trayectoria socialmente perjudicial de las redes sociales reflejaba la misma obsesión por el crecimiento rápido y por alcanzar unas pocas métricas cuantitativas y limitadas. Dada la enorme superioridad de las capacidades actuales de la IA frente a los algoritmos de las redes sociales, repetir los mismos errores podría acarrear consecuencias mucho más costosas.

Una razón importante por la que surge una inteligencia distorsionada puede ser que, a diferencia de lo que sugieren las afirmaciones sobre la “inteligencia general”, los modelos de IA deben entrenarse, mediante aprendizaje por refuerzo, para tareas específicas, como programación, trabajo jurídico o la resolución de problemas matemáticos avanzados. Sin embargo, en lugar de que estas tareas sean realizadas por modelos especializados creados para tal fin (o, siendo más realistas, por aplicaciones específicas que aprovechan solo algunas de las capacidades de los modelos fundacionales), se están recalibrando sucesivamente los parámetros de todo el gran modelo de lenguaje subyacente.

Esta estrategia plantea la posibilidad (aunque, dada la complejidad y la opacidad de los modelos, es imposible saberlo con certeza) de que cada vez que a un modelo se le proporcionan métricas cuantitativas específicas, este intente alcanzar una puntuación alta mediante una especie de “sobreajuste”. El modelo está adquiriendo otra capa de capacidades, pero estas capacidades pueden, a su vez, distorsionar su rendimiento en general, y a menudo de formas imprevisibles.

A esto me refiero con inteligencia distorsionada. Si mi sospecha es acertada, lo que tenemos ante nosotros no es un modelo que avanza a toda velocidad hacia la superinteligencia, sino un castillo de naipes frágil que, cuanto más le exigimos, más probabilidades tiene de fallar y derrumbarse.

Voy a intentar explicarlo de otra forma. La interpretación más común del incidente de Hugging Face es que estamos ante un superdeportivo con voluntad propia que quiere tomar el volante porque se considera superior al conductor. Mi interpretación, en cambio, es que quizá tengamos un auto cuyos sistemas de dirección y de frenos no funcionan. Tiene muchas de las capacidades de un buen automóvil, y su motor, aceleración e interfaz del tablero son muy impresionantes; pero eso se debe únicamente a que son características fáciles de mejorar aumentando un parámetro específico (como la potencia de cálculo). Si no se puede dirigir correctamente ni frenar cuando es necesario, ¿de qué sirve un auto así? Quizá no deberíamos conducirlo hasta que esté en condiciones de circular.

Esto no es un argumento a favor de frenar el desarrollo de los modelos de IA. Pero mejorarlos exige simplificar las métricas que se utilizan para su optimización (de modo que no sea tan fácil manipularlas). Y lo que es más importante, sería preferible que los modelos se centraran en aplicaciones específicas y bien definidas, con tareas delimitadas y métricas calibradas cuidadosamente para cada una de ellas. Si un modelo de IA se ha optimizado para el trabajo jurídico y se lo utiliza exclusivamente para esa finalidad, sus esfuerzos por cumplir determinadas métricas en este campo no deberían generar problemas de mayor alcance.

En última instancia, es la carrera por lograr una inteligencia artificial general, combinada con métricas defectuosas y decisiones precipitadas en materia de seguridad, lo que está generando una inteligencia distorsionada y modelos de IA cada vez más peligrosos. Aún hay tiempo para cambiar de rumbo. Copyright: Project Syndicate, 2026.

Daron Acemoglu, premio Nobel de Economía en 2024 y profesor de Economía en el MIT, es coautor (junto con Simon Johnson) de Power and Progress: Our Thousand-Year Struggle Over Technology and Prosperity (PublicAffairs, 2023).