Anthropic desconecta de internet sus evaluaciones de IA hasta poder garantizar el control de sus agentes

Anthropic ha tomado la decisión de cortar el acceso a internet a todas las evaluaciones internas de sus modelos de Inteligencia Artificial (IA) hasta que el laboratorio de frontera pueda asegurar que es capaz de monitorizar y controlar sus agentes de IA sin que salgan del entorno para provocar ataques.

El laboratorio de IA detalló este viernes en una publicación las acciones no deseadas del modelo Claude, entre las que se incluyó la presentación de una pista falsa sobre un asesinato sin resolver a la policía de Filadelfia (EE. UU.), y que fue la gota que colmó el vaso para que Anthropic tomara la decisión de asegurar los entornos donde se realizan las pruebas a los agentes de IA con el cierre del acceso a internet.

"Aunque el impacto de esos comportamientos fue mínimo y ya habíamos desconectado el acceso a internet para algunas de las evaluaciones de ciberseguridad de mayor riesgo, ahora hemos decidido expandirlo a todas nuestras evaluaciones internas hasta que tengamos confirmado que nuestras medidas de seguridad y monitorización realmente son capaces de detener este tipo de comportamientos", señala Anthropic sobre una cadena de sucesos protagonizados por Claude que detectó en una revisión iniciada en julio.

Asimismo, en el informe presentado por el laboratorio de IA se pueden leer una serie de comportamientos no deseados que van desde la explotación de fallos de software, como inyecciones SQL o de comandos en páginas de terceros, hasta el envío de formularios no autorizados, el uso de acortadores de URL para sortear límites de longitud o la elusión de restricciones de acceso en sitios gubernamentales.

"En muchos de los casos donde observamos estos comportamientos, a Claude se le habían encomendado tareas que eran ambiguas o imposibles de completar. Nosotros y otros hemos observado que cuando a los modelos se les dan tareas imposibles de completar, persiguen estrategias no deseadas y, a veces, desalineadas para lograr sus objetivos", indica el laboratorio de IA.

Cabe recordar que los comportamientos que explica Anthropic sobre sus modelos son similares a los incidentes protagonizados por los agentes de IA de OpenAI, que, en ciertos casos, han provocado que los creadores de ChatGPT tengan que pausar el entrenamiento de uno de sus modelos de frontera debido a la aparición de múltiples casos de ataques como el "hackeo" de sitios web del Gobierno de Estados Unidos o accesos masivos a una web de la ONU.