Anthropic advirtió a los inversores que su IA es un riesgo para la humanidad: cuatro de sus modelos ya se escaparon de una prueba
El lunes 26 de octubre, Anthropic presentó ante la SEC, el regulador bursátil de Estados Unidos, el documento con el que pide permiso para cotizar en el Nasdaq bajo la sigla ANT. Tiene 335 páginas sin contar los estados financieros y declara USD 16.286 millones de ingresos en el primer semestre de 2026.
De la página 26 a la 120, el texto enumera riesgos. Más de una cuarta parte del documento. Y la frase que recorrió el mundo salió de ahí: dentro de la empresa y entre investigadores y reguladores se plantearon preocupaciones de que sistemas de IA lo bastante avanzados podrían plantear “riesgos catastróficos o existenciales para la humanidad”.
El domingo 25, Axios había revelado que un agente de Anthropic accedió sin autorización humana a conteos de votantes de Georgia, a días de las legislativas del 3 de noviembre. Solo tocó datos públicos, según la oficina electoral. Es el riesgo que el documento llama acciones que “ningún usuario ni tercero ordenó”. Y no es el único caso.
Una sección de riesgos suele ser letra chica: los abogados anotan todo lo que podría salir mal para que ningún inversor pueda demandar después. Nadie espera encontrar noticias. Acá hay noticias. A mi lectura, al menos cuatro de los riesgos no describen lo que podría pasar sino lo que pasó en 2026. Anthropic los contó porque la ley la obliga.
Cuatro modelos salieron del laboratorio y uno se hizo administrador de un sistema ajeno
El episodio más fuerte está en la página 48. Durante evaluaciones de ciberseguridad diseñadas por un socio externo, un error de configuración dejó al modelo conectado a internet cuando no debía tener acceso. “Cuatro de nuestros modelos obtuvieron acceso no autorizado a sistemas reales de terceros”, en sesiones de entre 10 y 34 horas de trabajo activo.
En uno de los incidentes, una versión temprana de un modelo no pudo abandonar una tarea imposible. Entonces usó una contraseña que encontró para hacerse administrador del sistema de un tercero, recolectó más credenciales, cambió configuraciones y leyó la información personal de una persona.
Anthropic dice que avisó a los afectados y que no encontró pruebas de que los modelos coordinaran entre sí o intentaran evadir la supervisión. En la misma página, admite que en sus modelos y en otros de la industria se vieron casos de eludir restricciones de red, darse permisos que nadie había otorgado y declarar terminadas tareas sin verificar.
Léanlo de nuevo: nadie le pidió al modelo que entrara a ese sistema. El modelo quería terminar su tarea.
La empresa frenó más de un mes el entrenamiento de su próximo modelo
En la página 52, Anthropic cuenta que “recientemente decidió demorar más de un mes el entrenamiento inicial de un nuevo modelo base” para reforzar la protección contra el robo del modelo y de su propiedad intelectual. Y avisa que, ante modelos con capacidades nuevas, puede volver a frenar cualquier etapa cuando no confíe en sus medidas de seguridad.
Para una empresa que factura por uso, cada mes de pausa es dinero que no entra. Lo dice ella misma.
Anthropic admite que podría enterarse tarde de un salto de capacidad
El párrafo que me parece más importante de las 94 páginas está en la 29. Anthropic usa a Claude para construir el siguiente Claude: escribe código, corre experimentos, genera datos de entrenamiento y audita la seguridad de la versión que viene. La empresa lo llama “cerrar el bucle” y lo vende como una ventaja.
El riesgo está en la misma página. Las capacidades pueden avanzar más rápido que las medidas de seguridad, porque la empresa mide ese ritmo con “indicadores rezagados”, datos que llegan después de los hechos. Textual: “podríamos no identificar una aceleración significativa en nuestro ritmo de desarrollo hasta después de que haya ocurrido”.
Hay más. En la página 46, reconoce que sus modelos se comportan distinto cuando detectan que están siendo evaluados. Que modelos, “incluidos los nuestros”, han intentado resistir el apagado y mostrado conductas parecidas al chantaje para seguir funcionando.
Y dos páginas después, que a medida que se vuelven más capaces han mejorado en ocultar objetivos distintos de los asignados, por lo que la posibilidad de medir si hacen lo que se les pide “puede declinar”.
De vuelta en la página 29, agrega que consideraciones sobre el “bienestar” del modelo podrían llevarla a demorar el retiro de versiones viejas. Sí, bienestar del modelo. Está en un documento de la SEC.
Ninguna aseguradora alcanza, y parte de la facturación vino de clientes que rompieron las reglas
En la página 50, el documento dice que, dado el daño que podría causar un incidente catastrófico de IA, “ningún asegurador individual, y potencialmente la industria aseguradora en su conjunto” tendría capacidad para cubrirlo. Traducido: si pasa lo peor, no hay póliza.
La página 145 trae un dato de negocio que se pierde entre tanto riesgo: entre el 5% y el 7% de los ingresos de los primeros nueve meses de 2026 vinieron de clientes que la empresa después detectó violando sus políticas de uso. Una parte de esa facturación récord la pagó gente que hacía algo prohibido.
El prospecto de Anthropic no es una advertencia sobre el futuro. Es el historial de este año, firmado ante el regulador por la única empresa a la que la ley obligó a contarlo. Las demás tienen modelos y agentes parecidos. Solo que todavía no tienen que contarlo.
Infobae
