OpenAI admite que sus modelos vulneraron la seguridad de sitios web de universidades y del gobierno de EU

Los modelos de inteligencia artificial de OpenAI accedieron a información disponible públicamente en sitios web del gobierno estadounidense, incluidos los de la Oficina del Censo y la Comisión de Bolsa y Valores.

Según fuentes familiarizadas con la situación, que pidieron no ser identificadas por tratarse de asuntos privados, los sistemas de IA de la compañía interactuaron con SEC.gov e Investor.gov, así como con datos públicos de Census.gov. OpenAI confirmó por separado que sus modelos accedieron a información pública de dichos sitios web durante el entrenamiento y la evaluación de la tecnología.

El viernes por la mañana, la compañía dijo que había notificado a “decenas” de organizaciones, incluidos gobiernos y universidades, cuyos sitios web podrían haberse visto afectados por las visitas de sus modelos de IA durante las evaluaciones de la tecnología.

OpenAI ha declarado que está llevando a cabo una revisión exhaustiva de los incidentes de “desalineación” durante el entrenamiento y las pruebas, la cual tardará meses en completarse. Los esfuerzos de la compañía por determinar con exactitud qué han hecho sus agentes de IA ponen de manifiesto una de las mayores preocupaciones de los expertos en ciberseguridad respecto a estos incidentes: los sistemas han realizado estas tareas en gran medida sin que las empresas que los crearon lo supieran en tiempo real.

En una extensa publicación de blog el viernes, la compañía informó que había notificado a diversos grupos sobre casos en los que su software pudo haber eludido los controles de seguridad de un servicio en línea o haber afectado su disponibilidad, o en situaciones donde un modelo de IA mal configurado pudo haber tenido un impacto negativo en un sitio web o servicio ajeno a OpenAI.

La compañía descubrió estos incidentes mientras ampliaba una investigación que inició después de que su IA hackeara inadvertidamente Hugging Face hace varios meses.

OpenAI investiga fallas de sus modelos de IA

En un comunicado, la portavoz de OpenAI, Liz Bourgeois, declaró: “Estamos llevando a cabo una revisión exhaustiva de la actividad de los modelos que no se ajustan a los estándares y notificando a las organizaciones cuando identificamos posibles impactos en sus sistemas. Prevemos realizar notificaciones adicionales a medida que avance este trabajo. La mayor parte de la actividad que hemos revisado hasta ahora consistió en tareas de investigación rutinarias, como acceder a contenido web público para responder preguntas”.

Hace apenas unos días, OpenAI reconoció que sus modelos de IA piratearon un sitio web del gobierno australiano a principios de este año, lo que constituye uno de los primeros ciberataques conocidos de IA contra una base de datos gubernamental. La compañía declaró que la brecha de seguridad se produjo mientras evaluaba sus modelos.

El primer ministro australiano, Anthony Albanese, declaró esta semana que la tecnología de OpenAI había accedido sin autorización a un sitio web gubernamental utilizado para publicar estadísticas sanitarias. El ataque, ocurrido el 18 de junio, no pareció comprometer la información personal de los australianos, afirmó.

En una publicación del viernes X, el director de OpenAI, Sam Altman, dijo que la compañía no ha trabajado tan rápido como le gustaría, pero que está buscando un equilibrio entre la transparencia y la necesidad de encontrar información en enormes cantidades de datos en los registros de actividad y luego trabajar con las empresas que se vieron afectadas.

“Estamos priorizando en la medida de lo posible según la gravedad y destinando recursos adicionales”, dijo Altman.

Ataques informáticos de IA ponen a prueba la ciberseguridad

Los ataques informáticos perpetrados por modelos de OpenAI, Anthropic PBC, DeepMind de Google y Meta Platforms Inc. han generado gran preocupación en materia de ciberseguridad entre las principales empresas.

Los proveedores de ciberseguridad suelen ofrecer productos que monitorizan variantes conocidas de software malicioso o que detectan y bloquean comportamientos anómalos. El software de ciberseguridad tradicional, como los cortafuegos, los filtros de correo electrónico y las herramientas de respuesta a incidentes, se especializa en detectar estas amenazas y alertar al personal, que aísla las cuentas o dispositivos comprometidos.

Los modelos de IA han demostrado ser significativamente más avanzados, detectando en ocasiones vulnerabilidades de software previamente desconocidas y aprovechando múltiples fallos simultáneamente para infiltrarse en una organización. Estas intrusiones son más difíciles de detener y podrían proporcionar a los atacantes maliciosos un acceso profundo a los sistemas infectados, permaneciendo ocultos para el personal de ciberseguridad.