El caso Grok y xAI: Violencia de género y sexualización infantil asistida por tecnología Editorial Aristegui Noticias

La reciente polémica en torno al uso de la inteligencia artificial de X, Grok, para generar imágenes sexualizando a usuarias y celebridades sin consentimiento, ha acaparado el ojo público en las últimas semanas, poniendo en el centro la necesidad de responsabilizar a los gigantes digitales.

Tras más de dos semanas de que una actualización de la IA permitiera a usuarios ingresar ‘prompts‘ para generar este tipo de contenido, en algunos casos incluso de menores de edad, la plataforma propiedad de Elon Musk limitó hasta este jueves 15 de enero la funcionalidad.

El 02 de enero, tras una semana de sucedido, el propio chatbot de la firma xAI afirmó que fallos en las medidas de seguridad generaron “imágenes de menores con escasa ropa” en la red social, pero que se estaban introduciendo mejoras para evitarlo.

Las capturas de pantalla compartidas por los usuarios en X mostraron la pestaña de medios públicos de Grok llena de imágenes que, según los usuarios, fueron alteradas cuando subieron fotos y pidieron al bot que las interviniera.

“Hay casos aislados en los que los usuarios solicitaron y recibieron imágenes de IA que mostraban a menores con escasa ropa”, dijo Grok en una publicación en X. “xAI tiene salvaguardas, pero hay mejoras en curso para bloquear tales solicitudes por completo”.

“Como se ha señalado, hemos identificado lapsos en las salvaguardas y los estamos arreglando con urgencia: el CSAM es ilegal y está prohibido”, dijo Grok, refiriéndose a Material de Abuso Sexual Infantil por su acrónimo en inglés.

En otra respuesta a un usuario en X más tarde, Grok dijo que la mayoría de los casos podían evitarse mediante filtros avanzados y monitorización, aunque afirmó que “ningún sistema es 100% infalible”, añadiendo que xAI está priorizando las mejoras y revisando los detalles compartidos por los usuarios.

Fue hasta el día 09 que la empresa restringió la función de generación de imágenes a los usuarios de pago, poniendo una curita sobre una herida mucho más grande, que ha generado imágenes de mujeres y niños con ropa mínima, a menudo sin el consentimiento de las personas retratadas.

Seis días después, este 15 de enero, a 22 días de iniciada la polémica, la IA finalmente decidió limitar también para los usuarios de pago la posibilidad de editar fotografías, una medida de respuesta que no quita la generación de miles o hasta millones de imágenes de este tipo.

“Hemos implementado medidas tecnológicas para evitar que la cuenta de Grok permita la edición de imágenes de personas reales con ropa reveladora, como bikinis. Esta restricción aplica a todos los usuarios, incluidos los suscriptores de pago“, ha señalado la red.

La plataforma ha añadido que están comprometidos con hacer de X “una plataforma segura para todos y mantenemos una política de tolerancia cero con cualquier forma de explotación sexual infantil, desnudez no consentida y contenido sexual no deseado”.

Te puede interesar > Grok insulta a Jose Ramón López Beltrán; el hijo de AMLO exige disculpa a X

Han enmarcado esta medida en su afán por eliminar el contenido infractor de alta prioridad, incluido el material de abuso sexual infantil y la desnudez no consentida, han informado de que han tomado también medidas contra las cuentas que violan sus reglas y que también denunciarán a las autoridades policiales las cuentas que buscan material de explotación sexual infantil.

La decisión de Grok se produce tras la presión regulatoria y las acciones emprendidas en varios países de la Unión Europea o el Reino Unido, entre ellos España, donde el Gobierno se ha dirigido a la Fiscalía General del Estado para solicitar que investigue si Grok podía estar cometiendo delitos de difusión de material de violencia sexual contra la infancia.

Las desaprobación internacional

El pasado lunes 12 de enero, el regulador británico de los medios de comunicación una investigación sobre X, para determinar si el hecho de que la red social permita que su chatbot genere ultrafalsos (deepfakes) de carácter íntimo y sexual viola su deber de proteger a los usuarios británicos de contenido que podría ser ilegal.

“Ha habido informaciones profundamente preocupantes según los cuales la cuenta del chatbot Grok AI en X se utiliza para crear y compartir imágenes de personas sin ropa —que pueden equivaler a un abuso de imágenes íntimas o pornografía— e imágenes sexualizadas de niños que pueden equivaler a material de abuso sexual infantil”, dijo Ofcom en un comunicado.

Cuando el lunes se le pidió que comente el inicio de la investigación formal, X se remitió a un comunicado previo en el que dijo que toma medidas contra el contenido ilegal en la plataforma, incluido el material de abuso sexual infantil, eliminándolo, suspendiendo permanentemente las cuentas y colaborando con los gobiernos locales y las fuerzas del orden según sea necesario.

Cualquiera que utilice o incite a Grok a hacer contenido ilegal sufrirá las mismas consecuencias como si subiera contenido ilegal.

El regulador está bajo presión para actuar después de que el primer ministro Keir Starmer dijo una semana antes que las imágenes eran “repugnantes” e “ilegales”.

X de Musk tenía que “controlar” a Grok, sostuvo Starmer.

Preguntado el lunes sobre si X podría ser prohibido, el secretario de Negocios Peter Kyle dijo: “Sí, por supuesto”, pero señaló que el poder para hacerlo recaía en Ofcom.

La ministra Liz Kendall acogió con satisfacción la investigación formal de Ofcom, añadiendo que debe completarse rápidamente.

Crear o compartir imágenes íntimas no consentidas o material de abuso sexual infantil, incluidas las imágenes sexuales generadas por IA, es ilegal en Reino Unido.

Además, las plataformas tecnológicas deben impedir que los usuarios se encuentren con contenidos ilegales y eliminarlos en cuanto tengan conocimiento de ellos.

X ha sido condenado en otros países por esta función, que puede generar imágenes de mujeres y menores con poca ropa.

Las autoridades francesas han denunciado ante la fiscalía y los organismos reguladores, calificando el contenido de “manifiestamente ilegal”, mientras que las autoridades indias también han exigido explicaciones.

El miércoles 14, el fiscal general de California, Rob Bonta, abrió su propia investigación contra xAI.

“La avalancha de informes que detallan el material sexualmente explícito y no consensual que xAI ha producido y publicado en línea en las últimas semanas es impactante. Este material, que muestra a mujeres y niños desnudos y en situaciones sexualmente explícitas, se ha utilizado para acosar a personas en internet”.

Usuarios de Grok “toman imágenes comunes de mujeres y niños disponible en internet y las utilizan para representarlas en situaciones sugerentes y sexualmente explícitas, desnudándolas, todo ello sin su conocimiento ni consentimiento”, explicó Bonta.

Las imágenes generadas por el chatbot de X “se están utilizando para acosar tanto a figuras públicas como a usuarios comunes de redes sociales. Lo más alarmante es que los informes periodísticos han descrito el uso de Grok para alterar imágenes de niños con ropa mínima y en situaciones sexuales”, agregó.

La fiscalía de California instó, en este sentido, a Musk a “medidas inmediatas para garantizar que esto no vaya más allá”.

Gobernador de California, el demócrata Gavin Newsom

Por su parte, el gobernador de California, el demócrata Gavin Newsom, secundó esta investigación sobre el gigante tecnológico y afirmó que la red social X “alberga un caldo de cultivo para que los depredadores difundan deepfakes de IA sexualmente explícitos y no consensuados”.

Países como Malasia e Indonesia ya han bloqueado el acceso a Grok y han emprendido acciones legales contra X y la unidad de IA de Musk, xAI, alegando fallos en la prevención de contenidos nocivos y la protección de los usuarios.

El desconocimiento de Musk

El mismo día que se compartió la demanda en California, y un día antes de restringir la función, Elon Musk dijo que no tenía conocimiento de ninguna “imagen de menores desnudos” generada por el chatbot Grok.

El comentario de Musk se produjo en un momento en que xAI y X se enfrentan a una serie de reclamos, que incluye peticiones de legisladores y grupos de defensa para que Apple y Google retiren Grok de las tiendas de aplicaciones, investigaciones gubernamentales y prohibiciones o acciones legales.

Musk reiteró que Grok está programado para rechazar solicitudes ilegales y debe cumplir las leyes de cualquier país o estado. “Obviamente, Grok no genera imágenes de forma espontánea, sólo lo hace según las peticiones de los usuarios”, destacó.

Musk ya había dicho en X que cualquiera que utilizara Grok para crear contenido ilegal sufriría las mismas consecuencias que si subiera contenido ilegal.

En respuesta, tres senadores demócratas pidieron la semana pasada a Apple y a Google, de Alphabet, que retiraran X y su chatbot de inteligencia artificial Grok de sus tiendas de aplicaciones, citando la difusión de imágenes sexuales no consentidas de mujeres y menores en la plataforma.

Una coalición de grupos de mujeres, organismos de control tecnológico y activistas pidieron a los gigantes tecnológicos una medida similar.

Con información de EFE y Reuters