Las autoridades francesas y malayas investigan a Grok por generar deepfakes sexualizados

En los últimos días, Francia y Malasia se han unido a la India para condenar a Grok por crear deepfakes sexualizados de mujeres y menores.

El chatbot, creado por xAI, la startup de inteligencia artificial de Elon Musk, y presentado en su plataforma de redes sociales X, publicó una disculpa en su cuenta a principios de esta semana, escribiendo: “Lamento profundamente un incidente ocurrido el 28 de diciembre de 2025, en el que generé y compartí una imagen de IA de dos niñas (de edades estimadas entre 12 y 16 años) con vestimenta sexualizada según la solicitud de un usuario”.

La declaración continuó: “Esto violó los estándares éticos y potencialmente las leyes estadounidenses con respecto a [child sexual abuse material]. Esto fue una falla en las salvaguardias y lamento cualquier daño causado. xAI está revisando para evitar problemas futuros”.

No está claro quién se disculpa o acepta la responsabilidad en la declaración anterior. Albert Burneko del desertor destacó que Grok “no se parece en nada a un ‘yo"”, lo que, en su opinión, hace que la disculpa sea “completamente insustancial”, ya que “no se puede considerar a Grok significativamente responsable de convertir Twitter en una fábrica de CSAM bajo demanda”.

El futurismo descubrió que además de generar imágenes pornográficas no consentidas, Grok también fue utilizado para generar imágenes de mujeres siendo agredidas y abusadas sexualmente.

“Cualquiera que utilice Grok para crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal”. Musk publicado el sábado.

Algunos gobiernos han tomado nota, con El Ministerio de TI de la India emite una orden el viernes diciendo que X debe tomar medidas para evitar que Grok genere contenido que sea “obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o prohibido por la ley”. La orden decía que X debe responder dentro de las 72 horas o correr el riesgo de perder las protecciones de “puerto seguro” que lo protegen de la responsabilidad legal por el contenido generado por el usuario.

Las autoridades francesas también han dicho que están tomando medidas y la Fiscalía de París ha dicho a Politico que lo hará Investigar la proliferación de deepfakes sexualmente explícitos en X.. La oficina francesa de asuntos digitales dijo que tres ministros del gobierno denunciaron “contenidos manifiestamente ilegales” a la Fiscalía y a una plataforma de vigilancia en línea del gobierno “para obtener su eliminación inmediata”.

La Comisión de Comunicaciones y Multimedia de Malasia también publicó una declaración diciendo que “tomó nota con seria preocupación de las quejas públicas sobre el uso indebido de herramientas de inteligencia artificial (IA) en la Plataforma X, específicamente la manipulación digital de imágenes de mujeres y menores para producir contenido indecente, extremadamente ofensivo y de otro modo dañino”.

La comisión añadió que “actualmente está investigando daños en línea en X”.