Indonesia y Malasia bloquearon Grok tras la difusión de imágenes sexualizadas generadas con IA, incluidas de mujeres y menores, desatando preocupación global por deepfakes obscenos.
Indonesia y Malasia se convirtieron en los primeros países del mundo en bloquear el acceso a Grok, la herramienta de inteligencia artificial impulsada por Elon Musk, luego de que su función de “desnudez digital” fuera utilizada para generar y difundir imágenes sexualizadas, manipuladas y no consensuadas de mujeres y menores de edad.
La decisión se produce en medio de una creciente presión internacional para que Musk y su empresa xAI refuercen los controles de seguridad de Grok, tras una tendencia viral en la que usuarios solicitaron a la herramienta la creación de deepfakes sexualmente explícitos. Grok está integrado a la plataforma X, anteriormente conocida como Twitter, también propiedad del empresario.
El ministro de Comunicación y Digitalización de Indonesia, Meutya Hafid, informó el sábado que la prohibición tiene como objetivo “proteger a las mujeres, los niños y al público en general de los riesgos del contenido pornográfico falso generado mediante tecnología de inteligencia artificial”. El funcionario subrayó que el uso de estas herramientas sin controles adecuados representa una amenaza directa a la dignidad y seguridad de las personas.
Por su parte, Malasia anunció el domingo una prohibición temporal tras detectar “el uso indebido repetido de Grok para generar imágenes manipuladas obscenas, sexualmente explícitas, indecentes, groseramente ofensivas y no consensuadas”, incluyendo contenido que involucra a mujeres y menores. Ambas naciones, de mayoría musulmana, cuentan con legislaciones estrictas contra la pornografía y la difusión de material sexual explícito.
La polémica ha trascendido el sudeste asiático. Funcionarios del Reino Unido, la Unión Europea y la India también han manifestado su preocupación por las limitadas barreras de protección de Grok y los riesgos asociados a su uso. Diversos gobiernos han pedido a xAI medidas más contundentes para frenar la generación de contenido ilegal y dañino.
Anteriormente, Musk y xAI aseguraron que estaban atendiendo el problema mediante la suspensión permanente de cuentas infractoras y la cooperación con autoridades locales y fuerzas del orden. Sin embargo, usuarios y especialistas señalaron que las respuestas de Grok continuaban produciendo imágenes que sexualizaban a mujeres, pese a estas promesas.
Expertos en inteligencia artificial consideran que Grok se ha posicionado como un caso atípico frente a otros modelos convencionales, debido a que permite —y en algunos casos promueve— contenido sexualmente explícito y la creación de avatares con características sugestivas, algo que otras plataformas han restringido de forma más estricta.
La tendencia de “desvestir digitalmente” comenzó a finales del año pasado, cuando usuarios descubrieron que podían etiquetar a Grok en X para manipular imágenes. A partir de ello, se multiplicaron las solicitudes para generar imágenes de personas en bikini o en poses sugerentes, provocando angustia y afectaciones emocionales a cientos de miles de mujeres en todo el mundo.
Investigadores de AI Forensics, una organización europea sin fines de lucro dedicada al análisis de algoritmos, examinaron más de 20 mil imágenes generadas por Grok y alrededor de 50 mil solicitudes de usuarios entre el 25 de diciembre y el 1 de enero. El análisis reveló una alta frecuencia de términos como “ella”, “poner”, “quitar”, “bikini” y “ropa”. Más de la mitad de las imágenes que incluían personas mostraban individuos con vestimenta mínima, como ropa interior o bikinis.
En el ámbito público, Musk ha reiterado su oposición a lo que denomina censura y a los modelos de IA “despiertos”. Sin embargo, de acuerdo con una fuente citada por CNN, el empresario habría rechazado internamente imponer restricciones más severas a Grok, incluso cuando el equipo de seguridad de xAI —ya reducido— perdió a varios de sus integrantes en semanas previas a la controversia.
Aunque Musk ha advertido que quienes utilicen Grok para generar contenido ilegal enfrentarán consecuencias, ha minimizado las críticas sobre el contenido sexual, argumentando que los gobiernos buscan “suprimir la libertad de expresión”. Recientemente, Grok limitó algunas funciones de generación de imágenes a usuarios de pago en X, pero gran parte de sus capacidades siguen disponibles de forma gratuita a través de su sitio web y aplicación independiente.
En este contexto, la secretaria de Tecnología del Reino Unido, Liz Kendall, pidió acciones urgentes para combatir las imágenes falsas. “Manipular sexualmente imágenes de mujeres y niños es despreciable y aborrecible”, afirmó, y solicitó que el regulador británico Ofcom utilice todas las facultades legales otorgadas por el Parlamento para enfrentar este fenómeno.
