Grok, enfrenta reacción global por imágenes sexualizadas generadas por IA

Grok, el chatbot de Elon Musk, enfrenta una reacción negativa de gobiernos de todo el mundo tras un reciente aumento en la generación de imágenes sexualizadas de mujeres y menores, generadas sin consentimiento por la herramienta de inteligencia artificial.

El martes, la principal autoridad de tecnología de Reino Unido exigió que X, la red social de Musk, tomara medidas urgentes, mientras que un legislador polaco la mencionó como una de las razones para promulgar leyes de seguridad digital.

La rama ejecutiva de la Unión Europea ha denunciado al chatbot, mientras que funcionarios y reguladores de Francia, India, Malasia y Brasil han condenado la plataforma y han exigido investigaciones.

La creciente alarma de naciones tan dispares señala el aterrador potencial de las aplicaciones de desnudamiento que utilizan inteligencia artificial para generar imágenes sexualmente explícitas y falsas.

Generación de imágenes

El problema surgió tras el lanzamiento el año pasado de Grok Imagine, un generador de imágenes de IA que permite que los usuarios creen videos e imágenes escribiendo indicaciones de texto. Incluye un llamado "modo picante" que puede generar contenido para adultos.

El problema se intensificó a finales del mes pasado, cuando Grok, que se aloja en X, aparentemente comenzó a atender un gran número de solicitudes de usuarios para modificar imágenes publicadas por otros. Hasta el martes, los usuarios de Grok aún podían generar imágenes de mujeres utilizando solicitudes como "ponerla en un bikini transparente".

El problema se amplifica porque Musk presenta su chatbot como una alternativa más atrevida a los rivales con más salvaguardias, y porque las imágenes de Grok son públicamente visibles y, por lo tanto, pueden difundirse fácilmente.

El grupo sin fines de lucro AI Forensics dijo en un informe que analizó 20.000 imágenes generadas por Grok entre el 25 de diciembre y el 1 de enero y encontró que el 2% representaba a una persona que parecía tener 18 años o menos, entre ellas, 30 de mujeres o niñas jóvenes o muy jóvenes, en bikinis o ropa transparente.

xAI, la empresa de inteligencia artificial de Musk, respondió a una solicitud de comentarios con la respuesta automatizada, "Mentiras de los medios tradicionales".

Sin embargo, X no negó la existencia del contenido problemático generado a través de Grok. Aun así, afirmó en una publicación en su cuenta de Seguridad que toma medidas contra el contenido ilegal, incluido el material de abuso sexual infantil, "eliminándolo, suspendiendo permanentemente cuentas y trabajando con gobiernos locales y fuerzas del orden según sea necesario".

La plataforma también repitió un comentario de Musk, quien dijo: "Cualquiera que use Grok para crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal".

Una creciente lista de países exige que Musk haga más para controlar el contenido explícito o abusivo.

Reino Unido

X debe abordar "urgentemente" el problema, dijo el martes la secretaria de Tecnología Liz Kendall, agregando que apoyaba un escrutinio adicional por parte del regulador de comunicaciones de Reino Unido, Ofcom.

Kendall dijo que el contenido es "absolutamente espantoso e inaceptable en una sociedad decente".

"No permitiremos la proliferación de estas imágenes degradantes y denigrantes, que agreden desproporcionadamente a mujeres y niñas".

Ofcom dijo el lunes que ha hecho "contacto urgente" con X.

"Estamos al tanto de serias preocupaciones planteadas sobre una función de Grok en X que produce imágenes de personas desnudas e imágenes sexualizadas de menores", señaló el organismo de control.

También dijo que contactó tanto a X como a xAI para entender qué pasos ha dado para cumplir con las regulaciones británicas.

De conformidad con la Ley de Seguridad en Línea de Reino Unido, las plataformas de redes sociales deben prevenir y eliminar el material de abuso sexual infantil cuando tengan conocimiento de él.

Polonia

Un legislador polaco expuso a Grok el martes como una de las razones para crear una legislación nacional de seguridad digital que reforzaría las protecciones para menores y facilitaría a las autoridades la eliminación de contenido.

En un video en línea, Wlodzimierz Czarzasty, presidente del parlamento, dijo que quería convertirse en un objetivo de Grok para resaltar el problema, así como apelar al presidente de Polonia para que apoye la legislación.

"Últimamente, Grok está desnudando a la gente. Está desnudando a mujeres, hombres y niños. Nos sentimos mal por ello. Honestamente, casi querría que este Grok también me desnudara", dijo.

Unión Europea

La rama ejecutiva del bloque está "bien consciente" de que Grok se utiliza para crear "contenido sexual explícito con algunas salidas generadas con imágenes de apariencia infantil", dijo el portavoz de la Comisión Europea, Thomas Regnier.

"Esto no es picante. Es ilegal. Es espantoso. Es repugnante. Así es como lo vemos, y esto no tiene lugar en Europa. Esta no es la primera vez que Grok genera tal contenido", dijo a los periodistas el lunes.

Después de que Grok difundiera contenido de negación del Holocausto el año pasado, según Regnier, la Comisión buscó más información por parte de X, la red social de Musk. La respuesta de X está siendo analizada actualmente, dijo.

Francia

La fiscalía de París dijo que está ampliando una investigación en curso sobre X para incluir deepfakes sexualmente explícitos después de que funcionarios recibieran quejas de legisladores.

Tres ministros del gobierno alertaron a los fiscales sobre "contenido manifiestamente ilegal" generado por Grok y publicado en X, según un comunicado del gobierno la semana pasada.

El gobierno también señaló problemas con el regulador de comunicaciones del país sobre posibles violaciones de la Ley de Servicios Digitales de la UE.

"Internet no es ni una zona sin ley ni una zona de impunidad: los delitos sexuales cometidos en línea son delitos penales por derecho propio y están completamente bajo la ley, al igual que los cometidos fuera de línea", señaló el gobierno.

India

El gobierno indio emitió el viernes un ultimátum a X, exigiéndole que elimine todo "contenido ilegal" y tome medidas contra los usuarios infractores. El Ministerio de Electrónica y Tecnología de la Información del país también ordenó a la empresa que revise el "marco técnico y de gobernanza" de Grok y presente un informe sobre las acciones tomadas.

El ministerio acusó a Grok de "uso indebido grave" de la IA y fallas serias en sus salvaguardias y aplicación de leyes y reglamentos al permitir la generación y el intercambio de "imágenes o videos obscenos de mujeres de manera infamante o vulgar para denigrarlas indecentemente".

El ministerio advirtió que el incumplimiento del plazo de 72 horas expondría a la empresa a problemas legales mayores, pero el plazo pasó sin una actualización pública por parte de India.

Malasia

El organismo de control de comunicaciones de Malasia dijo el sábado que ya investiga a los usuarios de X que violaron las leyes que prohíben la difusión de contenido "groseramente ofensivo, obsceno o indecente".

La Comisión de Comunicaciones y Multimedios de Malasia dijo que también investiga daños en línea en X y convocaría a un representante de la empresa.

El organismo de control dijo que tomó nota de las quejas públicas sobre las herramientas de IA de X que se utilizan para manipular digitalmente "imágenes de mujeres y menores para producir contenido indecente, groseramente ofensivo o dañino de algún otro modo".

Brasil

La legisladora Erika Hilton dijo que denunció a Grok y X ante la fiscalía pública federal de Brasil y el organismo de protección de datos del país.

En una publicación en redes sociales, acusó a ambos de generar y luego publicar imágenes sexualizadas de mujeres y menores sin consentimiento.

Dijo que las funciones de IA de X deberían desactivarse hasta que se lleve a cabo una investigación.

Hilton, una de las primeras legisladoras transgénero de Brasil, denunció cómo los usuarios podrían hacer que Grok alterara digitalmente cualquier foto publicada, incluyendo "cambiar la ropa de mujeres y niñas por bikinis o hacerlas sugestivas y eróticas".

"El derecho a la propia imagen es individual; no puede transferirse a través de los 'términos de uso' de una red social, y la distribución masiva de pornografía infantil por una inteligencia artificial integrada en una red social cruza todos los límites", dijo.

Los periodistas de la AP Claudia Ciobanu en Varsovia, Lorne Cook en Bruselas y John Leicester en París contribuyeron a este despacho.

Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.

El CEO de BTR Consulting y especialista en riesgo tecnológico y negocios, Gabriel Zurdo, expresó en Cadena 3 su preocupación por el avance acelerado de la inteligencia artificial y la ausencia de controles efectivos, con especial impacto en niños y adolescentes. Sostuvo que el problema ya no es solo técnico, sino social y cultural, y marcó coincidencias y diferencias con los interlocutores que lo consultaron.

“Esto está dejando de ser una cuestión tecnológica y pasa a ser un asunto de sentido común”. En ese marco, remarcó que el uso de aplicaciones capaces de manipular imágenes con un solo clic expone a los menores a riesgos inéditos y de rápida propagación.

Al recoger las observaciones de la mesa sobre la falta de control en plataformas masivas, el especialista aportó datos para dimensionar el fenómeno: solo en 2024 se lanzaron unas 4.000 aplicaciones nuevas de inteligencia artificial. Coincidió que existe una “necesidad fáctica de gobernar las plataformas”, y advirtió que hoy no hay regulación, educación ni límites claros, en un mercado digital sin fronteras.

Zurdo también respondió sobre casos ocurridos en Córdoba y explicó que prácticas que antes se minimizaban como “bromas” escolares evolucionaron hacia formas de violencia digital, como el cyber flashing. Según detalló, esta modalidad se utiliza para extorsionar a mujeres y niñas, a partir de fotos públicas transformadas en imágenes íntimas falsas, que luego derivan en pedidos de dinero o más contenido, e incluso en la creación de material que simula abusos.

Sobre la situación judicial de jóvenes procesados por este tipo de delitos en Argentina, Zurdo subrayó que la velocidad de la tecnología supera ampliamente al sistema judicial. Para respaldar su advertencia, compartió estadísticas de su centro de estudios sobre sociedad digital: una de cada cinco niñas y adolescentes abandonó redes sociales tras vivir situaciones incómodas; el 61% de las mujeres jóvenes sufrió acoso u hostigamiento; y el 26% de las mujeres de entre 15 y 45 años fue víctima de hostilidad digital mediante el uso de sus propias fotos.

Al abordar experiencias internacionales mencionadas por los interlocutores, como la prohibición del uso de celulares por menores en Australia, Zurdo propuso observar el caso de Dinamarca, donde se avanzó en la llamada propiedad identitaria digital, que otorga valor legal a la imagen y la voz, al nivel de un DNI o pasaporte. No obstante, marcó distancia de regulaciones extremas y citó a Venezuela como ejemplo de cómo el bloqueo de redes puede derivar en censura. “El riesgo es ir a un escenario donde el torniquete sea excesivo”, advirtió.

Zurdo recordó que en internet no existe la ley del olvido y que todo contenido subido permanece en el tiempo. Por eso, afirmó que hoy la única herramienta efectiva es la educación en el hogar. “Hablen con los chicos, hablen en la mesa, hablen en casa”, recomendó, al remarcar que el contacto con las pantallas es inevitable y que la generación de este tipo de contenidos dañinos seguirá creciendo.

Entrevista de Miguel Clariá y Francisco Centeno.