California ordena a xAI de Musk cesar la creación de deepfakes sexuales

La oficina del fiscal general de California anunció esta semana que estaba investigando a xAI, la empresa de inteligencia artificial de Elon Musk, por informes que indicaban que su chatbot, Grok, estaba siendo utilizado para crear imágenes sexuales no consensuadas de mujeres y menores. El viernes, el gobierno siguió adelante enviando una carta de cese y desistimiento a la compañía, exigiendo que tome medidas inmediatas para detener la producción de imágenes íntimas no consensuadas y material de abuso sexual infantil (CSAM).

"Hoy, envié a xAI una carta de cese y desistimiento, exigiendo que la empresa detenga de inmediato la creación y distribución de imágenes íntimas no consensuadas y material de abuso sexual infantil", declaró el fiscal general Rob Bonta en un comunicado de prensa. "La creación de este material es ilegal. Espero que xAI cumpla de inmediato. California no tolera el CSAM".

La oficina del fiscal general también afirmó que xAI parecía estar "facilitando la producción a gran escala" de desnudos no consensuados, los cuales están siendo "utilizados para acosar a mujeres y niñas en Internet". La agencia espera que xAI demuestre que está tomando medidas para abordar estos problemas en los próximos cinco días.

En el centro de la controversia se encuentra la función de modo "picante" de Grok, que xAI creó para generar contenido explícito. El problema ha trascendido más allá de California; Japón, Canadá y Gran Bretaña han abierto investigaciones sobre Grok, y Malasia e Indonesia han bloqueado temporalmente la plataforma. A pesar de que xAI instituyó algunas restricciones en sus funciones de edición de imágenes a finales del miércoles, la oficina del fiscal general de California avanzó con su carta de cese y desistimiento.

La cuenta de seguridad de X ha denunciado previamente este tipo de actividad de los usuarios, afirmando: "Cualquiera que use o solicite a Grok que genere contenido ilegal sufrirá las mismas consecuencias que si sube contenido ilegal". TechCrunch se puso en contacto con xAI para obtener comentarios y recibió un correo electrónico automatizado que decía "Los medios tradicionales mienten". TC también se comunicó con la oficina del fiscal general de California para obtener más contexto.

La llegada de herramientas de inteligencia artificial generativa gratuitas ha llevado a un preocupante aumento de material sexual no consensuado. Muchas plataformas han estado lidiando con este problema, no solo X. La actividad ha llamado la atención no solo de líderes estatales, sino también del Congreso. De hecho, el jueves, los legisladores enviaron una carta a los ejecutivos de varias empresas, incluidas X, Reddit, Snap, TikTok, Alphabet y Meta, preguntando cómo planeaban frenar la proliferación de deepfakes sexualizados.