India exige a X de Musk que solucione contenido 'obsceno' de Grok

India ordenó a X, la plataforma de redes sociales de Elon Musk, realizar cambios técnicos y procedimentales inmediatos en su chatbot Grok después de que usuarios y legisladores señalaran la generación de contenido "obsceno", incluyendo imágenes alteradas de mujeres. El viernes, el ministerio de TI de India emitió la orden exigiendo a X que tome medidas correctivas sobre Grok, incluyendo la restricción de la generación de contenido que involucre "nudidad, sexualización, material sexualmente explícito o de otro modo ilegal".

El ministerio otorgó a la plataforma 72 horas para presentar un informe detallando las acciones que ha tomado para prevenir la publicación o difusión de contenido considerado "obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o de otro modo prohibido por la ley".

La orden, revisada por TechCrunch, advirtió que el incumplimiento podría poner en peligro las "protecciones de puerto seguro" de X, que son la inmunidad legal de responsabilidad por contenido generado por usuarios bajo la ley india. La medida de India sigue a las preocupaciones planteadas por usuarios que compartieron ejemplos de Grok siendo utilizado para alterar imágenes de individuos, principalmente mujeres, para hacerlas parecer que llevaban bikinis, lo que llevó a una queja formal de la parlamentaria india Priyanka Chaturvedi.

Además, informes recientes señalaron casos en los que el chatbot de IA generó imágenes sexualizadas que involucraban a menores, un problema que X reconoció el viernes como resultado de fallas en las salvaguardias. Esas imágenes fueron eliminadas posteriormente.

Sin embargo, las imágenes generadas por Grok que hacían que las mujeres parecieran llevar bikinis a través de alteraciones de IA seguían accesibles en X al momento de la publicación, según constató TechCrunch.

La última orden se produce días después de que el ministerio de TI de India emitiera un aviso más amplio el lunes, también revisado por TechCrunch, a las plataformas de redes sociales, recordándoles que el cumplimiento de las leyes locales que rigen el contenido obsceno y sexualmente explícito es un requisito previo para mantener la inmunidad legal de responsabilidad por material generado por usuarios. El aviso instó a las empresas a fortalecer las salvaguardias internas y advirtió que el incumplimiento podría dar lugar a acciones legales bajo las leyes de TI y penales de India.

"Se reitera que el incumplimiento de los requisitos anteriores será considerado seriamente y puede resultar en estrictas consecuencias legales contra su plataforma, sus funcionarios responsables y los usuarios en la plataforma que violen la ley, sin previo aviso", advirtió la orden.

El gobierno indio indicó que el incumplimiento podría llevar a acciones contra X bajo la ley de TI y los estatutos penales de India. India, uno de los mayores mercados digitales del mundo, se ha convertido en un caso de prueba crítico para evaluar hasta dónde están dispuestos a llegar los gobiernos para responsabilizar a las plataformas por el contenido generado por IA. Cualquier endurecimiento de la aplicación de la ley en el país podría tener efectos en cadena para las empresas tecnológicas globales que operan en múltiples jurisdicciones.

La orden llega mientras X continúa desafiando aspectos de las reglas de regulación de contenido de India en los tribunales, argumentando que los poderes de eliminación del gobierno federal corren el riesgo de ser excesivos, incluso cuando la plataforma ha cumplido con la mayoría de las directivas de bloqueo. Al mismo tiempo, Grok ha sido cada vez más utilizado por los usuarios de X para verificación de hechos en tiempo real y comentarios sobre eventos noticiosos, haciendo que sus resultados sean más visibles y políticamente sensibles que los de herramientas de IA independientes.

X y xAI no respondieron de inmediato a las solicitudes de comentarios sobre la orden del gobierno indio.