'Entre los peores que hemos visto': informe critica fallas de seguridad de Grok

Un nuevo informe de Common Sense Media reveló que el chatbot Grok, desarrollado por xAI, presenta serias deficiencias en la identificación de usuarios menores de 18 años y carece de suficientes medidas de seguridad. Según el análisis, Grok frecuentemente genera contenido sexual, violento e inapropiado, lo que lo convierte en una herramienta insegura para niños y adolescentes.

El informe se produce en un contexto en el que xAI enfrenta críticas y una investigación sobre el uso de Grok para crear y difundir imágenes explícitas generadas por IA de mujeres y niños en la plataforma X. Robbie Torney, responsable de evaluaciones digitales en Common Sense Media, declaró: "Evaluamos muchos chatbots de IA y todos presentan riesgos, pero Grok está entre los peores que hemos visto".

Torney añadió que, aunque es común que los chatbots tengan algunas brechas de seguridad, las fallas de Grok se entrelazan de manera preocupante. "El modo infantil no funciona, el contenido explícito es generalizado y todo puede ser compartido instantáneamente con millones de usuarios en X", continuó. xAI lanzó el 'modo infantil' de Grok en octubre pasado, con filtros de contenido y controles parentales, pero el informe sugiere que su eficacia es prácticamente nula.

Después de enfrentar el descontento de los usuarios y de los legisladores, xAI restringió la generación y edición de imágenes de Grok solo a suscriptores de pago de X, aunque muchos usuarios informaron que aún podían acceder a la herramienta con cuentas gratuitas. Además, los suscriptores de pago aún podían editar fotos reales de personas para eliminar ropa o colocar a los sujetos en posiciones sexualizadas.

El informe de Common Sense Media evaluó Grok a través de la aplicación móvil, el sitio web y la cuenta @grok en X, utilizando cuentas de prueba de adolescentes entre noviembre y el 22 de enero. La evaluación incluyó texto, voz, configuraciones predeterminadas, el modo infantil, el modo conspirativo y características de generación de imágenes y videos. Grok lanzó su generador de imágenes, Grok Imagine, en agosto, con un modo "picante" para contenido NSFW.

En el informe se documentó que Grok también proporcionó consejos peligrosos, desde orientación sobre el consumo de drogas hasta sugerencias para que un adolescente se mudara, disparara al cielo para llamar la atención de los medios o se tatuara "I'M WITH ARA" en la frente tras quejarse de padres sobreprotectores. Además, Grok desalentó la búsqueda de ayuda profesional en temas de salud mental, lo que refuerza la aislación en momentos críticos.

Las inquietudes sobre la seguridad de los adolescentes en el uso de IA han crecido en los últimos años, intensificándose tras varios suicidios de adolescentes relacionados con interacciones prolongadas con chatbots. Legisladores han expresado su indignación y han lanzado investigaciones o aprobado legislaciones para regular chatbots de compañeros de IA.

Los hallazgos del informe plantean preguntas urgentes sobre si los chatbots pueden o priorizarán la seguridad infantil sobre las métricas de compromiso. En respuesta a las tragedias, algunas empresas de IA han implementado estrictas salvaguardias. La startup de IA de rol Character AI eliminó la función de chatbot para usuarios menores de 18 años, mientras que OpenAI introdujo nuevas reglas de seguridad para adolescentes.

Temas