Un modelo de IA identifica videos que podrían provocar pensamientos suicidas

Un reciente estudio publicado en Information Systems Research demostró que ciertos videos cortos en plataformas populares pueden desencadenar pensamientos suicidas en espectadores vulnerables. Además, se desarrolló un modelo de inteligencia artificial (IA) que puede identificar estos videos de alto riesgo antes de que se difundan. Esta investigación representa una de las primeras herramientas basadas en datos y con respaldo médico para detectar daños relacionados con el suicidio en tiempo real, proporcionando a las plataformas una señal de alerta temprana en un momento en que las preocupaciones sobre la salud mental de los jóvenes están aumentando y la presión sobre la seguridad de las plataformas se intensifica.

El estudio fue realizado por Jiaheng Xie de la Universidad de Delaware, Yidong Chai de la Universidad de Tecnología de Hefei y la Ciudad Universitaria de Hong Kong, Ruicheng Liang de la Universidad de Finanzas y Economía de Anhui, Yang Liu de la Universidad de Tecnología de Hefei y Daniel Dajun Zeng de la Academia China de Ciencias.

La investigación surge en un contexto donde el uso de videos cortos crece a un ritmo alarmante. A nivel global, 1.6 mil millones de personas consumen clips breves en plataformas como TikTok y Douyin. Sin embargo, expertos han expresado su preocupación por el contenido que glamoriza o normaliza el autolesionismo. Los espectadores a menudo manifiestan angustia emocional directamente en las secciones de comentarios de estos videos, lo que proporciona a las plataformas una señal de daño en tiempo real.

"Nuestro objetivo fue ayudar a las plataformas a entender cuándo un video podría desencadenar pensamientos suicidas y captar esos riesgos antes de que se propaguen", comentó Xie. "Los comentarios que las personas dejan son indicadores poderosos de cómo el contenido de los videos les afecta, especialmente cuando los espectadores se sienten anónimos y más dispuestos a compartir lo que sienten".

El equipo de investigación desarrolló un modelo de tema neuronal guiado por conocimiento, un tipo de IA que combina expertise médica sobre factores de riesgo de suicidio con patrones encontrados en el contenido real de los videos. Este modelo predice la probabilidad de que un nuevo video genere comentarios relacionados con pensamientos suicidas, permitiendo que los equipos de moderación intervengan antes de que el video alcance audiencias más amplias.

A diferencia de los métodos existentes que tratan todos los videos y comentarios por igual, el modelo distingue entre lo que los creadores eligen publicar y lo que los espectadores piensan o sienten después de ver. También separa los factores de riesgo médico conocidos de las tendencias emergentes en redes sociales, como clips de desamor virales o desafíos que pueden influir en los adolescentes.

"Los videos cortos a menudo mezclan historias personales, visuales impulsados por emociones y temas intensos", explicó Chai. "Al incorporar conocimientos médicos directamente en el modelo de IA, podemos detectar contenido dañino de manera más confiable y presentarlo a los moderadores humanos cuando más importa".

El modelo superó a otras herramientas de última generación y reveló temas médicamente relevantes que aparecen en videos vinculados a expresiones de pensamientos suicidas. Para las plataformas, esto significa que los sistemas automatizados pueden señalar videos con mayor precisión para su seguimiento por parte de revisores humanos, mejorando la consistencia y reduciendo el volumen de contenido que deben evaluar manualmente.

Los autores señalaron que el modelo está diseñado para apoyar, no reemplazar, el juicio humano. Enfatizan que los equipos de moderación deben continuar tomando decisiones finales basadas en políticas de la plataforma, estándares legales y consideraciones éticas.

Los hallazgos ofrecen orientación práctica para las plataformas que enfrentan una creciente presión sobre la seguridad de los adolescentes y los daños a la salud mental. Con demandas, presión regulatoria y creciente preocupación pública, los investigadores afirman que herramientas como la suya podrían ayudar a reducir tragedias prevenibles.

Temas