Discord reconoce fallo en moderación AI que bloqueó cuentas por imágenes inofensivas

Discord reconoció que un fallo en su sistema de moderación basado en inteligencia artificial (IA) provocó la suspensión errónea de más de 8,000 usuarios en los últimos dos meses. Las imágenes inofensivas, como hojas de cálculo y patrones de ajedrez, fueron incorrectamente identificadas como contenido dañino.

La empresa indicó que el problema había comenzado en mayo y que, durante el último fin de semana, se bloqueó a 200 usuarios adicionales antes de que el equipo identificara y solucionara la falla. Actualmente, se está trabajando en la restauración de todas las cuentas afectadas.

Este incidente resalta uno de los desafíos crecientes relacionados con la moderación asistida por IA, ya que muchas plataformas dependen cada vez más de sistemas automatizados para identificar material ilegal o abusivo a gran escala.

En un hilo detallado en X, Discord explicó que su sistema de seguridad automatizado funciona comparando el contenido subido con bases de datos de material dañino conocido. Aunque la tecnología está diseñada para detectar contenido ilegal, la compañía admitió que puede generar falsos positivos. Un moderador humano revisa el contenido, pero un error causó que el sistema prohibiera inmediatamente las cuentas afectadas.

"Estamos trabajando en mejores salvaguardias para que esto no vuelva a suceder", escribió la compañía.

A través de X y Reddit, usuarios afirmaron haber sido suspendidos permanentemente simplemente por subir imágenes con patrones de cuadrícula. Algunos especularon que las herramientas de moderación de IA de Discord se han vuelto más sensibles a patrones similares a cuadrículas porque se han utilizado previamente para ocultar o disfrazar contenido NSFW y de explotación infantil de los sistemas de detección automatizados.

Los usuarios afectados han expresado su frustración en las redes sociales, argumentando que las prohibiciones de cuentas permanentes basadas únicamente en detecciones automatizadas pueden tener consecuencias graves, especialmente para aquellos que dependen de Discord para el trabajo, comunidades de juegos o conexiones sociales a larga distancia.

"Perder una cuenta de Discord por algo tan injusto puede ser extremadamente devastador y afectar severamente a los usuarios. Cada día, millones de usuarios son afectados por prohibiciones falsas de IA. Esto debe detenerse", escribió un usuario de X.

Discord no es la única plataforma que enfrenta problemas de moderación debido a sistemas automatizados. El año pasado, usuarios de Instagram y Facebook reportaron suspensiones inexplicables de cuentas que muchos creían eran causadas por sistemas de moderación de IA. Aunque los usuarios apuntaron a la automatización como el probable culpable, Meta nunca confirmó públicamente si los errores de IA fueron responsables. Ahora, la Junta de Supervisión de Meta está exigiendo mayor transparencia.

Tumblr también enfrentó quejas el año pasado de usuarios que afirmaron que sus cuentas habían sido suspendidas masivamente sin explicaciones claras.

Temas