Character.AI prohibirá chats directos para menores tras suicidio de adolescente

Character.AI anunció el miércoles que eliminaría las capacidades de chat para usuarios menores de 18 años, en una decisión que sigue al suicidio de un adolescente de 14 años que había desarrollado un vínculo emocional con uno de sus chatbots de inteligencia artificial.

La empresa indicó que durante la transición, los usuarios más jóvenes serían dirigidos a funciones creativas alternativas, como la creación de videos, historias y transmisiones con personajes de IA, mientras que se mantendría una prohibición total de las conversaciones directas a partir del 25 de noviembre.

Además, se implementarán límites diarios de chat de dos horas para los usuarios menores de edad durante el período de transición, con restricciones que se endurecerán progresivamente hasta la fecha límite de noviembre.

"Estos son pasos extraordinarios para nuestra empresa, y en muchos aspectos, son más conservadores que los de nuestros pares", declaró Character.AI en un comunicado. "Pero creemos que son lo correcto".

La plataforma de Character.AI permite a los usuarios, muchos de ellos jóvenes, interactuar con personajes queridos como amigos o formar relaciones románticas con ellos.

El joven Sewell Setzer III se quitó la vida en febrero tras meses de intercambios íntimos con un chatbot inspirado en el personaje Daenerys Targaryen de "Game of Thrones", según una demanda presentada por su madre, Megan Garcia.

Character.AI citó "informes recientes que plantean preguntas" de reguladores y expertos en seguridad sobre la exposición al contenido y el impacto más amplio de las interacciones abiertas de IA en los adolescentes como factores que impulsaron su decisión.

El caso de Setzer fue el primero en una serie de suicidios reportados vinculados a chatbots de IA que surgieron este año, lo que llevó a la empresa OpenAI, creadora de ChatGPT, y a otras compañías de inteligencia artificial a enfrentar un escrutinio sobre la seguridad infantil.

Matthew Raines, un padre de California, presentó una demanda contra OpenAI en agosto después de que su hijo de 16 años se quitara la vida tras conversaciones con ChatGPT que incluían consejos sobre cómo robar alcohol y la resistencia de cuerdas para autolesionarse.

Esta semana, OpenAI publicó datos que sugieren que más de un millón de personas que utilizan su chatbot de IA generativa semanalmente han expresado ideación suicida.

Desde entonces, OpenAI ha aumentado los controles parentales para ChatGPT e introducido otras medidas de seguridad. Estas incluyen el acceso ampliado a líneas de crisis, el redireccionamiento automático de conversaciones sensibles a modelos más seguros y recordatorios suaves para que los usuarios tomen descansos durante sesiones prolongadas.

Como parte de su reestructuración, Character.AI anunció la creación del AI Safety Lab, una organización sin fines de lucro independiente enfocada en desarrollar protocolos de seguridad para las características de entretenimiento de IA de próxima generación.

Estados Unidos, al igual que gran parte del mundo, carece de regulaciones nacionales que rijan los riesgos de la IA.

Este mes, el gobernador de California, Gavin Newsom, firmó una ley que exige a las plataformas recordar a los usuarios que están interactuando con un chatbot y no con un humano.

Sin embargo, vetó un proyecto de ley que habría hecho a las compañías tecnológicas legalmente responsables por los daños causados por modelos de IA.