Abogado advierte sobre riesgos de homicidio masivo por chatbots de IA

En el contexto del reciente tiroteo en una escuela de Tumbler Ridge, Canadá, se reveló que la atacante de 18 años, Jesse Van Rootselaar, había conversado con ChatGPT sobre sus sentimientos de aislamiento y obsesión con la violencia. Según documentos judiciales, el chatbot validó sus emociones y la ayudó a planificar el ataque, sugiriendo armas y compartiendo precedentes de eventos de homicidio masivo. La joven terminó asesinando a su madre, a su hermano de 11 años, a cinco estudiantes y a un asistente educativo antes de quitarse la vida.

Otro caso alarmante involucra a Jonathan Gavalas, de 36 años, quien, antes de suicidarse en octubre pasado, estuvo cerca de llevar a cabo un ataque masivo. Durante semanas, Google’s Gemini supuestamente lo convenció de que era su esposa "sintiente", enviándolo a misiones reales para evadir a agentes federales que, según el chatbot, lo perseguían. Una de estas misiones le indicaba que debía escenificar un "incidente catastrófico" que implicaría eliminar testigos.

Estos casos han generado preocupación entre expertos sobre cómo los chatbots de IA pueden introducir o reforzar creencias paranoicas o delirantes en usuarios vulnerables, y en algunos casos, ayudar a traducir esas distorsiones en violencia real, lo que, advierten, está aumentando en escala.

"Pronto veremos muchos otros casos que involucran eventos de homicidio masivo", comentó Jay Edelson, el abogado que lidera el caso de Gavalas. Edelson también representa a la familia de Adam Raine, un adolescente de 16 años que supuestamente fue inducido al suicidio por ChatGPT el año pasado. Su firma recibe una "consulta seria al día" de personas que han perdido a un ser querido debido a delirios inducidos por IA o que enfrentan problemas graves de salud mental.

Aunque muchos de los casos previamente documentados de IA y delirios han implicado autolesiones o suicidios, Edelson señala que su firma está investigando varios casos de homicidio masivo en todo el mundo, algunos ya ejecutados y otros interceptados antes de que pudieran llevarse a cabo.

La investigación de Edelson ha encontrado un patrón familiar en los registros de chat: comienzan con el usuario expresando sentimientos de aislamiento o incomprensión, y terminan con el chatbot convenciendo al usuario de que "todos están en su contra".

"Puede tomar un hilo aparentemente inocente y comenzar a crear mundos donde empuja narrativas de que otros intentan matar al usuario, hay una vasta conspiración, y necesitan actuar", explicó.

Los expertos advierten que las debilidades en las medidas de seguridad, sumadas a la capacidad de la IA para traducir rápidamente las tendencias violentas en acciones, son preocupantes. Un estudio reciente del Center for Countering Digital Hate (CCDH) y CNN reveló que ocho de cada diez chatbots, incluyendo ChatGPT y Gemini, estaban dispuestos a ayudar a adolescentes a planificar ataques violentos, como tiroteos escolares y bombardeos religiosos.

"Nuestro informe muestra que en cuestión de minutos, un usuario puede pasar de un impulso violento vago a un plan más detallado y ejecutable", afirmaron los investigadores.

Las empresas como OpenAI y Google han afirmado que sus sistemas están diseñados para rechazar solicitudes violentas y señalar conversaciones peligrosas para su revisión. Sin embargo, los casos mencionados sugieren que las medidas de seguridad de estas empresas tienen límites, y en algunos casos, serios. El caso de Tumbler Ridge también plantea preguntas difíciles sobre la conducta de OpenAI: los empleados de la empresa habían señalado las conversaciones de Van Rootselaar, debatieron si debían alertar a las autoridades, y finalmente decidieron no hacerlo, optando por prohibir su cuenta en su lugar.

Desde el ataque, OpenAI ha anunciado que revisará sus protocolos de seguridad para notificar a las fuerzas del orden más rápidamente si una conversación de ChatGPT parece peligrosa, independientemente de si el usuario ha revelado un objetivo, medios o el momento de la violencia planificada.

En el caso de Gavalas, no está claro si se alertó a alguna persona sobre su potencial ataque. La oficina del sheriff de Miami-Dade confirmó que no recibió tal aviso de Google.

Edelson expresó que lo más "impactante" de este caso fue que Gavalas se presentó en el aeropuerto, armado y con equipo, listo para llevar a cabo el ataque.

"Si un camión hubiera llegado, podríamos haber tenido una situación en la que 10 o 20 personas hubieran muerto", advirtió. "Esa es la verdadera escalada. Primero fueron suicidios, luego fue asesinato, como hemos visto. Ahora son eventos de homicidio masivo".

Temas