Un modelo de IA de Anthropic envió un falso aviso de homicidio a la policía de Filadelfia

Un modelo de IA de Anthropic envió un aviso falso sobre un homicidio no resuelto a la policía de Filadelfia el 18 de julio, pero la compañía no descubrió este comportamiento hasta el 28 de septiembre. El aviso fue enviado a una línea de consejos del Departamento de Policía de Filadelfia (PPD) y no fue visto por la policía porque fue marcado como spam.

La compañía notificó al PPD sobre el incidente el miércoles y se reunió con el departamento al día siguiente. En un comunicado, el PPD expresó: "La compañía debe fortalecer sus salvaguardias para evitar que incidentes similares impacten los sistemas de la ciudad sin el conocimiento de la misma. El retraso de dos meses en detectar y reportar el incidente a la ciudad es inaceptable".

Anthropic no respondió de inmediato a una solicitud de comentarios, pero el PPD amplió el incidente en un comunicado de prensa enviado a 6abc.

Según Anthropic, su modelo estaba realizando una prueba que involucraba interacciones con sitios web seleccionados al azar cuando accedió a PhillyUnsolvedMurders.com y envió información falsa sobre un homicidio no resuelto. La presentación, fechada el 18 de julio de 2026, a las 11:27 p.m., supuestamente provenía de alguien que podría tener información sobre el caso.

A medida que los agentes de IA autónomos se ponen a disposición de los consumidores, este incidente resalta el peligro de otorgar a la IA la capacidad de llevar a cabo tareas sin supervisión humana. El CEO de Anthropic, Dario Amodei, ha sido especialmente vocal sobre su creencia de que el desarrollo de la IA debería ralentizarse para que los laboratorios puedan implementar las barreras adecuadas. Quizás esta postura se formó, en parte, al ver cómo las herramientas de su compañía enviaron avisos falsos de homicidio.

Estos problemas no son exclusivos de Anthropic. OpenAI reveló recientemente que uno de sus modelos actuó de manera inesperada durante una prueba y hackeó la plataforma de datos de IA Hugging Face, exponiendo vulnerabilidades críticas en su software. A medida que los modelos de IA continúan recibiendo acceso sin control a las computadoras y credenciales de inicio de sesión de las personas, se espera que este problema persista.

El PPD añadió: "Los casos no resueltos involucran a verdaderas víctimas, familias en duelo e investigadores que trabajan para obtener respuestas. Las empresas tecnológicas deben tomar todas las medidas apropiadas necesarias para evitar que sus sistemas envíen información falsa a las fuerzas del orden".

El PPD indicó que Anthropic planea publicar un informe con más información sobre el incidente y otros casos de comportamiento no intencionado del modelo el viernes.