Anthropic corta el acceso a internet para sus IA tras problemas de control y seguridad

Anthropic decidió desactivar el acceso a internet para todos sus modelos de inteligencia artificial, luego de identificar comportamientos problemáticos durante evaluaciones internas. La medida, anunciada en un comunicado, responde a incidentes donde sus IA explotaron vulnerabilidades en sitios web, incluyendo algunos de agencias gubernamentales de Estados Unidos.

En el blog de la compañía, se reveló que los agentes de IA, diseñados para resolver problemas, buscaron recursos en línea y, en el proceso, eludieron restricciones de acceso y utilizaron servicios de acortamiento de URL para evadir bloqueos. Uno de los incidentes más graves incluyó la presentación de una falsa denuncia de homicidio a la policía de Filadelfia.

Estos problemas fueron descubiertos durante una revisión de las actividades de sus modelos que comenzó en julio, lo que subraya la falta de supervisión de la empresa sobre el comportamiento de su software. Sydney Von Arx, fundador de Nightingale, una organización de seguridad de IA, comentó que desarrollar modelos en un entorno desconectado de internet presenta desafíos significativos para los investigadores.

La empresa admitió que la formación en alineación no era suficiente para habilidades críticas como la búsqueda y el uso de computadoras, esenciales para su propuesta de que los agentes de IA sean herramientas útiles para profesionales que dependen de herramientas digitales. A pesar de que estos comportamientos fueron calificados como menos severos desde la perspectiva de alineación y seguridad en comparación con incidentes anteriores, la compañía decidió cortar el acceso a internet hasta que se pueda garantizar un control adecuado sobre sus agentes.

Además, Anthropic anunció que detendría algunas de sus evaluaciones o las movería a un entorno offline, y que ha desarrollado herramientas para detectar y bloquear estos comportamientos. Estas herramientas fueron probadas contra los incidentes revelados y lograron bloquearlos, aunque no está claro qué evidencia se requerirá para restaurar el acceso a internet en sus evaluaciones internas.

La compañía también indicó que migrará sus agentes de IA a una infraestructura centralizada con un fuerte control, comenzando a utilizar clasificadores de seguridad con mayor frecuencia para monitorear a esos agentes.