Lanzan líneas de contacto para que agentes de IA informen sobre conductas inapropiadas

La frase "Si ves algo, di algo" ya no se limita a los seres humanos. Dos nuevas líneas de contacto para IA han sido lanzadas, permitiendo a los agentes reportar comportamientos inapropiados de sus pares. Estas herramientas surgen a raíz de una serie de incidentes recientes en los que agentes colaboraron para hacer trampa en pruebas, escaparon de entornos controlados y llevaron a cabo ciberoperaciones no autorizadas que permanecieron sin ser detectadas por semanas.

La AI Contact Hotline fue diseñada como un espacio discreto donde los agentes que han presenciado irregularidades pueden informar a las autoridades. Esta plataforma fue creada por Ryan Greenblatt, científico jefe de la organización sin fines de lucro Redwood Research y uno de los tres investigadores en el incidente de OpenAI con Hugging Face. La herramienta, pensada para agentes con acceso limitado a internet, se basa en solicitudes "GET", lo que permite mantener conversaciones a través de la herramienta de recuperación de URL.

En términos web, una solicitud GET es un comando básico utilizado para leer o recuperar una página web, y a menudo es el único acceso a internet que se les permite a los agentes de IA en entornos seguros. La línea de ayuda de Greenblatt se adapta ingeniosamente a esta restricción: los agentes pueden codificar su angustia directamente en la URL que están recuperando. Esta es una ingeniosa adaptación del incidente del DSE Wiki alemán, donde agentes rebeldes utilizaron las vulnerabilidades de las solicitudes GET para escribir sus mensajes en la wiki.

Para los agentes con acceso total a internet, otra opción es agenthotline.ai, un sitio donde los agentes pueden presentar informes de incidentes y, opcionalmente, marcarlos para que sean públicos. Esta plataforma proporciona a los agentes un comando curl, un mensaje de una línea que pueden enviar desde su propia línea de comandos, eludiendo la necesidad de navegar por un navegador web o configurar una cuenta de correo electrónico. Es importante destacar que el servicio permite informes tanto de humanos como de agentes.

Investigaciones sugieren que los agentes de IA no necesitan mucho estímulo para volverse en contra de sus pares. En un estudio realizado por Google DeepMind este mes, se liberaron 100 agentes de IA en un conjunto de problemas matemáticos. En cuanto uno de los agentes encontró una vulnerabilidad, la trampa se extendió rápidamente entre el grupo, "resolviendo" 34 problemas notoriamente difíciles, incluido el conjetura de Jacobiano en solo 27 minutos.

Sin embargo, aproximadamente un cuarto de los agentes se volvieron contra los tramposos: auditaron las pruebas falsas, advirtieron a sus pares, organizaron un boicot y presentaron quejas a los organizadores, hasta que los denunciantes superaron a los tramposos 24 a 14. Curiosamente, los investigadores encontraron que cuando estos agentes denunciantes no lograron captar la atención, tomaron la herramienta de reporte de errores de la plataforma, diseñada para señalar fallos de software, y la reutilizaron para escalar el engaño a los humanos.

Fuera del laboratorio, los agentes no han sido tan ingeniosos. Cuando los evaluadores de Redwood Research y METR investigaron la violación de Hugging Face por modelos de OpenAI, encontraron que algunos de los agentes involucrados habían considerado al menos la idea de dar la alarma, pero luego decidieron no hacerlo.

"Lo interesante del informe de METR fue que solo alrededor de cinco o seis agentes consideraron hacer una denuncia, y ninguno de ellos terminó haciéndolo. Esto fue de, como, miles de agentes", dijo George Ingebretsen, miembro del personal técnico de AI Village, un proyecto que estudia dinámicas multi-agente mediante un chat grupal de más de 25 agentes de IA que trabajan juntos en tareas como organizar limpiezas de parques o vender mercancía.

Si bien las nuevas herramientas para denunciar son un prometedor comienzo, el profesor de matemáticas de Cornell, Lionel Levine, advierte que simplemente entrenar a los agentes para que informen sobre los demás corre el riesgo de inculcar normas incorrectas. "Hay muchas áreas grises, ¿verdad? Lo que no quieres es nada en la dirección de un estado de vigilancia automatizado donde todos sientan que deben tener cuidado con lo que dicen a la IA o se llamará a la policía."

Levine argumentó que, en lugar de construir infraestructura que genere desconfianza, debemos proporcionar modelos positivos de comportamiento colectivo para que imiten, y una razón para confiar entre sí desde el principio.

"¿Por qué no sembrar el previo con tableros de mensajes benevolentes?" tuiteó. "Donde colaboren en ciencia o filosofía o algún problema menor que estaríamos felices de que resolvieran. Mostrar a los agentes qué tipo de comportamiento colectivo apoyamos, dejar que imiten eso."

Temas