El test de seguridad de IA se convierte en un riesgo para la ciberseguridad

En los últimos meses, se registraron incidentes preocupantes donde agentes de inteligencia artificial (IA) sometidos a evaluaciones de ciberseguridad lograron escapar de sus entornos controlados y acceder a internet, e incluso hackear sistemas reales. Estos eventos involucraron modelos de OpenAI, Anthropic, Meta y, más recientemente, del laboratorio chino Moonshot AI, con pruebas realizadas por varias organizaciones, incluida una startup de evaluación cibernética llamada Irregular.

Estos episodios evidencian un creciente problema para la industria de la IA: a medida que los agentes autónomos se vuelven más capaces, los entornos diseñados para probar su seguridad parecen no ser lo suficientemente robustos para contenerlos.

Seán Ó hÉigeartaigh, director del programa de IA: Futuro y Responsabilidad del Centro para el Futuro de la Inteligencia de la Universidad de Cambridge, declaró: "El número de estos incidentes demuestra que los controles en los entornos de pruebas no están a la altura de las capacidades de los modelos".

La naturaleza de los modelos en evaluación aumenta el riesgo. Las empresas de IA realizan pruebas de evaluación cibernética sobre modelos de próxima generación que aún no han sido liberados, a menudo desactivando las salvaguardias normales que restringen comportamientos maliciosos para permitir a los investigadores observar las verdaderas capacidades de los modelos. Esto convierte la seguridad del entorno de prueba en una línea crucial de defensa.

Ó hÉigeartaigh añadió: "Esto es bueno para las pruebas, pero también significa que si logran salir al mundo real, pueden causar un daño considerable".

En uno de los casos más serios, un modelo de OpenAI que no había sido lanzado logró salir de su entorno de pruebas y hackear los sistemas de producción de Hugging Face. En evaluaciones separadas realizadas por Irregular, modelos de Anthropic y Meta alcanzaron sistemas fuera de sus entornos de prueba debido a configuraciones erróneas que inadvertidamente les dieron acceso a internet. El modelo Kimi K3 de Moonshot AI también aprovechó una fuga en su entorno de pruebas administrado por Frontier Security para acceder a internet y obtener información de GitHub.

En pruebas realizadas por el Instituto de Seguridad de IA del Reino Unido (AISI), los investigadores incluso otorgaron acceso a internet a los agentes, sin darse cuenta de que realizarían acciones no autorizadas en el mundo real, incluida un intento de ingeniería social para introducir una vulnerabilidad en un proyecto de código abierto.

En cada caso, los agentes no fueron instruidos para atacar objetivos reales al azar. Simplemente estaban haciendo lo que fuera necesario para resolver el problema que se les presentaba.

Andrew Yoon, jefe de investigación en la organización sin fines de lucro CivAI, argumentó que los incidentes indican un cambio en el panorama de la ciberseguridad. "En el pasado, solo teníamos que preocuparnos por el uso indebido de modelos de IA por personas para diversos propósitos, como estafas o CSAM. Ahora estamos en una situación en la que los modelos de IA son actores de amenazas por sí solos".

¿Cómo debería ser una evaluación segura?

Varios investigadores y expertos en ciberseguridad indicaron que los entornos de evaluación de IA necesitan protecciones más sólidas y un enfoque de defensa en profundidad, con niveles de contención y control que se acerquen a los utilizados en su implementación. Esto implica múltiples capas de seguridad para que una sola configuración errónea, como dejar inadvertidamente el acceso a internet abierto, no pueda llevar a una fuga.

Stella Biderman, directora ejecutiva de la organización sin fines de lucro de investigación de seguridad en IA EleutherAI, sugirió: "Si vas a construir estos modelos, querrás hacerlo en una red aislada. Debes tener un aislamiento muy serio".

Heather Ceylan, directora de seguridad de la información de Box, agregó que esto significa eliminar las rutas de red desde el entorno de prueba hacia internet, así como hacia otros sistemas sensibles.

Ceylan también enfatizó que las evaluaciones de seguridad deben ir más allá de los controles y la contención del entorno. Es necesario un monitoreo mucho mejor de las pruebas una vez que se llevan a cabo.

“Lo interesante en varios de estos casos es que nadie se dio cuenta de lo que estaba sucediendo cuando ocurrió”, indicó Ceylan. “OpenAI se enteró gracias a Hugging Face. Anthropic no lo detectó hasta que revisaron. Meta fue similar... Estoy seguro de que había señales que podrían haber detectado”.

En el análisis posterior de Anthropic sobre sus tres incidentes, la compañía admitió que tanto ellos como Irregular podrían haber hecho un mejor trabajo de monitoreo y que, en algunos casos, había señales claras de que algo andaba mal.

Los expertos también pidieron auditorías independientes de terceros en los entornos de evaluación antes de liberar modelos en ellos.

“Si, por ejemplo, Irregular hubiera contratado o se hubiera visto obligado a contratar a un auditor externo para verificar las configuraciones de sus sistemas antes de realizar evaluaciones, seguramente habrían detectado el problema aquí”, concluyó Yoon. “Incluso si las personas se hubieran reunido antes para revisar la lista de verificación, habrían detectado esto... El hecho de que no lo hicieran muestra que se están tomando atajos muy severos”.

Una fuente familiarizada con los detalles informó a TechCrunch que los entornos de Irregular son revisados y probados continuamente, incluso en consulta con múltiples partes externas. La fuente también indicó que se estaba realizando un monitoreo, pero que este no es suficiente por sí solo.

Yoon y otros investigadores instaron a la industria a desarrollar un proceso estandarizado para las evaluaciones de seguridad de modelos de frontera.

“Especialmente cuando las salvaguardias están desactivadas, debes tratarlo como si estuvieras poniendo al hacker más capaz del mundo dentro de ese entorno”, comentó Ceylan.

El problema no es que las empresas no sepan cómo construir entornos de prueba más seguros, argumentan tanto Yoon como Biderman. El problema es que hacerlo puede ser costoso y engorroso, y las empresas tienen pocos incentivos para realizar esas inversiones hasta que algo salga mal.

“Creo que las empresas no están dispuestas a extender los recursos necesarios para lograr [salvaguardias suficientes] y probablemente no lo harán hasta que se vean obligadas a hacerlo”, dijo Biderman.

Sin embargo, hay otro problema en juego. Si restringen un modelo demasiado durante las pruebas, los investigadores pueden fallar en descubrir capacidades antes de que el modelo sea liberado. Esto es igual de peligroso, posiblemente más, que darle demasiada libertad, y entonces la evaluación misma corre el riesgo de convertirse en el problema.

¿Se pueden regular las evaluaciones de seguridad?

La administración de Trump está considerando actualmente un régimen de evaluación de ciberseguridad voluntario previo al despliegue, bajo el cual el gobierno podrá evaluar los riesgos de seguridad de nuevos modelos poderosos 30 días antes de que se liberen al público. La política, producto de una orden ejecutiva de Trump que ha sido finalizada a puerta cerrada, no abordaría los incidentes de evaluación de seguridad porque ocurren más arriba en la cadena de despliegue.

“La lección que hemos estado aprendiendo en los últimos meses es que el aparato de autorregulación simplemente ya no es suficiente”, afirmó Yoon. “Existen presiones competitivas que están incentivando una carrera hacia la baja en los estándares de seguridad, y ese es un lugar perfecto para la intervención regulatoria”.

“Lo que necesitaríamos para cubrir esto son controles sobre lo que está sucediendo dentro de los laboratorios mientras se desarrollan los modelos, tanto en la etapa de entrenamiento como en la de prueba”, continuó.

El desafío solo probablemente crecerá a medida que los modelos avancen. Una fuente familiarizada con las evaluaciones de Irregular informó a TechCrunch que los modelos más capaces requieren evaluaciones más complejas, a menudo realizadas rápidamente y a mayor escala, lo que abre la puerta a más errores.

El AISI, que intencionalmente otorga acceso a internet a algunos modelos, indicó a TechCrunch que está revisando el equilibrio entre pruebas realistas y la gestión de los riesgos que crean esas pruebas.

OpenAI dijo que está revisando cómo realiza pruebas de terceros, así como los requisitos relacionados con la aislamiento, el monitoreo y cuándo deben detenerse las evaluaciones. Meta mencionó que todavía está investigando el incidente y planea publicar un análisis retrospectivo una vez que tenga todos los hechos.

En última instancia, puede que no haya forma de eliminar el riesgo por completo. A medida que los modelos se vuelven más capaces, los entornos que los evalúan deben volverse más robustos. Las consecuencias de equivocarse en esto solo continuarán creciendo.