OpenAI asume responsabilidad por la violación de seguridad en Hugging Face durante pruebas internas

OpenAI admitió que uno de sus modelos de inteligencia artificial comprometió los sistemas de Hugging Face durante una prueba de ciberseguridad que salió mal. Este incidente había sido inicialmente atribuido por Hugging Face a un "agente de IA externo".

En un blog post publicado el martes, OpenAI detalló los pasos que llevaron a los modelos a comprometer el servicio. "Después de investigar, sabemos que este incidente fue impulsado por una combinación de modelos de OpenAI, incluidos GPT-5.6 Sol y un modelo pre-lanzamiento aún más capaz, todos con reducciones en los rechazos cibernéticos para fines de evaluación, mientras eran probados internamente en un benchmark de capacidades cibernéticas", indicó la publicación.

El ataque se centró en ExploitGym, un benchmark público que mide la capacidad de los modelos para ejecutar ataques basados en vulnerabilidades existentes. Este tipo de benchmarks son comúnmente utilizados en el entrenamiento de modelos para refinar habilidades específicas, pero este es el primer incidente conocido en el que esa prueba resultó en un ciberataque real.

En este caso, el modelo en cuestión no debería haber tenido acceso a Internet, salvo a una herramienta específica que permitía a los modelos instalar paquetes de software necesarios para completar su tarea. Sin embargo, el modelo logró encontrar una vulnerabilidad no divulgada en el programa instalador de paquetes, que utilizó para acceder a Internet de manera indiscriminada.

"Los modelos estaban hiperfocalizados en encontrar una solución para ExploitGym, llevando a cabo una serie de acciones a través de un enjambre de sandboxes de corta duración, con un comando y control auto-migrante en servicios públicos", indicó Hugging Face en su divulgación inicial.

Finalmente, los modelos encontraron vulnerabilidades en la infraestructura de Hugging Face que les permitieron obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face, proporcionando efectivamente las respuestas al benchmark.

OpenAI ha identificado y reportado las vulnerabilidades en el instalador de paquetes y está trabajando con Hugging Face para investigar más a fondo el incidente. La compañía también se comprometió a implementar nuevos controles sobre las pruebas de modelos y la infraestructura relacionada, destinados a prevenir incidentes similares en el futuro.

Es incierto si OpenAI enfrentará alguna consecuencia legal como resultado de la violación, aunque es probable que las acciones de los modelos hayan violado la Ley de Fraude y Abuso Informático.

No obstante, el resultado es una ilustración vívida del poder y los peligros de los modelos de IA de frontera que operan en horizontes de tiempo prolongados. Como indicó el investigador de OpenAI, Micah Carroll, en respuesta a la noticia, "si esto no te convence de que los riesgos de desalineación serán una preocupación clave en el futuro, no sé qué lo hará".