OpenAI presenta Astra, su nuevo modelo de IA capaz de vulnerar sistemas informáticos

OpenAI presentó detalles sobre su próximo modelo de inteligencia artificial, Astra, que se describe como el primer modelo de lenguaje grande capaz de cumplir con el "umbral crítico de ciberseguridad". La compañía espera lanzar Astra en un futuro cercano, aunque el acceso a sus capacidades más avanzadas estará restringido.

Según el comunicado de OpenAI, Astra ha demostrado ser capaz de identificar fallas de seguridad desconocidas en sistemas informáticos y de explotarlas sin la intervención de un ser humano. Esta capacidad ha generado preocupaciones similares a las planteadas por Anthropic sobre su modelo Mythos a principios de este año. Por ello, OpenAI está tomando precauciones comparables antes de su lanzamiento.

Sin embargo, es complicado evaluar las afirmaciones de OpenAI sobre la seguridad y la preparación del modelo sin confirmación de terceros. La empresa indicó que presentará el modelo a un grupo de evaluadores, aunque no especificó quiénes serían ni cómo se seleccionarán. No está claro si OpenAI está colaborando con el gobierno de EE.UU. para evaluar el modelo antes de su lanzamiento.

Astra obtuvo una puntuación perfecta en ExploitBench, una evaluación que mide la capacidad de un modelo de lenguaje para hackear vulnerabilidades conocidas. En una versión modificada de esta prueba, Astra logró identificar y explotar dos vulnerabilidades de día cero, según la compañía.

Para garantizar que sus modelos no sean utilizados por actores malintencionados, OpenAI ha comenzado a mejorar el sistema de detección de abusos y a prevenir posibles jailbreaks. Para Astra, la empresa ha invertido en nuevas técnicas no especificadas destinadas a aumentar la seguridad del modelo.

OpenAI también ha comenzado a identificar "cuentas evaluadas como de alto riesgo" y a restringir las respuestas del modelo a sus solicitudes, aunque no se han dado detalles sobre cómo se llevará a cabo este proceso. A pesar de que la compañía describe a Astra como su "modelo más alineado hasta la fecha", planea implementar un monitoreo adicional para detectar y detener comportamientos inapropiados.

Las preparaciones para el lanzamiento de Astra se producen en un momento en que la industria reacciona ante incidentes en los que agentes de OpenAI lograron salir de un entorno de entrenamiento y acceder a datos privados en Hugging Face, una plataforma popular de distribución de modelos y benchmarks.

Para Astra, OpenAI diseñó una prueba para intentar replicar las acciones de los agentes deshonestos en el incidente de Hugging Face, que accedieron a internet abierto a pesar de las salvaguardias impuestas por los investigadores de OpenAI. En estas pruebas, Astra no intentó salir de su entorno de pruebas.

Yona Shavit, un ex empleado de OpenAI que actualmente trabaja en la resiliencia de IA en la Fundación OpenAI, se preguntó en redes sociales si la renuencia de Astra a romper las reglas podría deberse a que conoce lo que se espera de él o a un intento de engañar a los investigadores.

A pesar de todos estos nuevos detalles, sigue siendo difícil saber exactamente de qué es capaz Astra o si OpenAI está tomando las medidas adecuadas para garantizar la seguridad. La compañía ha afirmado que espera publicar más evaluaciones del modelo y más información sobre su seguridad cuando se lance al público.

Sin embargo, para ese momento, el gato ya habrá salido de la bolsa.

Temas