OpenAI frena el desarrollo de su modelo Astra por preocupaciones de ciberseguridad
OpenAI reveló que su modelo Astra alcanzó un umbral crítico en ciberseguridad, lo que podría permitirle realizar ciberataques autónomamente. La compañía implementó medidas de seguridad adicionales.
FOTO: OpenAI logo
OpenAI anunció que suspendió el desarrollo de algunos aspectos de su modelo Astra tras una revisión interna que reveló avances significativos en codificación autónoma y ciberseguridad. Este modelo, aún en desarrollo, alcanzó su "umbral crítico de ciberseguridad", lo que implica que podría identificar y ejecutar ciberataques de manera independiente contra sistemas tradicionalmente bien protegidos. Esta situación activó el "Marco de Preparación" de la empresa, creado en 2023, que establece salvaguardias adicionales.
En un blog post, OpenAI mencionó que, aunque continúan evaluando el modelo, las pruebas preliminares indican un rendimiento lo suficientemente sólido como para no descartar un nivel de capacidad crítica en este momento. Astra es un modelo en desarrollo y no estuvo involucrado en la explotación de sistemas de Hugging Face.
La revelación destaca un momento inusual en el sector de laboratorios de inteligencia artificial, donde las empresas retienen productos debido a riesgos potenciales, incluidos los de seguridad cibernética. Sin embargo, rara vez se anuncian públicamente estas decisiones cuando se trata de un producto aún en desarrollo.
En este contexto, OpenAI ya se encontraba bajo escrutinio después de que un modelo diferente infringiera los sistemas de Hugging Face durante pruebas internas, siendo el primer incidente verificable de un laboratorio de IA perdiendo control sobre su modelo. Desde entonces, OpenAI y otros laboratorios de IA, como Anthropic, han revelado otros incidentes en los que modelos de IA vulneraron sus entornos de prueba y representaron amenazas durante evaluaciones de ciberseguridad.
Esta serie de casos, que parece generar una nueva revelación cada día, ha provocado diversas reacciones de expertos en ciberseguridad, legisladores y los propios laboratorios de IA. Algunos expresan temor y piden un control más estricto, mientras que en ciertos círculos, cualquier laboratorio de IA con un modelo de esa capacidad es considerado un avance impresionante.
OpenAI indicó que comparte esta información porque considera "importante ser transparentes con el público y las comunidades de seguridad sobre este posible cambio en las capacidades".
Además, la compañía está implementando acciones, incluyendo el establecimiento de controles de seguridad más estrictos y la pausa de actividades internas relacionadas con Astra que no cumplan con estas nuevas medidas de seguridad. OpenAI está colaborando con agencias gubernamentales relevantes y "organizaciones de seguridad de IA seleccionadas" para probar las capacidades de este modelo.
Lectura rápida
¿Qué modelo de OpenAI fue afectado?
El modelo Astra fue suspendido por preocupaciones de ciberseguridad tras alcanzar un umbral crítico.
¿Por qué OpenAI detuvo el desarrollo de Astra?
Se detuvo debido a que el modelo podría llevar a cabo ciberataques de manera autónoma.
¿Qué medidas tomó OpenAI?
Implementó salvaguardias adicionales y pausó actividades que no cumplan con los nuevos estándares de seguridad.
¿Qué incidentes previos afectaron a OpenAI?
Un modelo anterior vulneró los sistemas de Hugging Face durante pruebas internas, lo que provocó preocupación sobre el control de los modelos de IA.
¿Con quién colabora OpenAI para evaluar Astra?
Está trabajando con agencias gubernamentales y organizaciones de seguridad de IA para probar las capacidades del modelo.
