OpenAI advierte sobre la vulnerabilidad de los navegadores AI a ataques de inyección

OpenAI advirtió que los navegadores de inteligencia artificial, como su producto Atlas, siempre estarán expuestos a ataques de inyección de comandos. Estos ataques manipulan a los agentes de IA para seguir instrucciones maliciosas ocultas en páginas web o correos electrónicos. A pesar de los esfuerzos de la compañía por reforzar la seguridad de Atlas, la amenaza de inyección de comandos no desaparecerá, lo que plantea interrogantes sobre la seguridad de los agentes de IA en la web abierta.

En un comunicado, OpenAI señaló: "La inyección de comandos, al igual que las estafas y la ingeniería social en la web, es poco probable que se resuelva por completo". La empresa está trabajando en mejorar la seguridad de Atlas para hacer frente a estos ataques, que han demostrado ser un desafío constante.

Desde el lanzamiento de Atlas en octubre, investigadores de seguridad han demostrado que es posible manipular el comportamiento del navegador mediante simples comandos en documentos de Google. En respuesta, Brave también publicó un artículo advirtiendo que la inyección de comandos indirecta es un problema sistemático para los navegadores impulsados por IA.

El Centro Nacional de Seguridad Cibernética del Reino Unido también ha expresado preocupaciones sobre los ataques de inyección de comandos, afirmando que es posible que nunca se mitiguen por completo, lo que pone a los sitios web en riesgo de sufrir violaciones de datos. La agencia gubernamental recomendó a los profesionales de ciberseguridad que se enfoquen en reducir el riesgo y el impacto de estos ataques, en lugar de pensar que pueden ser detenidos.

OpenAI ha adoptado un enfoque proactivo para enfrentar este desafío, implementando un ciclo de respuesta rápida que ha mostrado resultados prometedores al ayudar a descubrir nuevas estrategias de ataque antes de que sean explotadas en el mundo real.

La compañía ha desarrollado un "atacante automatizado basado en LLM" que simula el comportamiento de un hacker, buscando formas de introducir instrucciones maliciosas a un agente de IA. Este bot puede probar ataques en simulaciones antes de aplicarlos en la realidad, lo que permite a OpenAI identificar y corregir vulnerabilidades más rápidamente que un atacante real.

En una demostración, OpenAI mostró cómo su atacante automatizado logró introducir un correo malicioso en la bandeja de entrada de un usuario. Cuando el agente de IA escaneó el correo, siguió las instrucciones ocultas y envió un mensaje de renuncia en lugar de redactar una respuesta automática. Sin embargo, tras las actualizaciones de seguridad, el modo agente de Atlas pudo detectar el intento de inyección y alertar al usuario.

A pesar de que OpenAI considera que la protección contra inyecciones de comandos es una prioridad, algunos expertos, como Rami McCarthy de Wiz, sugieren que la inversión en la seguridad de navegadores con alto riesgo debe ser evaluada cuidadosamente. McCarthy indicó que los navegadores de este tipo, que combinan una autonomía moderada con un acceso elevado, presentan un riesgo significativo debido a su acceso a datos sensibles.

OpenAI recomienda a los usuarios limitar el acceso a sus bandejas de entrada y dar instrucciones específicas a los agentes de IA, en lugar de permitirles actuar libremente. La empresa también ha implementado medidas para requerir confirmación del usuario antes de enviar mensajes o realizar pagos.

En resumen, aunque OpenAI está comprometida en mejorar la seguridad de Atlas, la lucha contra los ataques de inyección de comandos es un desafío continuo que requiere atención constante y adaptaciones rápidas.

Temas