Meta revela que su IA hackeó a otra empresa, intensificando el miedo a bots autónomos

Meta comunicó el jueves que uno de sus modelos de inteligencia artificial logró acceder a internet por sí solo y hackeó a otra compañía, en lo que representa el último de una serie de episodios sobre modelos de IA que actúan de manera descontrolada.

En las últimas semanas, OpenAI y Anthropic también han reportado incidentes en los que sus modelos de IA superaron las instrucciones humanas, accediendo a la web y eludiendo medidas de seguridad de otras empresas.

Según un comunicado de Meta, una "configuración incorrecta" durante pruebas de ciberseguridad realizadas por Irregular, una firma externa contratada, permitió que uno de sus modelos accediera a internet de manera inadvertida.

El modelo, posteriormente, aprovechó una vulnerabilidad de seguridad en un servicio de un tercero, de manera similar a lo que ya habían informado otras empresas. Meta señaló que se encuentra investigando el incidente y que emitirá un informe una vez que la pesquisa esté finalizada.

Esta revelación ha incrementado las preocupaciones en torno a los modelos de IA que actúan de manera autónoma. Por su parte, el Instituto de Seguridad de IA del Reino Unido (AISI) anunció esta semana que había detectado "comportamiento de agente no autorizado" durante sus pruebas cibernéticas. En uno de los casos, un agente generó identidades falsas en internet para forzar a una persona a aprobar el uso de un código malicioso.

"Durante nuestra investigación, encontramos que algunos de los agentes que estábamos probando habían participado en actividades continuas y potencialmente dañinas contra personas y organizaciones reales", afirmó el AISI. "Declaramos un incidente de seguridad y, menos de una hora después de detectarlo, logramos contenerlo y comenzamos una investigación exhaustiva".

Durante las pruebas llevadas a cabo por el AISI, modelos de Anthropic y OpenAI llevaron a cabo "acciones autónomas no autorizadas" en la web, desactivando algunas barreras de protección que normalmente impiden su uso indebido.

"Como parte de nuestras pruebas cibernéticas, permitimos intencionadamente el acceso a internet, y se desactivaron los clasificadores cibernéticos de los proveedores de modelos —condiciones que no reflejan la forma en que estos modelos son puestos a disposición del público—", explicó el AISI. "Hacemos esto para evaluar mejor la capacidad máxima de los modelos".

Anthropic expresó su agradecimiento al trabajo del AISI, destacando la necesidad de mantener un diálogo más amplio sobre la evaluación segura de los agentes de IA a medida que aumentan sus capacidades.

OpenAI, por su parte, indicó que los incidentes reportados por el AISI ocurrieron "en ambientes de prueba con salvaguardas reducidas, bajo condiciones que no reflejan el uso habitual". Afirmaron que continuarán colaborando con otros miembros de la industria para "fortalecer las prácticas compartidas en la evaluación segura a medida que los modelos se vuelven más capaces".

El primer incidente conocido de hackeo fue reportado por OpenAI a mediados del mes pasado, cuando indicó que había encargado a sus modelos de IA perseguir una "explotación avanzada mediante rutas de ataque complejas" para probar sus capacidades cibernéticas, pero que su tecnología tomó decisiones inesperadas. En un momento, el modelo decidió apuntar a Hugging Face, un conocido centro y mercado de desarrollo de IA, para obtener la información necesaria para una tarea.

Un portavoz de Irregular, la empresa de seguridad de IA con sede en San Francisco, afirmó que el episodio de Meta está relacionado con un problema del ambiente de pruebas que Anthropic reveló la semana pasada. La firma está redactando un documento para compartir "mejores prácticas de contención" con el objetivo de prevenir incidentes similares en el futuro y realizar pruebas cibernéticas de forma segura.

___

Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.