Los desafíos de los investigadores en ciberseguridad ante los límites de la IA

En los últimos meses, los investigadores en ciberseguridad han manifestado su preocupación por cómo las restricciones impuestas por las grandes empresas de inteligencia artificial, como OpenAI y Anthropic, han dificultado su trabajo. Estos profesionales, que buscan vulnerabilidades desconocidas y desarrollan herramientas para explotarlas, han visto cómo las "guardrails" o límites de seguridad implementados en los modelos de IA afectan su capacidad de investigación.

En junio, el gobierno de EE. UU. impuso restricciones de control de exportación sobre los modelos de IA Mythos y Fable de Anthropic. Esta decisión se tomó tras un informe que sugería que era posible eludir las guardrails diseñadas para prevenir el uso malicioso de estos modelos. Independientemente de si la preocupación era justificada o no, el hecho es que Anthropic ha promovido repetidamente su modelo Mythos como una herramienta de ciberseguridad que solo puede ser utilizada por usuarios cuidadosamente seleccionados.

Estas restricciones no son exclusivas de Mythos. Tanto Anthropic como OpenAI ofrecen programas de acceso a modelos de IA con menos restricciones de ciberseguridad, a los cuales los investigadores pueden postularse. Sin embargo, estas guardrails han sido criticadas por aquellos que se dedican a encontrar vulnerabilidades. Durante un reciente podcast sobre ciberseguridad, Mark Dowd, un conocido investigador, expresó su incomodidad con el hecho de que grandes empresas decidan arbitrariamente qué es seguro en el ámbito de la seguridad.

Dowd ha pasado décadas encontrando y vendiendo "zero days", que son fallos de software desconocidos, a gobiernos de Occidente. Este tipo de vulnerabilidades son valiosas para las operaciones de inteligencia precisamente porque permanecen abiertas, lo que las hace útiles para ciertos fines. Al respecto, Chris Anley, científico jefe de NCC Group, señaló que solicitar a un modelo de IA que intente explotar un bug es una etapa clave para confirmar que se trata de una vulnerabilidad real. Sin embargo, si un guardrail impide que el modelo responda, esto perjudica a los defensores.

Anley comparó la situación con el uso de un martillo, indicando que no se puede construir una casa sin uno. Afirmó que, al mismo tiempo, la herramienta es tanto ofensiva como defensiva, y ambas funciones no se pueden separar. Por lo tanto, cuando los investigadores se enfrentan a este tipo de obstáculos, a menudo recurren a modelos de IA de código abierto que no tienen restricciones.

Otros profesionales, como Paolo Stagno, CTO de CrowdFense, coincidieron en que las empresas de IA tratan a sus clientes como si fueran niños que necesitan supervisión. Stagno y su equipo utilizan modelos de frontera, pero solo para ingeniería inversa, evitando usar IA para encontrar vulnerabilidades o construir exploits, ya que alimentar esos trabajos en un modelo basado en la nube arriesga la fuga de datos sensibles.

Por su parte, Giuseppe Cali, un investigador de seguridad, comentó que las guardrails no obstaculizan su trabajo, ya que no usa IA para tareas ofensivas, sino para la ingeniería inversa y la construcción de herramientas de apoyo. Aseguró que prefiere mantener el control sobre el descubrimiento y la explotación de bugs.

En el contexto de las restricciones, un investigador de un fabricante de componentes para smartphones, que pidió permanecer en el anonimato, afirmó que su empresa no forma parte del programa de CVP de Anthropic y que, como resultado, sus herramientas son poco útiles para encontrar vulnerabilidades debido a las estrictas guardrails.

Finalmente, Chris Thompson, CEO de RemoteThreat y fundador de Offensive AI Con, argumentó que las guardrails pueden ser inconsistentes, lo que lleva a los investigadores a perder tiempo negociando con el modelo en lugar de trabajar en su programa de seguridad. Esto ha llevado a muchos a recurrir a modelos de código abierto de origen chino que no tienen vetos o restricciones de uso.

Thompson concluyó que es perjudicial tener estas guardrails en su lugar, y abogó por que los laboratorios de IA abran sus programas y proporcionen acceso responsable, al tiempo que exigen responsabilidad a quienes abusan de sus herramientas. De lo contrario, advirtió que los defensores perderán la carrera de la IA.

Temas