AI y seguridad: cómo Google navega la transición tecnológica actual

En un reciente evento en Los Ángeles, Francis de Souza, COO de Google Cloud, compartió su perspectiva sobre los retos que enfrentan las empresas en la actualidad en relación con la seguridad de la inteligencia artificial. Durante la conversación, enfatizó que "hay un periodo de transición, y luego creo que llegaremos a un mejor lugar". Este comentario subraya la realidad de que incluso gigantes tecnológicos como Google están aún adaptándose a las nuevas exigencias del entorno digital.

El mensaje central de de Souza fue claro: la seguridad no puede ser un pensamiento posterior. "A medida que las empresas inician este viaje hacia la IA, necesitan adoptar un enfoque de plataforma", afirmó. Destacó que la seguridad no es algo que se pueda añadir más tarde y que no debe dejarse en manos de los empleados. En este sentido, advirtió sobre el fenómeno del "shadow AI", donde los empleados utilizan herramientas de consumo sin la supervisión adecuada de la organización. Las empresas deben exigir seguridad, gobernanza y auditabilidad desde el principio. "No existe una estrategia de IA sin una estrategia de datos y una estrategia de seguridad. Deben ir de la mano".

De Souza también señaló que el panorama de amenazas ha cambiado de tal manera que los modelos defensivos tradicionales son demasiado lentos. Reveló que el tiempo promedio entre una brecha inicial y el siguiente paso de un ataque ha disminuido de ocho horas a solo 22 segundos, lo que resalta la urgencia de una respuesta más ágil. Además, mencionó que la superficie de ataque se ha ampliado más allá del perímetro de red tradicional. "Ahora, además de su infraestructura habitual, hay modelos, tuberías de datos utilizadas para entrenar modelos, agentes y prompts que también necesitan protección".

Un aspecto del que de Souza advirtió, que a menudo no recibe suficiente atención, es el riesgo que representan los agentes que circulan por los sistemas internos de una empresa. Pueden descubrir repositorios de datos olvidados que nadie ha considerado durante años. "Muchas organizaciones tienen servidores antiguos de SharePoint y controles de acceso que no han actualizado, pero no importaba porque nadie sabía dónde estaban. Sin embargo, los agentes que recorren su empresa encontrarán esos activos de datos y expondrán la información que contienen".

La solución, según él, es igualar la velocidad de las máquinas con la velocidad de las máquinas. "Estamos viendo la aparición de una defensa completamente agentiva, donde las organizaciones pueden implementar agentes que dirigen su defensa", explicó. En lugar de depender de una defensa liderada por humanos, ahora es posible que los humanos supervisen una defensa completamente agentiva. Este cambio se considera un asunto de liderazgo, no solo de tecnología. "Este es un tema que debe ser abordado en la junta y por el equipo ejecutivo, no solo por el equipo de seguridad".

Sin embargo, a pesar de que la IA asume más carga de trabajo defensivo, la escasez de personas calificadas para supervisar este proceso es alarmante. Las vulnerabilidades que la propia IA introduce están aumentando más rápido de lo que los equipos de seguridad pueden abordarlas. Lea Kissner, directora de seguridad de información de LinkedIn, comentó que "vamos a necesitar personas para lidiar con el bug-pocalipsis", añadiendo que no espera que la industria comprenda la seguridad de la IA de una manera sostenible a largo plazo durante al menos varios años.

Esto lleva a considerar el comportamiento de los propios proveedores de plataformas. The Register ha publicado una serie de informes que documentan una ola de desarrolladores de Google Cloud que enfrentaron facturas de cinco cifras tras llamadas API no autorizadas a modelos de Gemini. Muchos de ellos no habían utilizado ni habilitado intencionalmente estos servicios. Los casos siguieron un patrón familiar: claves API originalmente implementadas para Google Maps, publicadas según las instrucciones de Google, habían pasado a ser capaces de acceder a Gemini después de que Google ampliara su alcance sin una divulgación clara del cambio.

Rod Danan, CEO de la plataforma de preparación para entrevistas Prentus, relató que su factura alcanzó $10,138 en aproximadamente 30 minutos tras la explotación de su clave API comprometida. Isuru Fonseka, un desarrollador de Sídney, se despertó con cargos de aproximadamente AUD $17,000, a pesar de creer que había establecido un límite de gasto de $250. Lo que ambos desconocían era que los sistemas automatizados de Google habían elevado sus niveles de facturación basándose en el historial de la cuenta, aumentando sus techos efectivos hasta $100,000 sin consentimiento explícito.

Google reembolsó a ambos después de que The Register publicara su informe inicial. Sin embargo, Google declaró que no tiene planes de cambiar su política de actualización automática de niveles, afirmando que prioriza prevenir interrupciones del servicio sobre la imposición de las preferencias de presupuesto de los usuarios.

Mientras tanto, surge la cuestión de qué ocurre cuando un desarrollador intenta cerrar el acceso. The Register informó esta semana sobre una investigación de la firma de seguridad Aikido, que descubrió que incluso los desarrolladores que detectan una clave comprometida y la eliminan inmediatamente pueden no estar a salvo. Según los hallazgos de Aikido, los atacantes pueden continuar utilizando esa clave durante hasta 23 minutos, ya que la revocación de Google se propaga gradualmente por su infraestructura. El investigador de Aikido, Joseph Leon, indicó que durante ese tiempo, las tasas de éxito son impredecibles; en algunos minutos, más del 90% de las solicitudes aún se autentican, lo que permite a los atacantes exfiltrar archivos y datos de conversación almacenados de Gemini.

Leon también observó que los formatos de credenciales más recientes de Google no parecen tener el mismo problema: las credenciales API de cuentas de servicio se revocan en aproximadamente cinco segundos, y el nuevo formato de clave con prefijo AQ de Gemini tarda alrededor de un minuto. "Ambos operan a escala de Google", escribió en el documento relacionado de Aikido. "Ambos sugieren que esto es técnicamente resoluble también para las claves API de Google". En resumen, según Leon, la ventana de 23 minutos no es una limitación técnica, sino una cuestión de prioridades para la empresa.

Este contexto es crucial al considerar el consejo de de Souza, que es válido y debe tomarse muy en serio. Si bien no se equivoca, actualmente existe una brecha entre lo que las plataformas prescriben y la rapidez con la que ellas mismas se están adaptando, y es importante tener esto en cuenta.

Temas