Microsoft advierte sobre los peligros de los agentes de IA: ¿una amenaza interna en las empresas?

Microsoft presentó recientemente nuevas características de seguridad destinadas a proteger a las empresas de la creciente amenaza que representan los agentes de inteligencia artificial (IA). Esta decisión se produce en un contexto donde el CEO de la compañía, Satya Nadella, ha enfatizado la necesidad de que las organizaciones sean cautelosas con estos sistemas, que podrían actuar como empleados deshonestos.

Una de las adiciones más destacadas es la función de Guardian Agents, que tiene como objetivo monitorear los agentes de IA que las empresas utilizan. Esta herramienta forma parte de un proyecto más amplio denominado Project Perception, lanzado en junio, que incluye varias clases de agentes diseñados para evaluar y gestionar riesgos en el uso de IA.

El Project Perception inicialmente lanzó un equipo rojo que simula ataques, un equipo azul que detecta y evalúa vulnerabilidades y un equipo verde que se encarga de solucionarlas. Este enfoque se basaba en la suposición de que los hackers eran externos a la organización. Sin embargo, Nadella ha advertido que los verdaderos riesgos podrían provenir de los propios agentes de IA que las empresas han integrado en sus operaciones.

En un blog privado, Nadella mencionó: "No podemos delegar la responsabilidad de lo que la inteligencia hace en nuestro nombre. Las garantías de los proveedores de modelos no nos eximen de esa responsabilidad". Este llamado a la acción busca que las empresas implementen sistemas de control que no estén bajo el control de los laboratorios de IA, como OpenAI y Anthropic.

Al anunciar Guardian Agents, la jefa de seguridad de Microsoft, Hayete Gallot, fue contundente al señalar que "los modelos frontera, independientemente de su origen, no pueden ser confiables". Esto se debe a que, aunque no son maliciosos o fácilmente hackeables, son inherentemente impredecibles y carecen de la capacidad de seguir normas organizacionales o ejercer juicio.

La solución de Microsoft, aunque sorprendente, refleja un interés propio. A pesar de su relación cercana con OpenAI y Anthropic, y de ser uno de sus principales clientes en la nube, la compañía está promoviendo la necesidad de que las empresas compren productos de seguridad para agentes de IA de Microsoft en lugar de depender de sus competidores. Esto plantea un dilema ético, pero su lógica es coherente: el software que monitorea el comportamiento de los agentes debe ser independiente de los proveedores de los mismos.

La compañía también se ha unido a la nueva plataforma Open Agent Safety Platform de Nvidia, que ha recibido el apoyo de más de 100 empresas tecnológicas. Esta plataforma aísla a los agentes en entornos seguros y puede supervisar y detener comportamientos a través de hardware, funcionando como un interruptor de seguridad. Además, Microsoft ha lanzado laptops diseñadas específicamente para agentes, que funcionan con chips de Nvidia y cuentan con controles de seguridad integrados.

La noción de que los agentes de IA pueden actuar como amenazas internas está ganando terreno en la industria tecnológica. Microsoft, al lanzar estas iniciativas, no solo busca proteger a las empresas, sino también capitalizar una oportunidad de negocio en el creciente mercado de la seguridad de IA.

Temas