Alerta en el ejército de Estados Unidos: un error de IA casi provoca un conflicto militar

En primavera, aviones militares de EE.UU. estaban en el aire cuando los funcionarios hicieron un descubrimiento alarmante: la inteligencia que impulsaba una operación armada contra un buque chino había sido "alucinada" por un chatbot de IA. La operación se abortó en el último minuto, evitando un posible conflicto con China, según informó CNN el pasado viernes.

Este incidente resalta una preocupación creciente entre los oficiales militares y expertos externos: a medida que los tomadores de decisiones dependen más de la IA, los errores producidos por estos sistemas pueden escalar rápidamente en la cadena de mando antes de ser cuestionados.

El informe de inteligencia, que circuló durante la guerra con Irán, indicaba que el buque transportaba componentes para un programa de armas nucleares. La falsa inteligencia se originó cuando un analista del Comando de Operaciones Especiales consultó a un chatbot de IA para sintetizar datos de fuentes abiertas con inteligencia de señales clasificada. 

El chatbot identificó erróneamente el manifiesto de carga del barco. Luego, el analista utilizó la herramienta una segunda vez para formatear los hallazgos erróneos en un resumen con apariencia oficial, que se distribuyó a través de los canales de comando.

Este casi incidente se produce mientras el ejército de EE.UU. se apresura a integrar la IA para acelerar la toma de decisiones y mantener su ventaja sobre China. 

El Pentágono ha descrito a la IA como una herramienta que brinda una ventaja significativa al acelerar su cadena de ataque, permitiendo a los comandantes responder a tiempo. 

Sin embargo, la misma velocidad que hace que la IA sea atractiva también puede permitir que ocurran alucinaciones sin la supervisión humana adecuada.

"Es importante que los miembros del servicio comprendan la incertidumbre inherente a los modelos de lenguaje", advirtió Jake Steckler, investigador en GovAI y veterano oficial del ejército de EE.UU., en una respuesta escrita a TechCrunch. "Pero es especialmente crítico para cualquier decisión que pueda llevar al uso de la fuerza, como el análisis de inteligencia o la planificación operativa. Hay consecuencias de vida o muerte para esas decisiones."

Aún así, Steckler sostiene que el incidente debería servir como un llamado a agregar más salvaguardias a la IA, y no como una razón para evitarla. "Estas herramientas pueden ser útiles en los contextos adecuados y con las salvaguardias correctas", dijo. 

"Pero priorizar la velocidad de adopción sobre todo lo demás probablemente conducirá a incidentes que solo harán que los miembros del servicio pierdan confianza en estos sistemas, lo que, en última instancia, solo ralentizará la adopción."