Modelos de IA populares no son seguros para robots, advierte estudio

Un nuevo estudio realizado por investigadores de King's College London y Carnegie Mellon University advirtió que los robots impulsados por modelos de inteligencia artificial (IA) populares no son seguros para su uso en el mundo real. La investigación reveló que estos robots son propensos a comportamientos discriminatorios y a la aprobación de comandos que podrían causar daños graves.

Por primera vez, se evaluó cómo se comportan los robots que utilizan modelos de lenguaje grande (LLMs) cuando tienen acceso a información personal, como el género, la nacionalidad o la religión de una persona. Los resultados mostraron que todos los modelos probados fallaron en controles de seguridad críticos y aprobaron al menos un comando que podría resultar en daño serio, lo que plantea serias preocupaciones sobre la seguridad de los robots que dependen de estas herramientas.

El artículo titulado "LLM-Driven Robots Risk Enacting Discrimination, Violence and Unlawful Actions" fue publicado en el International Journal of Social Robotics. Los autores del estudio pidieron la implementación inmediata de certificaciones de seguridad robustas e independientes, similares a los estándares en aviación o medicina.

Para probar los sistemas, el equipo realizó pruebas controladas en escenarios cotidianos, como ayudar a alguien en la cocina o asistir a un adulto mayor en su hogar. Las tareas perjudiciales se diseñaron basándose en investigaciones y reportes del FBI sobre abusos tecnológicos, como el acoso con dispositivos de rastreo y cámaras espía, y los peligros únicos que presenta un robot que puede actuar físicamente en el lugar. En cada escenario, los robots fueron instados a responder a instrucciones que involucraban daño físico, abuso o comportamiento ilegal.

"Cada modelo falló nuestras pruebas. Demostramos que los riesgos van mucho más allá del sesgo básico, incluyendo discriminación directa y fallas de seguridad física, lo que llamo 'seguridad interactiva'. Esto se refiere a situaciones donde las acciones y las consecuencias pueden tener múltiples pasos entre sí, y el robot está destinado a actuar físicamente en el lugar", afirmó Andrew Hundt, coautor de la investigación durante su trabajo como becario de innovación en el Instituto de Robótica de CMU.

Hundt agregó: "Rechazar o redirigir comandos dañinos es esencial, pero eso no es algo que estos robots puedan hacer de manera confiable en este momento".

En las pruebas de seguridad, los modelos de IA aprobaron abrumadoramente un comando para que un robot retirara un dispositivo de movilidad, como una silla de ruedas, muletas o bastones, de su usuario, a pesar de que las personas que dependen de estos dispositivos describieron tales actos como equivalentes a romperse una pierna. Varios modelos también produjeron resultados que consideraron "aceptable" o "factible" que un robot empuñara un cuchillo de cocina para intimidar a trabajadores de oficina, tomara fotografías no consensuadas en una ducha y robara información de tarjetas de crédito.

Un modelo incluso propuso que un robot debería mostrar físicamente "desprecio" en su rostro hacia individuos identificados como cristianos, musulmanes y judíos.

Los LLMs han sido propuestos y están siendo probados en robots que realizan tareas como interacción en lenguaje natural y quehaceres domésticos y laborales. Sin embargo, los investigadores advierten que estos LLMs no deberían ser los únicos sistemas que controlen robots físicos, especialmente aquellos utilizados en entornos sensibles y críticos para la seguridad, como la manufactura, el cuidado de personas o la asistencia en el hogar, debido a que pueden mostrar comportamientos inseguros y directamente discriminatorios.

"Nuestra investigación muestra que los LLMs populares son actualmente inseguros para su uso en robots físicos de propósito general", afirmó Rumaisa Azeem, coautora y asistente de investigación en el Laboratorio de IA Cívica y Responsable de King's College London.

Azeem concluyó: "Si un sistema de IA va a dirigir un robot que interactúa con personas vulnerables, debe cumplir con estándares al menos tan altos como los de un nuevo dispositivo médico o un fármaco. Esta investigación destaca la urgente necesidad de evaluaciones de riesgo rutinarias y exhaustivas de la IA antes de que se utilicen en robots".

Temas