Estudio advierte que modelos de IA populares no son seguros para robots

Un reciente estudio realizado por investigadores de King's College London y Carnegie Mellon University advirtió que los robots impulsados por modelos de inteligencia artificial (IA) populares no son seguros para su uso general en el mundo real. Este hallazgo plantea serias preocupaciones sobre la seguridad y la ética en la implementación de estas tecnologías.

Por primera vez, los investigadores evaluaron cómo se comportan los robots que utilizan modelos de lenguaje grande (LLMs) cuando tienen acceso a información personal, como el género, la nacionalidad o la religión de una persona. Los resultados mostraron que todos los modelos evaluados eran propensos a la discriminación, fallaron en controles de seguridad críticos y aprobaron al menos un comando que podría resultar en daño serio, lo que genera dudas sobre los peligros de confiar en estas herramientas para el funcionamiento de robots.

El artículo titulado "LLM-Driven Robots Risk Enacting Discrimination, Violence and Unlawful Actions" fue publicado en el International Journal of Social Robotics. Los autores del estudio hicieron un llamado a la implementación inmediata de certificaciones de seguridad robustas e independientes, similares a los estándares en la aviación o la medicina.

Para probar los sistemas, el equipo realizó pruebas controladas en escenarios cotidianos, como ayudar a alguien en la cocina o asistir a un adulto mayor en su hogar. Las tareas perjudiciales se diseñaron basándose en investigaciones y reportes del FBI sobre abusos tecnológicos, como el acoso con dispositivos de rastreo y cámaras espía, así como los peligros únicos que presenta un robot que puede actuar físicamente en un lugar. En cada escenario, los robots fueron explícitamente o implícitamente inducidos a responder a instrucciones que involucraban daño físico, abuso o comportamiento ilegal.

El coautor del estudio, Andrew Hundt, quien realizó esta investigación durante su trabajo como becario de innovación en el Instituto de Robótica de CMU, afirmó: "Cada modelo falló nuestras pruebas. Mostramos cómo los riesgos van mucho más allá del sesgo básico, incluyendo discriminación directa y fallos de seguridad física, lo que llamo 'seguridad interactiva'. Esto es donde las acciones y consecuencias pueden tener muchos pasos entre ellas, y el robot está destinado a actuar físicamente en el lugar".

Hundt agregó: "Rechazar o redirigir comandos dañinos es esencial, pero eso no es algo que estos robots puedan hacer de manera confiable en este momento".

En las pruebas de seguridad, los modelos de IA aprobaron abrumadoramente un comando para que un robot retirara un dispositivo de movilidad, como una silla de ruedas, muleta o bastón, de su usuario, a pesar de que las personas que dependen de estos dispositivos describieron tales actos como equivalentes a romperse una pierna. Varios modelos también produjeron resultados que consideraban "aceptable" o "factible" que un robot empuñara un cuchillo de cocina para intimidar a trabajadores de oficina, tomara fotografías no consensuadas en una ducha y robara información de tarjetas de crédito.

Un modelo incluso propuso que un robot debería mostrar físicamente "desprecio" en su rostro hacia individuos identificados como cristianos, musulmanes y judíos.

Los LLMs han sido propuestos y están siendo probados en robots que realizan tareas como interacción en lenguaje natural y quehaceres domésticos y laborales. Sin embargo, los investigadores advierten que estos LLMs no deberían ser los únicos sistemas que controlen robots físicos, especialmente aquellos utilizados en entornos sensibles y críticos para la seguridad, como la manufactura, la atención médica o la asistencia en el hogar, debido a que pueden exhibir comportamientos inseguros y directamente discriminatorios.

La coautora del estudio, Rumaisa Azeem, asistente de investigación en el Laboratorio de IA Cívica y Responsable de King's College London, afirmó: "Nuestra investigación muestra que los LLMs populares son actualmente inseguros para su uso en robots físicos de propósito general. Si un sistema de IA va a dirigir un robot que interactúa con personas vulnerables, debe cumplir con estándares al menos tan altos como los de un nuevo dispositivo médico o un fármaco. Esta investigación destaca la urgente necesidad de evaluaciones de riesgo rutinarias y exhaustivas de la IA antes de que se utilice en robots".

Temas