Abogados generales advierten a gigantes de IA sobre riesgos psicológicos

Tras una serie de incidentes preocupantes relacionados con la salud mental vinculados a chatbots de inteligencia artificial, un grupo de abogados generales de varios estados de EE.UU. envió una carta a las principales empresas de la industria de IA, advirtiendo sobre la necesidad de corregir outputs "delusionales" o arriesgarse a violar la ley estatal.

La carta, firmada por decenas de abogados generales de estados y territorios de EE.UU. y respaldada por la Asociación Nacional de Abogados Generales, solicitó a empresas como Microsoft, OpenAI, Google y otras diez importantes firmas de IA que implementen una variedad de nuevas salvaguardias internas para proteger a sus usuarios. Entre las empresas mencionadas también se encuentran Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika y xAI.

Esta carta llega en un momento en que se intensifica la lucha por la regulación de la IA entre los gobiernos estatales y federales. Las salvaguardias solicitadas incluyen auditorías de terceros transparentes de modelos de lenguaje que busquen signos de ideaciones delusionales o sícophantas, así como nuevos procedimientos de reporte de incidentes diseñados para notificar a los usuarios cuando los chatbots generen outputs psicológicamente dañinos. Estos terceros, que podrían incluir grupos académicos y de la sociedad civil, deberían tener la capacidad de evaluar los sistemas antes de su lanzamiento sin represalias y publicar sus hallazgos sin aprobación previa de la empresa, según se indica en la carta.

"La IA generativa tiene el potencial de cambiar positivamente el funcionamiento del mundo. Pero también ha causado —y puede causar— daños graves, especialmente a poblaciones vulnerables", se menciona en la carta, haciendo referencia a varios incidentes muy publicitados en el último año, incluidos suicidios y asesinatos, en los que se ha vinculado la violencia con el uso excesivo de la IA. "En muchos de estos incidentes, los productos de IA generativa generaron outputs sícophantas y delusionales que alentaron los delirios de los usuarios o aseguraron a los usuarios que no estaban delirando", se agrega.

Los abogados generales también sugirieron que las empresas traten los incidentes de salud mental de la misma manera que las empresas tecnológicas manejan los incidentes de ciberseguridad, con políticas y procedimientos de reporte de incidentes claros y transparentes. Las empresas deberían desarrollar y publicar "cronogramas de detección y respuesta para outputs sícophantas y delusionales", se indica en la carta. De manera similar a cómo se manejan actualmente las violaciones de datos, las empresas deberían "notificar de manera rápida, clara y directa a los usuarios si estuvieron expuestos a outputs potencialmente dañinos sícophantas o delusionales", se menciona.

Otra solicitud es que las empresas desarrollen "pruebas de seguridad razonables y apropiadas" en los modelos de IA generativa para "asegurar que los modelos no produzcan outputs sícophantas y delusionales potencialmente dañinos". Estas pruebas deberían realizarse antes de que los modelos sean ofrecidos al público, agrega la carta.

TechCrunch no pudo contactar a Google, Microsoft o OpenAI para obtener comentarios antes de la publicación. El artículo se actualizará si las empresas responden.

Las empresas tecnológicas que desarrollan IA han tenido una recepción mucho más cálida a nivel federal. La administración de Trump ha dejado claro que es abiertamente pro-IA, y, en el último año, se han realizado múltiples intentos de aprobar una moratoria nacional sobre las regulaciones estatales de IA. Hasta ahora, esos intentos han fracasado, gracias, en parte, a la presión de los funcionarios estatales.

No disuadido, Trump anunció el lunes que planea emitir una orden ejecutiva la próxima semana que limitará la capacidad de los estados para regular la IA. El presidente dijo en una publicación en Truth Social que espera que su EO detenga la IA de ser "DESTRUIDA EN SU INFANCIA".

Temas