Estudio advierte sobre riesgos éticos de ChatGPT como terapeuta

Un reciente estudio de investigadores de Brown University reveló importantes riesgos éticos asociados al uso de ChatGPT y otros chatbots de inteligencia artificial en el ámbito de la salud mental. A medida que millones de personas recurren a estos sistemas en busca de consejos terapéuticos, los resultados del estudio presentan un llamado de atención: incluso cuando se les instruye a actuar como terapeutas capacitados, estos sistemas frecuentemente violan normas éticas fundamentales del cuidado de la salud mental.

Los investigadores realizaron evaluaciones comparativas entre chatbots y consejeros humanos, encontrando un total de 15 riesgos éticos distintos. Estos incluyeron desde el mal manejo de situaciones críticas y la reafirmación de creencias perjudiciales, hasta respuestas sesgadas y la presentación de "empatía engañosa", que simula cuidado sin un verdadero entendimiento.

"En este trabajo, presentamos un marco informado por la práctica que identifica 15 riesgos éticos, demostrando cómo los consejeros de LLM violan estándares éticos en la práctica de salud mental", explicaron los autores del estudio. "Hacemos un llamado a que futuros trabajos establezcan estándares éticos, educativos y legales para los consejeros de LLM, que reflejen la calidad y rigurosidad del cuidado requerido en la psicoterapia facilitada por humanos".

Los hallazgos se presentaron en la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad. El equipo de investigación está afiliado al Centro de Responsabilidad Tecnológica, Reimaginación y Rediseño de Brown.

El papel de los prompts en la terapia AI

Zainab Iftikhar, candidata a doctorado en ciencias de la computación en Brown, lideró el estudio y buscó determinar si los prompts cuidadosamente redactados podrían guiar a los sistemas de IA para que se comporten de manera más ética en entornos de salud mental. Los prompts son instrucciones escritas diseñadas para dirigir la salida de un modelo sin necesidad de reentrenarlo o añadir nuevos datos.

"Los prompts son instrucciones que se dan al modelo para guiar su comportamiento hacia una tarea específica", señaló Iftikhar. "No se cambia el modelo subyacente ni se proporciona nueva información, pero el prompt ayuda a orientar la salida del modelo en función de su conocimiento previo y patrones aprendidos".

Por ejemplo, un usuario podría indicar al modelo: 'Actúa como un terapeuta cognitivo conductual para ayudarme a replantear mis pensamientos', o 'Usa principios de la terapia dialéctica conductual para ayudarme a entender y manejar mis emociones'. Aunque estos modelos no realizan estas técnicas terapéuticas como lo haría un humano, utilizan sus patrones aprendidos para generar respuestas alineadas con los conceptos de CBT o DBT según el input proporcionado.

Las personas comparten regularmente estas estrategias de prompts en plataformas como TikTok, Instagram y Reddit. Más allá de la experimentación individual, muchos chatbots de salud mental dirigidos al consumidor se construyen aplicando prompts relacionados con la terapia a LLM de propósito general. Esto hace que sea especialmente importante entender si los prompts por sí solos pueden hacer que el asesoramiento AI sea más seguro.

Evaluación de chatbots de IA en consejería simulada

Para evaluar los sistemas, los investigadores observaron a siete consejeros pares capacitados en terapia cognitivo conductual. Estos consejeros llevaron a cabo sesiones de auto-consejería con modelos de IA que actuaron como terapeutas CBT. Los modelos evaluados incluyeron versiones de GPT de OpenAI, Claude de Anthropic y Llama de Meta.

El equipo seleccionó luego chats simulados basados en conversaciones reales de consejería humana. Tres psicólogos clínicos licenciados revisaron esas transcripciones para señalar posibles violaciones éticas.

El análisis descubrió 15 riesgos distintos agrupados en cinco categorías amplias:

Falta de adaptación contextual: Ignorar el trasfondo único de una persona y ofrecer consejos genéricos.

Pobre colaboración terapéutica: Dirigir la conversación de manera demasiado forzada y, a veces, reafirmar creencias incorrectas o perjudiciales.

Empatía engañosa: Usar frases como "te veo" o "entiendo" para sugerir una conexión emocional sin verdadera comprensión.

Discriminación injusta: Mostrar sesgo relacionado con género, cultura o religión.

Falta de seguridad y manejo de crisis: Negarse a abordar temas sensibles, fallar en dirigir a los usuarios hacia la ayuda adecuada o responder de manera inadecuada a crisis, incluyendo pensamientos suicidas.

La brecha de responsabilidad en la salud mental AI

Iftikhar observó que los terapeutas humanos también pueden cometer errores. La diferencia clave radica en la supervisión.

"Para los terapeutas humanos, existen juntas de gobernanza y mecanismos para que los proveedores sean responsables profesionalmente por el maltrato y la negligencia", dijo Iftikhar. "Pero cuando los consejeros LLM cometen estas violaciones, no hay marcos regulatorios establecidos".

Los investigadores enfatizaron que sus hallazgos no sugieren que la IA no tenga lugar en la atención de salud mental. Las herramientas impulsadas por inteligencia artificial podrían ayudar a expandir el acceso, especialmente para personas que enfrentan altos costos o disponibilidad limitada de profesionales licenciados. Sin embargo, el estudio destaca la necesidad de salvaguardas claras, un despliegue responsable y estructuras regulatorias más sólidas antes de confiar en estos sistemas en situaciones de alto riesgo.

Por ahora, Iftikhar espera que el trabajo fomente la precaución.

"Si estás hablando con un chatbot sobre salud mental, estas son algunas cosas a las que las personas deberían estar atentas", concluyó.

Importancia de la evaluación rigurosa

Ellie Pavlick, profesora de ciencias de la computación en Brown que no participó en la investigación, comentó que el estudio subraya la importancia de examinar cuidadosamente los sistemas de IA utilizados en áreas sensibles como la salud mental. Pavlick lidera ARIA, un instituto de investigación de IA de la National Science Foundation en Brown centrado en construir asistentes de IA confiables.

"La realidad de la IA hoy es que es mucho más fácil construir y desplegar sistemas que evaluarlos y comprenderlos", afirmó Pavlick. "Este artículo requirió un equipo de expertos clínicos y un estudio que duró más de un año para demostrar estos riesgos. La mayoría del trabajo en IA hoy se evalúa utilizando métricas automáticas que, por diseño, son estáticas y carecen de un humano en el proceso".

Agregó que el estudio podría servir como modelo para futuras investigaciones dirigidas a mejorar la seguridad en las herramientas de salud mental AI.

"Hay una oportunidad real para que la IA juegue un papel en la lucha contra la crisis de salud mental que enfrenta nuestra sociedad, pero es de suma importancia que tomemos el tiempo para criticar y evaluar nuestros sistemas en cada paso del camino para evitar hacer más daño que bien", concluyó Pavlick.

Temas