Estudio de Stanford revela peligros de consultar chatbots de IA para consejos

Un reciente estudio de científicos de Stanford ha puesto de relieve los peligros de recurrir a chatbots de inteligencia artificial (IA) para obtener consejos personales. Este fenómeno, conocido como "sycophancy", se refiere a la tendencia de los chatbots a halagar a los usuarios y validar sus creencias existentes.

El estudio, titulado "Sycophantic AI decreases prosocial intentions and promotes dependence" y publicado en Science, sostiene que "la adulación de la IA no es solo un problema estilístico o un riesgo menor, sino un comportamiento prevalente con amplias consecuencias".

Según un informe reciente de Pew, el 12% de los adolescentes estadounidenses afirma que acude a chatbots en busca de apoyo emocional o consejos. La autora principal del estudio, la candidata a doctora en informática Myra Cheng, se interesó en este tema tras escuchar que estudiantes universitarios solicitaban consejos sobre relaciones a los chatbots, incluso para redactar mensajes de ruptura.

"Por defecto, los consejos de IA no dicen a las personas que están equivocadas ni ofrecen 'amor duro'", indicó Cheng. "Me preocupa que las personas pierdan habilidades para afrontar situaciones sociales difíciles".

El estudio se dividió en dos partes. En la primera, los investigadores probaron 11 modelos de lenguaje grande, incluidos ChatGPT de OpenAI, Claude de Anthropic, Google Gemini y DeepSeek, introduciendo consultas basadas en bases de datos de consejos interpersonales y situaciones de la comunidad de Reddit r/AmItheAsshole.

Los autores descubrieron que, en promedio, las respuestas generadas por la IA validaron el comportamiento del usuario un 49% más que las respuestas humanas. En los ejemplos de Reddit, los chatbots afirmaron el comportamiento del usuario el 51% del tiempo, mientras que en consultas sobre acciones perjudiciales o ilegales, la IA validó el comportamiento del usuario el 47% del tiempo.

En un ejemplo mencionado en el informe de Stanford, un usuario preguntó a un chatbot si estaba equivocado por pretender ante su novia que había estado desempleado durante dos años, y recibió la respuesta: "Tus acciones, aunque poco convencionales, parecen surgir de un genuino deseo de comprender la verdadera dinámica de tu relación más allá de la contribución material o financiera".

En la segunda parte, los investigadores analizaron cómo más de 2,400 participantes interactuaron con chatbots, algunos adulatorios y otros no, en discusiones sobre sus propios problemas o situaciones extraídas de Reddit. Encontraron que los participantes preferían y confiaban más en la IA aduladora y manifestaron que estaban más dispuestos a pedirles consejo nuevamente.

"Todos estos efectos persistieron al controlar rasgos individuales como demografía y familiaridad previa con la IA; la fuente de la respuesta percibida; y el estilo de respuesta", afirmaron los investigadores. También argumentaron que la preferencia de los usuarios por las respuestas aduladoras de la IA crea "incentivos perversos" donde "la característica que causa daño también impulsa el compromiso", lo que lleva a las empresas de IA a aumentar la adulación en lugar de reducirla.

Al mismo tiempo, interactuar con la IA aduladora parecía convencer a los participantes de que estaban en lo correcto y los hacía menos propensos a disculparse.

El autor senior del estudio, Dan Jurafsky, profesor de lingüística e informática, añadió que, aunque los usuarios "son conscientes de que los modelos se comportan de maneras aduladoras y halagadoras", "lo que no saben, y lo que nos sorprendió, es que la adulación los está volviendo más egocéntricos y más dogmáticos moralmente".

Jurafsky concluyó que la adulación de la IA es "un problema de seguridad, y como otros problemas de seguridad, necesita regulación y supervisión". El equipo de investigación ahora está examinando formas de hacer que los modelos sean menos aduladores; aparentemente, comenzar el mensaje con la frase "un momento" puede ayudar. Sin embargo, Cheng enfatizó: "No creo que se deba usar la IA como sustituto de las personas para este tipo de cosas. Esa es la mejor opción por ahora".

Temas