Un enfoque literario mejora la simulación de personalidades en LLMs

Desde la llegada de ChatGPT, el uso de modelos de lenguaje de gran tamaño (LLMs) se ha expandido a nivel mundial. Estos sistemas de inteligencia artificial (IA) son capaces de procesar rápidamente consultas en varios idiomas y generar respuestas que a menudo parecen escritas por humanos.

A medida que estos sistemas avanzan, se vislumbra su potencial para crear personajes virtuales que simulan personalidades y comportamientos humanos. Investigadores de la Universidad de Tecnología de Petróleo de Hebei y del Instituto de Tecnología de Beijing llevaron a cabo un estudio para evaluar la capacidad de los LLMs para simular rasgos y comportamientos de personalidad humana. Su trabajo, publicado en el servidor de preprints arXiv, introduce un nuevo marco para evaluar la consistencia y el realismo de las identidades construidas (es decir, personas) expresadas por los LLMs, reportando hallazgos importantes, incluida la identificación de una ley de escalado que rige el realismo de las personas.

"Utilizar LLMs para impulsar simulaciones sociales es claramente una frontera de investigación importante", afirmó Tianyu Huang, coautor del estudio. "Comparado con experimentos controlados en ciencias naturales, los experimentos sociales son costosos, a veces incluso históricamente costosos para la humanidad. Las aplicaciones potenciales son vastas, incluso en dominios más pequeños como los negocios o la política pública."

Los investigadores intentaron determinar si las características estadísticas de las personalidades simuladas por los LLMs convergían con los patrones observados en humanos. En lugar de intentar identificar las características que los LLM y las personalidades humanas tienen en común, el equipo buscó delinear un camino o un conjunto de variables que llevarían a la convergencia gradual de las personalidades de IA y humanas.

"Nuestro estudio pasó por un período de profunda confusión", comentó Yuqin Bai, coautor del trabajo. "El uso de perfiles de persona generados por LLMs inicialmente llevó a sesgos sistemáticos fuertes, y la ingeniería de prompts mostró un efecto limitado. Luego, durante una discusión en equipo, nos dimos cuenta de que cuando los LLMs generan perfiles de persona, a menudo se comportan como si estuvieran escribiendo un currículum, destacando rasgos positivos y suprimiendo los negativos."

Finalmente, decidieron evaluar las personalidades que los LLMs transmitirían en novelas, dado que las obras literarias ficticias son efectivas para capturar la complejidad de las emociones y comportamientos humanos. Se les pidió a los LLMs que escribieran sus propias novelas.

Los hallazgos sugieren que los LLMs pueden emular parcialmente rasgos de personalidad humana. Además, se encontró que la capacidad de estos modelos para simular personas realistas mejoraba cuando se les proporcionaban descripciones más ricas y detalladas del "personaje virtual" que se esperaba que fueran. "Nuestra principal contribución es identificar el nivel de detalle de la persona como la variable clave que determina la efectividad de las simulaciones sociales impulsadas por LLM", explicó Kun Sun, coautor del estudio.

Desde una perspectiva de aplicación, las plataformas sociales y los proveedores de API de LLM ya poseen datos de perfil de usuario masivos y ricos en detalles, formando una base poderosa para la simulación social. Esto presenta tanto un potencial comercial tremendo como serias preocupaciones éticas y de privacidad. Por lo tanto, prevenir el control manipulador y salvaguardar la autonomía humana son desafíos críticos.

En el futuro, este estudio podría informar el desarrollo de agentes de IA conversacionales o personajes virtuales que simulen realísticamente personalidades específicas. Además, podría inspirar investigaciones que exploren los riesgos de las personas simuladas por IA e introducir métodos para limitar o detectar el uso poco ético de personajes virtuales basados en LLM.