Modelos de lenguaje y su capacidad para entender la mente humana

En un experimento que ilustra la teoría de la mente (ToM), se presenta una situación donde un personaje coloca una barra de chocolate en una caja, la cierra y sale de la habitación. Otro individuo, que también se encuentra en la habitación, mueve la barra de chocolate de la caja a un cajón. Como observador, uno sabe que el chocolate ahora está en el cajón, y también se comprende que cuando la primera persona regrese, buscará el chocolate en la caja, ya que desconoce que ha sido movido.

Este tipo de razonamiento es natural para los humanos, quienes desarrollan esta capacidad alrededor de los cuatro años. Según Zhaozhuo Xu, profesor asistente de Ciencias de la Computación en la Escuela de Ingeniería, "para un cerebro humano, es una tarea muy sencilla" y se procesa en cuestión de segundos.

Por su parte, Denghui Zhang, profesor asistente en Sistemas de Información y Análisis en la Escuela de Negocios, explica que "mientras lo hacemos, nuestros cerebros utilizan solo un pequeño subconjunto de neuronas, lo que resulta muy eficiente energéticamente".

Diferencias en el razonamiento entre LLMs y humanos

Los modelos de lenguaje grandes (LLMs) funcionan de manera diferente. Aunque se inspiraron en conceptos de neurociencia y ciencia cognitiva, no son réplicas exactas del cerebro humano. Los LLMs se construyeron sobre redes neuronales artificiales que, aunque se asemejan a la organización de las neuronas biológicas, aprenden de patrones en grandes volúmenes de texto y operan mediante funciones matemáticas.

Esto les otorga una ventaja significativa sobre los humanos en el procesamiento rápido de grandes cantidades de información. Sin embargo, en términos de eficiencia, especialmente en tareas simples, los LLMs son menos eficientes que los humanos. Independientemente de la complejidad de la tarea, deben activar la mayor parte de su red neuronal para generar una respuesta. Así, al pedirle a un LLM que indique la hora o que resuma "Moby Dick", el modelo activa toda su red, lo que resulta en un consumo de recursos elevado y una ineficiencia.

"Cuando nosotros, los humanos, evaluamos una nueva tarea, activamos una parte muy pequeña de nuestro cerebro, pero los LLMs deben activar prácticamente toda su red para resolver algo nuevo, incluso si es bastante básico", señala Zhang. "Los LLMs deben realizar todos los cálculos y luego seleccionar lo que se necesita, lo que implica muchas computaciones redundantes, ya que calculan muchas cosas que no son necesarias. Es muy ineficiente".

Nueva investigación sobre el razonamiento social de los LLMs

Juntos, Zhang y Xu formaron una colaboración multidisciplinaria para comprender mejor cómo operan los LLMs y cómo se puede mejorar su eficiencia en el razonamiento social. Descubrieron que los LLMs utilizan un pequeño conjunto especializado de conexiones internas para manejar el razonamiento social. También hallaron que las habilidades de razonamiento social de los LLMs dependen en gran medida de cómo el modelo representa las posiciones de las palabras, especialmente a través de un método llamado codificación posicional rotativa (RoPE). Estas conexiones especiales influyen en cómo el modelo presta atención a diferentes palabras e ideas, guiando efectivamente su "enfoque" durante el razonamiento sobre los pensamientos de las personas.

"En términos simples, nuestros resultados sugieren que los LLMs utilizan patrones incorporados para rastrear posiciones y relaciones entre palabras para formar "creencias" internas y hacer inferencias sociales", afirma Zhang. Los dos colaboradores expusieron sus hallazgos en el estudio titulado "Cómo los modelos de lenguaje grandes codifican la teoría de la mente: un estudio sobre patrones de parámetros escasos", publicado en npj Artificial Intelligence.

Mirando hacia un futuro con IA más eficiente

Ahora que los investigadores comprenden mejor cómo los LLMs forman sus "creencias", consideran que podría ser posible hacer que los modelos sean más eficientes. "Todos sabemos que la IA es costosa en términos de energía, así que si queremos escalarla, debemos cambiar la forma en que opera", dice Xu. "Nuestro cerebro humano es muy eficiente energéticamente, por lo que esperamos que esta investigación nos lleve a pensar en cómo hacer que los LLMs funcionen más como el cerebro humano, de modo que activen solo un subconjunto de parámetros encargados de una tarea específica. Ese es un argumento importante que queremos transmitir".

Temas