Nuevos LLMs se adaptan como estudiantes para aprender de manera efectiva

En un aula del MIT, un profesor dictó una clase mientras los estudiantes tomaron notas que releerían más tarde para estudiar e internalizar información clave antes de un examen.

Los humanos saben cómo aprender nueva información, pero los modelos de lenguaje grandes (LLMs) no pueden hacerlo de la misma manera. Una vez que un LLM ha sido completamente entrenado y desplegado, su "cerebro" es estático y no puede adaptarse permanentemente a nuevos conocimientos.

Esto significa que si un usuario le dice algo importante a un LLM hoy, no recordará esa información la próxima vez que esta persona inicie una nueva conversación con el chatbot.

Ahora, un nuevo enfoque desarrollado por investigadores del MIT permite que los LLMs se actualicen de manera que internalicen permanentemente nueva información. Al igual que un estudiante, el LLM genera sus propias hojas de estudio a partir de la entrada de un usuario, que utiliza para memorizar la información actualizando su funcionamiento interno. El trabajo fue publicado en el servidor de preprints arXiv.

El modelo genera múltiples autoediciones para aprender de una entrada, luego aplica cada una para ver cuál mejora más su rendimiento. Este proceso de prueba y error enseña al modelo la mejor manera de entrenarse.

Los investigadores encontraron que este enfoque mejoró la precisión de los LLMs en tareas de respuesta a preguntas y reconocimiento de patrones, y permitió que un modelo pequeño superara a LLMs mucho más grandes.

Aunque aún existen limitaciones que deben superarse, la técnica podría ayudar algún día a los agentes de inteligencia artificial a adaptarse de manera consistente a nuevas tareas y alcanzar objetivos cambiantes en entornos en evolución.

"Al igual que los humanos, los sistemas de IA complejos no pueden permanecer estáticos durante toda su vida. Estos LLMs no se despliegan en entornos estáticos. Se enfrentan constantemente a nuevas entradas de los usuarios. Queremos crear un modelo que sea un poco más humano, uno que pueda seguir mejorando a sí mismo", afirmó Jyothish Pari, estudiante de posgrado del MIT y coautor principal del artículo sobre esta técnica.

Lo acompaña en el trabajo el coautor principal Adam Zweiger, estudiante de pregrado del MIT; los estudiantes de posgrado Han Guo y Ekin Akyürek; y los autores senior Yoon Kim, profesor asistente en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) y miembro del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), y Pulkit Agrawal, profesor asistente en EECS y miembro de CSAIL.

La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.

Enseñando al modelo a aprender

Los LLMs son modelos de redes neuronales que tienen miles de millones de parámetros, llamados pesos, que contienen el conocimiento del modelo y procesan entradas para hacer predicciones. Durante el entrenamiento, el modelo adapta estos pesos para aprender nueva información contenida en sus datos de entrenamiento.

Pero una vez que se despliega, los pesos son estáticos y no pueden actualizarse permanentemente.

Sin embargo, los LLMs son muy buenos en un proceso llamado aprendizaje en contexto, en el que un modelo entrenado aprende una nueva tarea al ver algunos ejemplos. Estos ejemplos guían las respuestas del modelo, pero el conocimiento desaparece antes de la siguiente conversación.

Los investigadores del MIT querían aprovechar las poderosas capacidades de aprendizaje en contexto de un modelo para enseñarle cómo actualizar permanentemente sus pesos cuando encuentra nuevos conocimientos.

El marco que desarrollaron, llamado SEAL por "modelos de lenguaje auto-adaptativos", permite que un LLM genere nuevos datos sintéticos basados en una entrada y luego determine la mejor manera de adaptarse y aprender de esos datos sintéticos. Cada pieza de datos sintéticos es una autoedición que el modelo puede aplicar.