Investigación revela que memoria y razonamiento en IA están separados

Investigadores de Goodfire.ai realizaron un estudio sobre cómo los modelos de inteligencia artificial (IA) de gran tamaño, como ChatGPT, aprenden y recuerdan información. Su investigación reveló que las habilidades de memoria y razonamiento de estos modelos ocupan partes distintas de su arquitectura interna. Este hallazgo podría contribuir a hacer que la IA sea más segura y confiable.

Los modelos de IA entrenados con grandes conjuntos de datos dependen de al menos dos características de procesamiento principales. La primera es la memoria, que permite al sistema recuperar y recitar información. La segunda es el razonamiento, que consiste en resolver nuevos problemas aplicando principios generalizados y patrones aprendidos. Sin embargo, hasta ahora no se sabía si la memoria y la inteligencia general de la IA se almacenaban en el mismo lugar.

Para investigar la estructura interna de los modelos de lenguaje y visión, el equipo utilizó una técnica matemática llamada K-FAC (Kronecker-Factored Approximate Curvature). Esta técnica les permitió identificar componentes de procesamiento específicos responsables de diferentes capacidades, como la memorización en caminos de baja curvatura y el razonamiento flexible en áreas de alta curvatura.

Posteriormente, desactivaron partes de la IA asociadas con la memorización y probaron el modelo en diversas tareas, como responder preguntas fácticas y resolver nuevos problemas. Esto demostró que, al desactivar la memoria, los modelos aún podían utilizar sus habilidades de razonamiento, lo que indica que ambas funciones ocupan partes separadas de la arquitectura interna de la IA.

Los investigadores afirmaron en su artículo que "nuestro enfoque de poda basado en curvatura mitiga efectivamente la memorización en ambos tamaños de modelo sin requerir datos de entrenamiento supervisados, logrando una mejor generalización a contenido memorizado no visto". Este proceso de desactivación de la memoria reveló un sorprendente compromiso: mientras que la resolución de problemas generales se mantuvo intacta, las habilidades de la IA para realizar matemáticas y recordar hechos aislados se vieron gravemente afectadas. Los autores indicaron que "la aritmética y la recuperación de hechos de libro cerrado dependen más de las direcciones de baja curvatura y se ven desproporcionadamente impactadas por las ediciones, mientras que el razonamiento lógico de libro abierto y no numérico se conserva en gran medida o se mejora ocasionalmente".

Conocer exactamente cómo funciona la IA será clave para mejorar la seguridad y aumentar la confianza pública. Uno de los problemas con los modelos de IA que memorizan datos es que pueden filtrar información privada o texto con derechos de autor. Además, esta memorización puede llevar a la retención de sesgos dañinos o contenido tóxico.

Sin embargo, estos problemas pueden mitigarse si los ingenieros pueden eliminar de manera precisa los hechos memorizados y los caminos especializados sin afectar la inteligencia general de la IA. Comprender estos caminos de memoria también podría hacer que los modelos de IA sean más eficientes y menos costosos de operar al reducir la cantidad de espacio de red que necesitan.

Temas