Guide Labs presenta un LLM interpretable y de código abierto con 8 mil millones de parámetros

La dificultad de entender los modelos de aprendizaje profundo ha sido un reto constante en el desarrollo de inteligencia artificial. Desde los problemas de sesgo en modelos como Grok de xAI hasta las alucinaciones de ChatGPT, desentrañar el funcionamiento de redes neuronales con miles de millones de parámetros no es tarea sencilla.

Guide Labs, una startup con sede en San Francisco, fundada por Julius Adebayo y Aya Abdelsalam Ismail, ha presentado una solución a este dilema. La compañía ha abierto el código de su nuevo modelo de lenguaje, Steerling-8B, que cuenta con 8 mil millones de parámetros y una arquitectura innovadora que facilita la interpretación de sus acciones. Cada token generado por el modelo puede ser rastreado hasta su origen en los datos de entrenamiento.

Esta capacidad de trazabilidad permite entender no solo las referencias de hechos citados por el modelo, sino también aspectos más complejos como su comprensión del humor o de género. Adebayo explicó a TechCrunch: "Si tengo un trillón de formas de codificar el género, y lo codifico en 1 billón de las cosas que tengo, debes asegurarte de encontrar todas esas cosas que he codificado y poder activarlas o desactivarlas de manera confiable. Se puede hacer con los modelos actuales, pero es muy frágil... Es una de las preguntas fundamentales en el campo".

Adebayo comenzó este trabajo durante su doctorado en el MIT, coautorizando un artículo de 2018 que evidenció la falta de fiabilidad de los métodos existentes para entender los modelos de aprendizaje profundo. Este trabajo condujo a la creación de una nueva forma de construir LLMs, donde los desarrolladores insertan una capa conceptual en el modelo que agrupa datos en categorías rastreables. Aunque requiere una mayor anotación de datos inicial, la utilización de otros modelos de inteligencia artificial ayudó a entrenar este modelo como su mayor prueba de concepto hasta la fecha.

Adebayo comentó: "El tipo de interpretabilidad que la gente realiza es... neurociencia en un modelo, y nosotros lo invertimos. Lo que hacemos es realmente diseñar el modelo desde cero para que no necesites hacer neurociencia".

Una preocupación respecto a este enfoque es que podría eliminar algunos de los comportamientos emergentes que hacen que los LLMs sean tan intrigantes: su capacidad de generalizar de nuevas maneras sobre cosas en las que no han sido entrenados. Adebayo asegura que esto sigue ocurriendo en el modelo de su empresa, donde su equipo rastrea lo que llaman "conceptos descubiertos" que el modelo identificó por sí mismo, como la computación cuántica.

Adebayo sostiene que esta arquitectura interpretable será algo que todos necesitarán. Para los LLMs orientados al consumidor, estas técnicas deberían permitir a los desarrolladores hacer cosas como bloquear el uso de materiales con derechos de autor, o controlar mejor las salidas sobre temas como la violencia o el abuso de drogas. Las industrias reguladas requerirán LLMs más controlables, por ejemplo en finanzas, donde un modelo que evalúa a solicitantes de préstamos debe considerar factores como los registros financieros, pero no la raza. También existe la necesidad de interpretabilidad en el trabajo científico, otra área en la que Guide Labs ha desarrollado tecnología. El plegamiento de proteínas ha sido un gran éxito para los modelos de aprendizaje profundo, pero los científicos necesitan más información sobre por qué su software encontró combinaciones prometedoras.

"Este modelo demuestra que entrenar modelos interpretables ya no es solo una cuestión de ciencia; ahora es un problema de ingeniería", afirmó Adebayo. "Hemos entendido la ciencia y podemos escalarla, y no hay razón para que este tipo de modelo no iguale el rendimiento de los modelos de frontera", que tienen muchos más parámetros.

Guide Labs afirmó que Steerling-8B puede alcanzar el 90% de la capacidad de los modelos existentes, pero utiliza menos datos de entrenamiento, gracias a su arquitectura novedosa. El siguiente paso para la empresa, que surgió de Y Combinator y recaudó 9 millones de dólares en una ronda semilla de Initialized Capital en noviembre de 2024, es construir un modelo más grande y comenzar a ofrecer acceso a API y acceso agentico a los usuarios.

"La forma en que estamos entrenando modelos actualmente es muy primitiva, y democratizar la interpretabilidad inherente será algo bueno a largo plazo para nuestro papel dentro de la raza humana", concluyó Adebayo. "A medida que buscamos estos modelos que serán superinteligentes, no querrás que algo que toma decisiones en tu nombre sea algo que sea un misterio para ti."

Temas