PrismML apuesta a LLM compactos para transformar el uso de la inteligencia artificial

PrismML, un laboratorio de inteligencia artificial, ha captado la atención del sector tecnológico al presentar su innovador modelo de lenguaje, Bonsai 2, que busca revolucionar el acceso a la inteligencia artificial en dispositivos de uso diario, como smartphones y PCs. Aunque la empresa aún no ha recaudado grandes sumas, su enfoque en el desarrollo de modelos compactos la ha colocado en el centro de la conversación sobre el futuro de la IA.

La premisa de PrismML es que los modelos de lenguaje de alto rendimiento no tienen que ser necesariamente grandes. La compañía ha desarrollado modelos de razonamiento tan pequeños que pueden ser almacenados en dispositivos comunes, lo que podría democratizar el acceso a tecnología avanzada. La posibilidad de que estos modelos sean utilizados en dispositivos móviles representa un cambio significativo en la forma en que se puede interactuar con la inteligencia artificial.

El lanzamiento de Bonsai 2 se realizó el pasado jueves, y este modelo logra comprimir un modelo de código abierto de Alibaba, conocido como Qwen3.8, de 27 mil millones de parámetros a solo 5.9 GB. Esto representa una reducción de memoria de entre 9 a 10 veces en comparación con el modelo original. La capacidad de almacenar un modelo de este tipo en un smartphone es un avance notable en el campo de la IA.

La startup fue fundada por un grupo de investigadores de Caltech, liderados por el profesor Babak Hassibi, experto en tecnologías de compresión. Además, cuenta con el apoyo de Ion Stoica, cofundador de Databricks y director del famoso Sky Computing Lab de Berkeley, que ha sido cuna de numerosas tecnologías innovadoras.

A pesar de que existen otras empresas que trabajan en la compresión de modelos de lenguaje, PrismML destaca por su tecnología única que promete mantener el rendimiento del modelo a pesar de su tamaño reducido. Según Hassibi, Bonsai 2 alcanza el 98% de los puntajes de referencia del modelo Qwen, mejorando así el 95% que logró su predecesor lanzado en marzo. Este modelo original ha sido descargado más de 11 millones de veces, y los modelos más pequeños de PrismML han acumulado 2.6 millones de descargas adicionales.

La empresa planea aplicar esta tecnología de compresión a modelos aún más grandes en el futuro. Hassibi expresó su optimismo sobre la posibilidad de lograr una paridad de rendimiento del 100% en modelos de varios cientos de miles de millones de parámetros, sugiriendo que a medida que el tamaño del modelo aumenta, también lo hace la capacidad de compresión sin perder inteligencia.

El respaldo de inversores como Khosla Ventures y Cerberus Capital refuerza la credibilidad de PrismML en el competitivo mundo de las startups tecnológicas. Con su innovadora tecnología de compresión, la empresa está bien posicionada para cambiar la forma en que los usuarios interactúan con la inteligencia artificial, permitiendo un acceso más privado y eficiente, ya que los modelos podrían ejecutarse directamente en los dispositivos de los usuarios sin necesidad de enviar datos a la nube.