Kog profundiza en el uso de GPUs para mejorar la inferencia en inteligencia artificial

La carrera por una inferencia de IA más rápida ha cobrado impulso, y el mercado recibió con entusiasmo a Cerebras y sus chips diseñados específicamente para este fin durante su debut en bolsa en mayo. Sin embargo, la startup francesa Kog está convencida de que aún hay mucho potencial por exprimir de las GPUs convencionales.

La empresa Kog logró captar la atención al aparecer en la portada de Hacker News en mayo con un avance tecnológico que demostraba que "la decodificación extremadamente rápida de solicitudes únicas es posible en las GPUs estándar de los centros de datos que ya poseen las empresas". En su demostración, utilizaron las GPUs AMD MI300X y Nvidia H200.

Algunos usuarios se mostraron decepcionados al enterarse de que esto no se extendía a las GPUs de las laptops, pero otros vieron el potencial. Con la velocidad de inferencia y los costos convirtiéndose en un cuello de botella crítico, la promesa de Kog de desbloquear nuevas capacidades en hardware existente mediante la optimización del software atrajo más de un simple interés. "Recibimos 200 leads comerciales tangibles", afirmó el CEO Gaël Delalleau a TechCrunch.

Según el feedback inicial, la ingeniería de software se espera que sea el primer caso de uso. Los usuarios veteranos de Claude Code son conscientes de que a veces deben esperar horas para obtener resultados. La propia Anthropic entiende que la velocidad tiene un precio, y cobra un múltiplo por el modo rápido de Claude.

Kog espera dirigirse a los clientes que se ven desanimados por esos retrasos, generalmente porque dependen de flujos de trabajo de IA para tareas profesionales. Sin embargo, la startup también cuenta con socios de diseño que permiten a los usuarios generar juegos y aplicaciones con un simple prompt, y para quienes un resultado más rápido gracias al Kog Inference Engine (KIE) significaría mayores ingresos, según Delalleau.

La empresa es consciente de que este mercado aún no está maduro. Al observar la demanda, Kog aprendió que sus posibles clientes no están preparados para ajustar modelos pequeños. "Y por eso, desde el lanzamiento, nos hemos centrado completamente en acelerar el desarrollo de modelos más grandes para satisfacer la demanda que hemos visto".

Esto deja a Kog con un gran desafío para cumplir su promesa de "30x más rápido en la inferencia de LLM". Su demostración mostró una impresionante capacidad de 3,000 tokens por solicitud (TPS), pero con un modelo pequeño diseñado específicamente que solo tiene alrededor de 2 mil millones de parámetros, el Laneformer 2B, ahora de código abierto.

Contradiciendo a los escépticos, Delalleau se mostró confiado en que el mismo enfoque puede funcionar igualmente bien con LLMs, cuya gran tamaño puede ser un desafío para los chips de inferencia. "Las GPUs tienen un futuro brillante", afirmó. Para el CEO de Kog, la idea de que no son adecuadas para la decodificación se ha convertido en un concepto erróneo; las GPUs más nuevas cuentan con cada vez más ancho de banda de memoria que solo espera ser desbloqueado.

Kog no es la única que piensa que la optimización del software puede ayudar a las GPUs a hacer más de lo que se espera. ZML, también de Francia, lanzó un software independiente de hardware que evita el CUDA de Nvidia para soportar una inferencia rápida a través de chips competidores. Sin embargo, Delalleau afirmó que Kog es más similar al laboratorio Hazy Research de la Universidad de Stanford, con un enfoque aún más profundo en la aceleración de GPUs.

Delalleau no es un investigador, y su primera startup, Stribe, que fue finalista en TechCrunch50 en 2009, no tiene relación con la actual, salvo por su antiguo cofundador convertido en capitalista de riesgo Kamel Zeroual, cuyo fondo Varsity VC co-lideró la ronda de financiamiento inicial de Kog. Pero el enfoque profundo de la startup proviene de su singular trayectoria.

Después de estudiar física de estado sólido en la École Polytechnique de Francia, trabajó en ciberseguridad ofensiva, también conocida como hacking ético. Según Delalleau, esto moldeó la mentalidad que ahora está alentando a su equipo a adoptar. En el ámbito científico, "hay esta mentalidad de entender las leyes de la física, y las leyes de la GPU para aprovecharlas al máximo".

En cuanto al hacking, el cuatro veces finalista del torneo CTF de DEFCON afirmó que le enseñó "a hacer ingeniería inversa de cosas a un nivel muy bajo — hasta el lenguaje ensamblador y el código binario — para entender cómo funciona y tratar de usarlo para lograr un objetivo para el cual no fue necesariamente diseñado".

El inconveniente de este enfoque es que es muy práctico y lleva mucho tiempo. "Para cada nueva GPU, dedicaremos varias semanas o incluso meses a profundizar en los detalles y realizar investigaciones de ingeniería sobre ese hardware". Con un equipo de 11 personas, esto limita la cantidad de chips con los que Kog puede trabajar, al menos en el futuro cercano.

A largo plazo, Kog espera alimentar su metodología en pipelines basados en agentes que le permitirán soportar más chips y modelos. A medida que Europa busca construir su propia capacidad en esos dos frentes, esto podría añadir vientos de soberanía para la startup, que ya cuenta con el apoyo de Scaleway y respaldada por el programa de Bpifrance y French Tech 2030.

Por ahora, sin embargo, Kog necesita demostrar al mundo que su enfoque funciona con los LLMs. Esto también será clave para asegurar más financiamiento. "Una vez que hayamos implementado nuestro primer modelo importante a 10x de velocidad, lo cual creo que será en septiembre, podremos comenzar a demostrar tracción con los clientes y a partir de ahí, levantar nuestra Serie A", afirmó Delalleau.