Los financiadores de GPU apuestan por chips de inferencia en un acuerdo de 400 millones de dólares

General Compute, una startup de nube de inferencia AI, aseguró un préstamo de 400 millones de dólares de Upper90, una firma de inversión tecnológica. Este podría ser el primer acuerdo en utilizar chips específicos de inferencia como garantía, diseñados para ejecutar modelos de AI ya entrenados de manera rápida y eficiente, en lugar de los chips más costosos utilizados para construir los modelos originalmente.

Este financiamiento es una señal de que los mercados están respondiendo a las preocupaciones sobre el costo de las herramientas y tokens de AI, optando por infraestructuras que operan modelos de código abierto más económicos que los nuevos LLM de laboratorios de vanguardia.

Fundada por el CEO Finn Puklowski, General Compute recaudó 15 millones de dólares en una ronda semilla en mayo para construir un neocloud de inferencia alrededor de silicio de SambaNova, un fabricante de chips respaldado por Intel. Los neoclouds están diseñados específicamente para cargas de trabajo de AI, a diferencia de la infraestructura de propósito general ofrecida por hiperescaladores tradicionales como AWS o Azure.

Los chips SN50 de la empresa están diseñados para la inferencia. Son eficientes en el uso de energía y no requieren costosos sistemas de refrigeración por agua, lo que significa que pueden ser desplegados más rápidamente que los GPUs en una variedad más amplia de centros de datos. General Compute afirma que los nuevos chips proporcionarán una inferencia 16 veces más rápida que las nubes basadas en GPU.

El desafío es conseguir una gran cantidad de estos chips, especialmente cuando se es una empresa nueva.

El cofundador y CEO de Upper90, Billy Libby, un excomerciante cuantitativo de Goldman Sachs, tenía un plan para esto: en 2021, su firma financió la compra de GPUs por parte de Crusoe, una startup de centros de datos centrada en la energía, que él cree que fue el primer préstamo contra el valor de chips avanzados.

Los prestamistas tradicionales evitaron tales acuerdos en ese momento debido a los riesgos e incertidumbres alrededor de la depreciación de los GPUs. Pero a medida que CoreWeave convirtió los préstamos respaldados por chips en un modelo de negocio y luego en la base de una oferta pública inicial exitosa, este tipo de financiamiento se ha vuelto común.

"Cuando financiamos GPUs de Nvidia como el primer grupo en hacerlo, el mercado era ineficiente", dijo Libby a TechCrunch. "Realmente pudimos armar algo como participantes tempranos y ser compensados por el riesgo".

Ahora que los GPUs son relativamente bien comprendidos y quizás sobrecomprados, Upper90 se dirige a empresas como General Compute para aprovechar la próxima ola del auge de la AI. "Creemos que los modelos de código abierto van a ser importantes, y buscamos un jugador el año pasado que estuviera en inferencia", dijo Libby. "No todos necesitan una supercomputadora, pero sí necesitan inferencia y AI".

Esa tesis se ha fortalecido, con empresas que proporcionan acceso a modelos abiertos, como OpenRouter y Fireworks, recaudando nuevas rondas a grandes valoraciones. Nuevos modelos como Kimi con K3, demostraron recientemente competir con los últimos lanzamientos de Anthropic y OpenAI en benchmarks de codificación. Y nuevos fabricantes de chips como Groq y Cerebras han atraído el interés de adquirentes y mercados públicos.

La capacidad de General Compute para acceder a chips fuera del ecosistema de Nvidia es importante por la misma razón. TensorWave, otra empresa de infraestructura de AI, está haciendo una apuesta similar con una asociación con AMD. A medida que emergen más alternativas a Nvidia, los proveedores de computación que no están atados a acuerdos de Nvidia pueden tener una ventaja en proporcionar inferencia rentable.

"Hay un montón de chips que están comenzando a escalar y que tienen un costo total de propiedad increíble, o que pueden operar mucho más rápido que Nvidia, pero no hay muchos compradores para ellos", dijo Puklowski. "Al juntarnos con Upper90, esto no es solo, 'una startup genial consiguió algo de dinero para comprar computación'. Como, esta es la primera señal de capital organizándose y fragmentando el dominio monopolístico de Nvidia.