Niv-AI emerge del sigilo y promete optimizar el rendimiento de las GPUs

Niv-AI, una start-up originaria de Tel Aviv, hizo su debut público tras asegurar una ronda de financiamiento semilla de $12 millones. Su objetivo principal es abordar un problema crítico que enfrentan los centros de datos: la gestión de picos de energía generados por las unidades de procesamiento gráfico (GPUs) durante sus operaciones.

Durante la conferencia anual GTC de Nvidia, su CEO, Jensen Huang, destacó la preocupación por el desperdicio de energía en las instalaciones que operan con inteligencia artificial. "Hay tanto poder derrochado en estas fábricas de IA. Cada vatio no utilizado es un ingreso perdido", comentó Huang, enfatizando la necesidad de soluciones efectivas.

La tecnología de Niv-AI incluye sensores avanzados que miden el uso de energía de las GPUs en milisegundos, lo que permite a los centros de datos gestionar mejor su relación con la red eléctrica. Esto es crucial ya que los centros deben evitar ser sobrecargados por demandas de energía excesivas, lo que puede llevar a restricciones en el uso de las GPUs y, por ende, a una reducción en el retorno de inversión.

La compañía fue fundada el año pasado por Tomer Timor y Edward Kizis, y cuenta con el respaldo de varios inversores, incluyendo Glilot Capital y Grove Ventures. Aunque no revelaron su valoración, el interés en su tecnología es evidente.

Con el uso creciente de GPUs en el entrenamiento de modelos avanzados, los centros de datos enfrentan desafíos significativos. Los picos de energía ocurren cuando las GPUs cambian entre tareas de computación y comunicación, complicando aún más la gestión de su consumo energético.

La solución de Niv-AI busca no solo ayudar a los centros de datos a utilizar más GPUs, sino también a crear perfiles de consumo de energía más responsables entre estos y la red eléctrica. "El sistema eléctrico teme que los centros de datos consuman demasiada energía en un momento dado", explicó Timor. "Nuestro enfoque es abordar ambos lados de este problema, optimizando el uso de las GPUs y garantizando un consumo de energía más eficiente".

La empresa planea tener su sistema operativo en varios centros de datos de EE.UU. en un plazo de seis a ocho meses. Esto es especialmente atractivo para los grandes proveedores de servicios en la nube que enfrentan desafíos en la construcción de nuevas instalaciones debido a problemas de uso de tierras y cadenas de suministro.

El primer paso de Niv-AI incluye la implementación de sensores en racks para detectar el consumo de energía de las GPUs. Su objetivo es comprender los perfiles de energía específicos de diferentes tareas de aprendizaje profundo y desarrollar técnicas que permitan a los centros de datos aprovechar mejor su capacidad existente.

La visión a largo plazo de Niv-AI es convertirse en una capa de inteligencia entre los centros de datos y la red eléctrica, facilitando una gestión más eficiente de los recursos energéticos.

Temas