Vals, respaldada por Andreessen Horowitz, busca ser el estándar en evaluación de IA

Vals AI, una startup emergente, se posicionó como una referencia en la evaluación de modelos de inteligencia artificial (IA) en un entorno saturado de nuevas tecnologías. Fundada en 2024, la empresa ha logrado captar la atención del sector tras recibir una inversión de 40 millones de dólares en una ronda de financiamiento liderada por Andreessen Horowitz.

En un contexto donde la evaluación de modelos de IA se ha vuelto crucial para las empresas que buscan destacar en el mercado, Vals busca implementar un sistema más eficaz y confiable que los existentes. La startup se ha percatado de que muchos sistemas de evaluación tradicionales no logran medir adecuadamente las capacidades de los modelos modernos.

El cofundador de Vals, Rayan Krishnan, de solo 25 años, destacó que la compañía nació de la necesidad de contar con métodos de evaluación que realmente reflejen el rendimiento de los modelos en situaciones prácticas. "Observamos que muchos modelos nuevos y altamente capaces ingresan al mercado, pero los benchmarks académicos no se adaptan a estos avances", comentó Krishnan.

Vals se diferencia al no hacer públicos sus materiales de evaluación específicos, lo que evita que las empresas entrenen sus modelos para "hacer trampa" en las pruebas. En lugar de evaluar el conocimiento general de un modelo, Vals se centra en su capacidad para realizar tareas complejas en industrias específicas, como la ley, la finanza y la programación.

"Nuestro enfoque es analizar los impactos reales de los modelos", explicó Krishnan. "Queremos saber si pueden generar resultados de calidad comparable a los de un humano en cada dominio".

La startup no solo se limita a evaluar el rendimiento positivo de los modelos, sino que también investiga las posibles consecuencias negativas de su uso. "Si estos modelos operaran sin restricciones en el mundo, ¿cuáles serían las implicaciones negativas?", se preguntó Krishnan.

Además, Vals ha comenzado a explorar áreas novedosas en la evaluación de IA, incluyendo la mejora recursiva, la salud mental, la ciberseguridad y la aplicación de la Convención de Ginebra en contextos de conflicto armado.

La empresa cobra a las compañías por sus servicios de evaluación, un concepto que puede resultar extraño, pero que permite a las empresas identificar áreas de mejora en sus modelos. Krishnan compara este modelo de ingresos con el de los estudiantes que pagan a la College Board para presentar el SAT.

A medida que Vals continúa creciendo, la compañía planea expandir su equipo de ocho a entre diez y quince personas y trasladarse a una oficina más grande. Recientemente, también lanzó un programa para ofrecer evaluaciones de modelos a agencias federales.

Krishnan considera que el sistema de evaluación de Vals es el futuro de cómo las empresas de IA deben pensar sobre su crecimiento y la confianza pública. "Las empresas de IA están comenzando a salir a bolsa. SpaceX ya lo hizo, y Anthropic planea hacerlo pronto. A medida que los modelos de IA se integren en la economía, los tipos de evaluaciones que realizamos serán fundamentales para su uso y para cómo estas empresas presenten sus informes públicos", concluyó.

Temas