Las empresas buscan alternativas de IA más económicas ante el declive del 'tokenmaxxing'

La tendencia corporativa del "tokenmaxxing" en el ámbito de la inteligencia artificial (IA) se encuentra en un punto de inflexión. Las empresas que han integrado IA en sus operaciones están enfrentando un aumento en los costos sin una mejora notable en la productividad. Esta situación ha generado una reevaluación de cómo se aplica la IA en el entorno laboral.

Lo que inicialmente se consideró una oportunidad emocionante para maximizar la producción mediante herramientas como ChatGPT de OpenAI y Claude de Anthropic, ha comenzado a dar lugar a una reacción más cautelosa. Durante el verano, se ha evidenciado un cambio de perspectiva en la forma en que las organizaciones ven el uso intensivo de la IA.

El concepto de "tokenmaxxing" se refiere a la práctica de maximizar el uso de tokens, que son las unidades de procesamiento de texto que los sistemas de IA utilizan para generar respuestas. Cada token representa aproximadamente tres cuartos de una palabra, y existen límites en la cantidad que se pueden utilizar, lo que lleva a las empresas a optar por versiones más costosas de estos servicios.

"A medida que las facturas comenzaron a acumularse, las organizaciones se dieron cuenta de que estas nuevas herramientas son bastante costosas y deben ser utilizadas con más prudencia", indicó Vincent Gusdorf, jefe de analítica de IA en Moody’s Ratings, quien aboga por un enfoque más disciplinado en la implementación de la IA.

En un giro notable, lo que antes era visto como un signo de éxito, el alto consumo de tokens, ahora se considera potencialmente insostenible. A inicios de este año, ejecutivos de Silicon Valley promovían la idea de que un mayor uso de tokens era sinónimo de empleados de alto rendimiento, pero ahora muchos están reconsiderando esta estrategia.

El CEO de OpenAI, Sam Altman, expresó su interés en observar cómo las startups de tokenmaxxing evolucionan, tanto en sus operaciones internas como en los productos que desarrollan. Sin embargo, el CEO de Nvidia, Jensen Huang, afirmó que si un ingeniero de alto costo no está utilizando una cantidad significativa de tokens, es señal de que algo no funciona correctamente.

Sin embargo, esta percepción ha comenzado a cambiar. Satya Nadella, CEO de Microsoft, reconoció que el uso excesivo de tokens puede ser problemático, advirtiendo que los clientes están pagando dos veces por la IA: una vez en tokens y otra al proporcionar sus datos a estos sistemas. Estas declaraciones han generado un debate sobre el valor real que las empresas obtienen de la IA.

Adicionalmente, Alex Karp, CEO de Palantir, ha señalado que muchas empresas están frustradas por los altos costos asociados al tokenmaxxing, argumentando que no están recibiendo el valor esperado por su inversión.

En este contexto, las empresas están buscando formas más efectivas de utilizar la IA. Jue Wang, consultora de Bain & Company, destacó que muchas grandes organizaciones están reevaluando sus retornos de inversión en IA, ya que los costos de los tokens han aumentado significativamente.

Las organizaciones están explorando un enfoque de "enrutamiento de modelos", donde las consultas simples son dirigidas a sistemas más económicos, mientras que las tareas más complejas son enviadas a modelos más avanzados. Esto implica un uso más estratégico de los recursos de IA, buscando maximizar la eficiencia y reducir costos.

Además, el surgimiento de modelos de código abierto de empresas chinas, como Kimi y GLM, ofrece alternativas más asequibles que casi igualan las capacidades de los modelos de IA más costosos de EE.UU. Esto ha llevado a muchas empresas a reconsiderar su estrategia de inversión en IA.

En conclusión, el entusiasmo inicial por el tokenmaxxing se está desvaneciendo, dando paso a un enfoque más pragmático y eficiente en el uso de la inteligencia artificial. La industria parece estar aprendiendo de los desafíos que ha enfrentado, buscando un equilibrio entre costo y productividad.

Temas