Expertos desmienten que Kimi K3 haya copiado el modelo Fable de Anthropic

El asesor científico de la Casa Blanca, Michael Kratsios, mencionó que Moonshot, la compañía detrás de Kimi K3, el mayor modelo de lenguaje de peso abierto, construyó su modelo copiando el LLM Fable de Anthropic, utilizando chips que no están autorizados para exportación a China.

"La destilación industrial a gran escala, encubierta y destinada a robar tecnología estadounidense y socavar la investigación americana es inaceptable", declaró Kratsios, en medio de discusiones sobre la posible prohibición de modelos de peso abierto chinos que han agitado el sector de la IA. Moonshot no respondió a las preguntas sobre su proceso de entrenamiento, y Kratsios no compartió más detalles sobre las fuentes de sus acusaciones.

El tweet de Kratsios resonó con los comentarios del Secretario del Tesoro, Scott Bessent, quien dijo que "encontramos marcas de agua de nuestros modelos de lenguaje en muchos de los modelos chinos, y eso es inaceptable". No está claro en qué consisten esas marcas de agua, y el Departamento del Tesoro no respondió a una consulta.

Sin embargo, los expertos son escépticos de que la destilación, el proceso de interrogar a un LLM para determinar su funcionamiento interno y copiar sus capacidades, sea responsable de las avanzadas capacidades que muestra Kimi K3.

"No creo que se obtenga un modelo tan fuerte y tan rápido solo a partir de la destilación de Fable", afirmó Braden Hancock, investigador del Laude Institute y cofundador de Snorkel AI, en una entrevista con TechCrunch. "Simplemente no hay tiempo. Fable solo ha estado disponible públicamente desde el 1 de julio. No se puede destilar tanto dato, entrenar un modelo y lanzarlo en dos semanas".

"He sostenido que la destilación se está volviendo cada vez menos impactante a medida que los modelos chinos se acercan a la frontera y el régimen de entrenamiento cambia a [aprendizaje por refuerzo]", dijo Nathan Lambert, investigador de IA en el Allen Institute for AI, en un podcast lanzado ayer. "Si fuera el caso, todos podrían alcanzar fácilmente a un GLM o a un K3 utilizando sus datos para la destilación. Pero no lo hemos visto, o no lo veremos, solo con el ajuste fino supervisado".

Realizar la destilación requiere un laboratorio para interrogar sistemáticamente a su modelo objetivo a fin de generar datos que se puedan utilizar para el post-entrenamiento. A veces, esto implica pedir explícitamente al modelo que articule su cadena de pensamiento para entender cómo resuelve problemas. Otras veces, los mensajes y respuestas de un modelo se utilizan para entrenar un nuevo modelo en un proceso llamado ajuste fino supervisado, o SFT.

Es este proceso de ajuste fino el que puede dar como resultado un modelo que supuestamente fue creado por un tercero que afirma que es Claude. Según Lambert, es en el ajuste fino donde el "modelo adquiere sus modales".

Sin embargo, Lambert afirma que los beneficios del SFT se están volviendo menos importantes a medida que los modelos se vuelven más complejos. Para destilar capacidades similares a las de Fable, probablemente se requerirían técnicas de aprendizaje por refuerzo. En muchos casos, eso significa tener un agente del modelo más grande que califique las respuestas del modelo más pequeño y ajuste según la calificación.

Las técnicas más avanzadas también requieren infraestructura significativa. Las grandes ejecuciones de aprendizaje por refuerzo pueden requerir decenas de millones de agentes. Utilizar la API de un laboratorio fronterizo para hacer eso "sería increíblemente caro y, potencialmente, sería un cuello de botella de tiempo porque estos modelos son bastante lentos y, para ser francos, podrían no darte un aumento de rendimiento".

Es probable que modelos fronterizos anteriores hayan contribuido a Kimi; Anthropic acusó públicamente a Moonshot, DeepSeek y MiniMax de destilar sistemáticamente sus modelos a principios de este año. Anthropic dijo que descubrió millones de intercambios entre sus modelos y usuarios que identificó en esas empresas a través de direcciones IP y otros metadatos. Esas consultas eran "distintas de los patrones de uso normales, reflejando una extracción deliberada de capacidades en lugar de un uso legítimo". Anthropic no respondió a las consultas de TechCrunch sobre la destilación de Fable.

Sin embargo, la destilación se considera común entre las empresas de IA, no solo en China. Elon Musk declaró a principios de este año que su empresa SpaceXAI destiló modelos de OpenAI para desarrollar Grok, y que esta práctica es común en la industria. La línea entre destilación y desarrollo de conjuntos de datos sintéticos, por ejemplo, puede ser bastante difusa.

"En general, los estadounidenses están subestimando la experiencia técnica de estos equipos chinos", dijo Hancock. "Uno de los fundadores de Moonshot fue un estudiante de doctorado en CMU. Estos son investigadores y ingenieros legítimos que hacen un trabajo sólido. Si los modelos americanos se detuvieran, creo que el progreso de China se ralentizaría, pero aún continuaría. No solo están aprovechando el trabajo de otros".

También es difícil separar la destilación de la segunda parte del comentario de Kratsios: que Moonshot había obtenido chips avanzados de Nvidia, Grace Blackwell 300s, y también había accedido a servidores equipados con GB300 en Tailandia. Esos chips están prohibidos para la exportación a China, pero existe un mercado negro, según Sam Bresnick, investigador del Georgetown Center for Security and Emerging Technology. En mayo, el fundador de Supermicro, un fabricante de servidores estadounidense, fue acusado de contrabando de chips avanzados a China.

"Soy un defensor de las leyes de conocimiento del cliente para los centros de datos en todo el mundo", dijo Bresnick. "Si estás permitiendo que una empresa realice grandes ejecuciones de entrenamiento en tu hardware de última generación, debe haber un mecanismo de reporte sobre quién es esa empresa y qué están haciendo".

El Departamento de Comercio del presidente Joe Biden propuso reglas federales de conocimiento del cliente para centros de datos en 2024, pero no parece que se haya avanzado más bajo la administración de Donald Trump. Sin embargo, los exportadores que envían chips avanzados al extranjero se supone que deben garantizar que solo se utilicen para fines aprobados.

Temas