La IA impulsa la producción científica, pero la calidad se resiente

Desde la llegada de herramientas de inteligencia artificial como ChatGPT a finales de 2022, muchos investigadores comenzaron a notar un aumento en su productividad. Sin embargo, esta mejora ha traído consigo un fenómeno preocupante: un incremento en la cantidad de artículos bien redactados que, a menudo, no aportan un valor científico significativo.

Un estudio reciente de Cornell University reveló que el uso de modelos de lenguaje grandes (LLMs) como ChatGPT ha permitido a los científicos, especialmente aquellos que no son hablantes nativos de inglés, aumentar su producción de artículos. Sin embargo, este aumento en la cantidad de publicaciones ha dificultado la tarea de los revisores y editores para distinguir entre investigaciones de calidad y trabajos de bajo valor.

El estudio, titulado "Producción científica en la era de los modelos de lenguaje grandes", fue publicado el 18 de diciembre en la revista Science. Según el autor principal, Yian Yin, profesor asistente de ciencia de la información, este cambio en la producción científica es un patrón generalizado que afecta a diversas disciplinas científicas, desde las ciencias físicas hasta las biológicas y sociales.

Para analizar el impacto de los LLMs en la publicación científica, el equipo de Yin recopiló más de 2 millones de artículos publicados entre enero de 2018 y junio de 2024 en plataformas de preprints como arXiv, bioRxiv y Social Science Research Network (SSRN). Compararon artículos que se presume fueron escritos por humanos con aquellos generados por IA, desarrollando un modelo para identificar los textos que probablemente contaron con la asistencia de LLMs.

Los resultados mostraron un aumento claro en la productividad de los científicos que utilizaron LLMs. En arXiv, aquellos identificados como usuarios de LLMs publicaron aproximadamente un 33% más de artículos, mientras que en bioRxiv y SSRN, el incremento superó el 50%. Este aumento fue más notable entre los investigadores que escriben en inglés como segundo idioma, quienes enfrentan mayores desafíos al comunicar su trabajo técnico en un idioma extranjero.

Además, el estudio destacó que el uso de herramientas de búsqueda impulsadas por IA, como Bing Chat, podría ampliar la diversidad de las referencias citadas por los investigadores, lo que podría fomentar ideas más creativas. Sin embargo, el uso de LLMs también ha generado un nuevo problema para la revisión por pares y la evaluación de la investigación.

A pesar de que los artículos escritos por humanos con un lenguaje más complejo suelen ser bien recibidos por las revistas, los trabajos que parecen haber sido asistidos por LLMs, aunque también complejos, tienen menos probabilidades de ser aceptados. Esto sugiere que la calidad de la escritura ya no es un indicador confiable del valor científico.

Yin advirtió que esta brecha entre la calidad de la escritura y el valor de la investigación podría tener consecuencias graves, dificultando la identificación de las contribuciones más valiosas y afectando las decisiones de financiación y apoyo a la ciencia.

El equipo de investigación planea continuar su trabajo, buscando establecer relaciones de causa y efecto mediante experimentos controlados. Además, Yin organizará un simposio en el campus de Ithaca del 3 al 5 de marzo de 2026, donde se explorará cómo la IA generativa está transformando la investigación y cómo los científicos y responsables de políticas pueden guiar estos cambios.

Con la creciente adopción de la IA en la escritura y la generación de ideas, Yin anticipa que su influencia seguirá expandiéndose, convirtiendo a estos sistemas en una especie de co-científico. A medida que la tecnología avanza, los responsables de políticas deberán actualizar las normativas para mantenerse al día con estos cambios.