Citas ficticias en trabajos de NeurIPS: un nuevo desafío para la IA

GPTZero, una startup dedicada a la detección de inteligencia artificial, realizó un análisis exhaustivo de los trabajos aceptados en la prestigiosa conferencia NeurIPS, que tuvo lugar el mes pasado en San Diego. En su estudio, la empresa identificó un total de 100 citas ficticias en 51 trabajos, lo que ha generado preocupación sobre la integridad de la investigación en el campo de la inteligencia artificial.

Ser aceptado en NeurIPS es considerado un gran logro en el ámbito de la IA, y se esperaría que los investigadores utilizaran modelos de lenguaje para facilitar la tediosa tarea de redactar citas. Sin embargo, el hallazgo de estas citas falsas plantea serias dudas sobre la calidad del trabajo presentado.

A pesar de que 100 citas falsas en 51 trabajos pueden parecer alarmantes, es importante contextualizar estos números. En un total de 4,841 trabajos analizados, la proporción de citas incorrectas es relativamente baja. Cada trabajo suele contener múltiples citas, lo que significa que, estadísticamente, el impacto de estas citas ficticias es mínimo.

Además, es fundamental destacar que una cita incorrecta no invalida necesariamente la investigación presentada en un trabajo. Según declaraciones de NeurIPS a Fortune, "incluso si el 1.1% de los trabajos tiene una o más referencias incorrectas debido al uso de modelos de lenguaje, el contenido de los trabajos en sí no se invalida necesariamente".

A pesar de esto, la existencia de citas falsas no debe ser subestimada. NeurIPS se enorgullece de su compromiso con la publicación académica rigurosa en el ámbito del aprendizaje automático y la inteligencia artificial. Cada trabajo es revisado por múltiples expertos que deben señalar cualquier tipo de hallazgos erróneos.

Las citas son consideradas una forma de moneda en el mundo académico, utilizadas como un indicador del impacto de la investigación. Cuando los modelos de IA generan citas ficticias, se diluye su valor y se pone en riesgo la credibilidad de los investigadores.

La dificultad para detectar estas citas falsas no recae únicamente en los revisores, dado el volumen de trabajos presentados. GPTZero enfatizó que su objetivo era proporcionar datos específicos sobre cómo la IA puede infiltrarse en el proceso de revisión, lo que ha llevado a una "tsunami de presentaciones" que ha puesto a prueba los límites de los sistemas de revisión de estas conferencias.

Un artículo de mayo de 2025 titulado "La crisis de revisión por pares en conferencias de IA" ya había discutido este problema en conferencias de renombre, incluida NeurIPS. La pregunta que surge es: si los expertos en IA no pueden garantizar la precisión de las citas generadas por los modelos de lenguaje, ¿qué significa esto para el resto de los investigadores?

Temas