Los chatbots de IA generan un conocimiento más superficial que la búsqueda web

Un reciente estudio demostró que aprender sobre un tema mediante la interacción con chatbots de inteligencia artificial (IA), como ChatGPT, resulta en un conocimiento más superficial en comparación con el uso de enlaces proporcionados por búsquedas en la web. Los consejos derivados de este conocimiento superficial tienden a ser más escasos, menos originales y menos propensos a ser adoptados por otros.

La investigación, publicada en PNAS Nexus, fue realizada por Shiri Melumad y Jin Ho Yun, quienes llevaron a cabo siete experimentos con miles de participantes en línea. Estos participantes fueron asignados aleatoriamente para aprender sobre diversos temas, como cómo plantar un huerto de verduras, llevar un estilo de vida más saludable o cómo lidiar con estafas financieras, utilizando ya sea modelos de lenguaje grandes (LLMs) o enlaces de búsqueda tradicionales de Google.

Los participantes que utilizaron LLMs dedicaron menos tiempo a interactuar con los resultados de búsqueda y reportaron un desarrollo de conocimiento más superficial en comparación con aquellos que utilizaron enlaces web, incluso cuando los hechos subyacentes eran idénticos. Al formular consejos, los usuarios de LLMs invirtieron menos esfuerzo y produjeron contenido que era objetivamente más corto, contenía menos referencias fácticas y mostraba una mayor similitud con los consejos de otros participantes.

En un experimento con 1,501 evaluadores independientes, los destinatarios—quienes no sabían de dónde provenía el consejo—evaluaron los consejos escritos tras búsquedas en LLM como menos útiles, menos informativos y menos confiables en comparación con los consejos basados en búsquedas web. Además, mostraron menos disposición a adoptar los consejos derivados de LLM. Aunque los LLM son indudablemente eficientes, depender de resúmenes pre-sintetizados puede transformar el aprendizaje de una búsqueda activa en una actividad pasiva.

Según los autores, los LLM son potencialmente menos útiles que la búsqueda web si el objetivo es desarrollar conocimiento procedimental, es decir, una comprensión de cómo realizar realmente las cosas.

Temas