La gran brecha en las búsquedas: diferencias entre IA y motores tradicionales

El uso de internet ha cambiado drásticamente en las últimas décadas, especialmente en la forma en que buscamos información. Durante más de 30 años, los motores de búsqueda han proporcionado listas clasificadas de enlaces en respuesta a nuestras consultas, lo que requería que los usuarios buscaran entre ellos para encontrar lo que necesitaban. Sin embargo, en la actualidad, los motores de búsqueda más importantes utilizan herramientas de IA generativa para ofrecer respuestas coherentes y resumidas, a menudo acompañadas de algunos enlaces. Un reciente estudio realizado por investigadores de la Universidad de Ruhr Bochum y el Instituto Max Planck para Sistemas de Software analizó estas dos metodologías para determinar qué se está ganando y qué se está perdiendo en este cambio.

Para llevar a cabo esta investigación, los científicos compararon el motor de búsqueda tradicional de Google con cuatro motores de búsqueda generativa: Google AI Overview (AIO), Gemini, GPT-4o-Search y GPT-4o con Search Tool. Se realizaron miles de consultas abarcando seis áreas principales, incluyendo conocimiento general, política, ciencia y compras.

Los investigadores realizaron una comparación detallada de los dos estilos de búsqueda basándose en tres métricas clave. Primero, analizaron la diversidad de fuentes, verificando los sitios web utilizados por la IA en comparación con los enlaces principales del método tradicional. En segundo lugar, midieron la dependencia del conocimiento, evaluando cuánto confiaba la IA en su propia memoria interna en lugar de buscar información actualizada en la web. Por último, examinaron la cobertura conceptual para determinar si las respuestas finales de la IA abarcaban una gama más amplia de ideas que los resultados de búsqueda tradicionales.

Los resultados del estudio, publicados en el servidor de preimpresión arXiv, revelaron diferencias claras entre ambos enfoques. La IA tiende a extraer información de un conjunto más diverso de sitios web en comparación con las búsquedas tradicionales, aunque los enlaces utilizados por la IA a menudo no se encontraban entre los resultados más destacados. Sin embargo, esto no implica que las respuestas de la IA sean más completas. De hecho, en muchos casos, no lo eran.

Los autores del estudio señalaron que "las diferencias en la selección de fuentes y el uso del conocimiento interno pueden cambiar sutilmente las perspectivas y los hechos a los que los usuarios están expuestos, incluso cuando la cobertura general del tema parece similar". Además, las respuestas de la IA tendieron a ser menos estables a lo largo del tiempo, cambiando significativamente después de dos meses.

Los investigadores también notaron variaciones entre los modelos de IA. Por ejemplo, GPT-4o con Search Tool dependía más de su memoria interna, mientras que Google AI Overview y Gemini extraían constantemente información de un conjunto más amplio y actualizado de sitios externos.

En general, el equipo no llegó a una conclusión sobre cuál de los dos tipos de búsqueda era mejor, aunque se identificó un claro intercambio al utilizar IA. Los usuarios reciben una respuesta diversa y resumida, pero pierden la fiabilidad de las fuentes y la consistencia de los resultados que ofrecen las búsquedas tradicionales. Los autores enfatizaron la necesidad de nuevos estándares y métricas para evaluar adecuadamente las respuestas proporcionadas por la IA.