Cazadores de datos: cómo los scrapers de IA afectan a los sitios web

Un enjambre de "crawlers" de IA se ha desatado en internet, escaneando miles de millones de sitios web en busca de datos para alimentar algoritmos de empresas tecnológicas líderes, todo sin autorización ni compensación, lo que está alterando la economía digital.

Antes del auge de los chatbots de IA, los sitios web permitían a los motores de búsqueda acceder a su contenido a cambio de mayor visibilidad, un sistema que les otorgaba tráfico y ingresos publicitarios. Sin embargo, el rápido desarrollo de la IA generativa ha permitido a gigantes tecnológicos como Google y OpenAI recolectar información para sus chatbots mediante crawlers web, sin que los humanos necesiten visitar los sitios originales.

Los productores de contenido tradicionales, como los medios de comunicación, están siendo superados por estos crawlers de IA, que han afectado sus operaciones en línea y sus ingresos publicitarios. "Los sitios que permitieron a los bots acceder a su contenido solían recibir lectores a cambio", comentó Kurt Muehmel, jefe de estrategia de IA en la firma de gestión de datos Dataiku.

Sin embargo, la llegada de la IA generativa "rompe completamente" ese modelo, agregó Muehmel. El tráfico de internet de Wikipedia cayó un ocho por ciento entre 2024 y 2025 debido al aumento de los resúmenes de búsqueda generados por IA, informó la enciclopedia en línea el mes pasado.

"La tensión fundamental es que el nuevo negocio de internet impulsado por IA no genera tráfico", afirmó Matthew Prince, CEO de Cloudflare, un proveedor de servicios de internet estadounidense.

"No pasarás"

Cloudflare, que procesa más del 20% de todo el tráfico de internet, anunció este verano una nueva medida destinada a bloquear a los crawlers de IA de acceder a contenido sin el pago o permiso de los propietarios de los sitios web.

"Es básicamente como poner un cartel de límite de velocidad o un cartel de 'no pasar'", dijo Prince a AFP en el marco de la Web Summit en Lisboa. "Los bots que se comportan mal pueden eludir eso, pero podemos rastrearlos... Con el tiempo, podemos ajustar estos controles de una manera que estemos seguros de que las empresas de IA no pueden eludir".

La medida, que se aplica a más de 10 millones de sitios web, ya ha "atraído la atención de los gigantes de la inteligencia artificial", agregó.

A menor escala, la startup estadounidense TollBit está proporcionando a los editores de noticias en línea herramientas para bloquear, monitorear y monetizar el tráfico de crawlers de IA. "Internet es una autopista", dijo Toshit Panigrahi, CEO y cofundador de la empresa, quien describió a la compañía como un "peaje en internet".

TollBit trabaja con más de 5,600 sitios, incluidos USA Today, Time y Associated Press, permitiendo a los medios de comunicación establecer sus propias tarifas de acceso para su contenido. Las analíticas son gratuitas para los editores, pero las empresas de IA deben pagar una "tarifa de transacción por cada pieza de contenido a la que acceden".

Sin embargo, para Muehmel, la toma de control en línea por parte de los crawlers de IA no puede resolverse solo con "medidas parciales o por una empresa individual". "Esta es una evolución de toda la economía de internet, que tomará años", afirmó.

Si el enjambre de bots continúa merodeando libremente en línea, "todos los incentivos para la creación de contenido desaparecerán", advirtió Prince. "Eso sería una pérdida, no solo para nosotros los humanos que queremos consumirlo, sino también para las empresas de IA que necesitan contenido original para entrenar sus sistemas".