El estado del web scraping y anti-bot 2026
Escaneamos los 1 a 10 millones de sitios más populares: 53.5% corre un muro anti-bot, 9.33% bloquea crawlers de IA, y 14.1% está muerto.
Cada año un nuevo reporte te dice que los bots son ya la mayor parte del tráfico web. Ese número es real, pero solo describe un lado de la relación. Nosotros quisimos el otro lado: no cuánto del tráfico es automatizado, sino cuánta de la web misma está hoy construida para mantener afuera a los clientes automatizados.
Así que en junio de 2026 corrimos tres escaneos a escala poblacional — el Índice de Adopción Anti-Bot, el Índice de Bloqueo de Crawlers de IA y el Índice de la Web Muerta — sobre los 1 a 10 millones de sitios más populares. Leídos en conjunto, describen una web que se vuelve medible y crecientemente más difícil de leer para una máquina. Aquí están los tres hallazgos; el reporte completo tiene los gráficos, la metodología y los datos abiertos.
1. La web se está amurallando
De 998,497 sitios en el top 1M de Tranco, 818,614 fueron alcanzables, y el 53.5% de esos corre un muro anti-bot o WAF administrado. Cloudflare por sí solo representa cerca del 45% de la web alcanzable y el 84% de todo sitio protegido.
La parte contraintuitiva es el gradiente. Los sitios más populares son los menos propensos a correr un muro de tipo comercial — el top 1,000 se ubica en 44%, la cola larga en 54%. Los gigantes no están desprotegidos; corren gestión de bots empresarial a la medida (DataDome, Akamai, PerimeterX), que se reduce de ~7.6% en la cabeza a 0.6% en la cola. La adopción comercial de Cloudflare sube en la dirección contraria.
| Rango de tráfico | Corre un muro administrado | Cloudflare | Gestión de bots empresarial |
|---|---|---|---|
| Top 1K | 44.2% | 23.4% | 7.58% |
| 1K–10K | 50.7% | 34.0% | 5.29% |
| 10K–100K | 52.3% | 40.2% | 2.55% |
| 100K–1M | 53.6% | 45.6% | 0.60% |
Por extensión, la dispersión es aún mayor: la web anglófona es la más amurallada (.us 89%), la web de Asia Oriental la más abierta (.kr 11%) — un rango de ocho veces.
2. Los crawlers de IA se filtran de forma selectiva
Pese a los titulares sobre editores bloqueando IA, solo el 9.33% del top 1M bloquea por completo al menos un crawler de IA importante en robots.txt (14.8% de los sitios que publican un robots.txt siquiera). Y el bloqueo es deliberado: los sitios excluyen mucho más a los crawlers que entrenan modelos que a los agentes que devuelven lectores.
GPTBot de OpenAI lidera con 7.4%, pero CCBot de Common Crawl — el corpus abierto del que la mayoría de los modelos se entrena indirectamente — está casi empatado con 7.23%. Los agentes de búsqueda y asistentes de IA que generan tráfico de referencia apenas se bloquean.
| Crawler de IA | Propósito | Sitios que bloquean por completo |
|---|---|---|
| GPTBot (OpenAI) | Entrenamiento | 7.40% |
| CCBot (Common Crawl) | Entrenamiento | 7.23% |
| Bytespider (ByteDance) | Entrenamiento | 6.77% |
| ClaudeBot (Anthropic) | Entrenamiento | 6.69% |
| Google-Extended | Entrenamiento | 6.28% |
| ChatGPT-User (OpenAI) | Asistente de IA | 1.59% |
| PerplexityBot | Búsqueda de IA | 1.29% |
A diferencia de los muros anti-bot, el bloqueo de IA se concentra en la cabeza — los sitios más visitados y con más contenido — y lo lideran los medios de noticias, que bloquean en cerca del 81%.
3. La web muerta está sobreestimada
Probablemente hayas visto la estadística de que un cuarto de la web ha desaparecido. Nosotros sondeamos los 10 millones de dominios más populares (9.99M alcanzados, 99.95% de cobertura) y obtenemos 14.1% genuinamente muerto — cerca de la mitad de la cifra habitual.
La brecha está en el método. Un crawler ingenuo cuenta un 403, un 429 o un 404 servido como muerte, pero esos sitios están vivos y simplemente bloquean bots (8.9% responde pero bloquea), o están mal configurados. La muerte real es el DNS: el 76% de los dominios muertos ya no resuelve en absoluto. Y es un fenómeno de cola — el 99.8% de los dominios muertos están por debajo del rango 100,000, así que ponderada por tráfico la web muerta se acerca más al 3%.
| Resultado | Proporción | Qué significa |
|---|---|---|
| Vivo | 76.6% | responde con contenido utilizable |
| Muerto | 14.1% | DNS caído o sin servidor (76% ya no resuelve) |
| Bloqueado | 8.9% | responde pero bloquea bots (403 / 429) |
| Redirección | 0.3% | redirige fuera del dominio original |
Qué significa esto
La web abierta no está muriendo. Está profesionalizando sus defensas, filtrando la IA de forma selectiva y decayendo en la cola. Para cualquiera que construya sobre datos web públicos, la lección práctica es la misma que señalan los tres escaneos: la recolección confiable ahora depende de manejar los muros, no solo de obtener páginas — porque más de la mitad de la web está hoy detrás de uno.
El reporte completo tiene todos los gráficos y la metodología, y los tres conjuntos de datos están abiertos bajo CC BY 4.0 a través de los índices Anti-Bot, Crawlers de IA y Web Muerta.
Preguntas frecuentes
How much of the web runs anti-bot protection in 2026?
In an independent June 2026 scan of the Tranco top 1 million sites (998,497 scanned, 818,614 reachable), 53.5% of reachable sites run a managed anti-bot or WAF wall, and Cloudflare alone is about 84% of every protected site. Protection rises as you go down the ranking: 44% of the top 1,000 versus 54% of the 100K to 1M band, because the largest sites use enterprise bot-management instead of a commodity wall.
Which AI crawlers do websites block the most?
GPTBot (OpenAI) is the single most-blocked at 7.4% of all top-1M sites, with Common Crawl's CCBot a near-tie at 7.23%. Overall only 9.33% of sites block at least one major AI crawler. Training crawlers are blocked roughly 5 times more than the AI-search and assistant agents (PerplexityBot, ChatGPT-User, OAI-SearchBot) that send referral traffic back.
How much of the web is actually dead?
14.1% of the top 10 million domains are genuinely dead, far below the often-cited 27.6% from naive crawls. The difference is method: a 403, a 429, or a served 404 is alive-but-blocking (8.9% answer but block bots) or misconfigured, not dead. True death is overwhelmingly DNS failure: 76% of dead domains no longer resolve at all.
How is this different from the Imperva, HUMAN, or Cloudflare bot reports?
Those reports measure bot traffic volume, the share of requests that come from bots (around 53% of all traffic). This report measures the opposite side of the ledger: the web's defensive posture and reachability, site by site, across the top 1 to 10 million domains. It answers how much of the web is walled, AI-gated, or gone, rather than how much traffic is automated.