Der Stand von Web Scraping & Anti-Bot 2026
So verteidigt sich das offene Web, gescannt über die Top 1 bis 10 Mio. Sites: 53,5 % haben eine Anti-Bot-Mauer, 9,33 % blockieren AI-Crawler, 14,1 % sind tot.
Jedes Jahr erzählt dir ein neuer Report, dass Bots inzwischen den größten Teil des Web-Traffics ausmachen. Diese Zahl stimmt, aber sie beschreibt nur eine Seite der Beziehung. Uns interessierte die andere: nicht, wie viel des Traffics automatisiert ist, sondern wie viel des Webs selbst heute darauf ausgelegt ist, automatisierte Clients draußen zu halten.
Also haben wir im Juni 2026 drei Scans in Populationsgröße durchgeführt — den Anti-Bot Adoption Index, den AI-Crawler Blocking Index und den Dead-Web Index — über die Top 1 bis 10 Millionen Sites. Zusammengelesen beschreiben sie ein Web, das messbar schwerer maschinell lesbar wird. Hier sind die drei Erkenntnisse; der vollständige Report enthält die Charts, die Methodik und die offenen Daten.
1. Das Web zieht Mauern hoch
Von 998,497 Sites in den Tranco Top 1M waren 818,614 erreichbar, und 53.5% davon betreiben eine gemanagte Anti-Bot- oder WAF-Mauer. Cloudflare allein macht rund 45% des erreichbaren Webs aus und 84% aller geschützten Sites.
Der kontraintuitive Teil ist der Verlauf. Die beliebtesten Sites betreiben am seltensten eine Standard-Mauer — die Top 1,000 liegen bei 44%, der Long Tail bei 54%. Die Giganten sind nicht ungeschützt; sie setzen stattdessen auf maßgeschneidertes Enterprise-Bot-Management (DataDome, Akamai, PerimeterX), das von ~7.6% an der Spitze auf 0.6% im Tail abfällt. Die Standard-Nutzung von Cloudflare klettert in die andere Richtung.
| Traffic-Rang | Betreibt gemanagte Mauer | Cloudflare | Enterprise-Bot-Mgmt |
|---|---|---|---|
| Top 1K | 44.2% | 23.4% | 7.58% |
| 1K–10K | 50.7% | 34.0% | 5.29% |
| 10K–100K | 52.3% | 40.2% | 2.55% |
| 100K–1M | 53.6% | 45.6% | 0.60% |
Im weiteren Sinne ist die Spanne noch größer: Das englischsprachige Web ist am stärksten ummauert (.us 89%), das ostasiatische Web am offensten (.kr 11%) — ein achtfacher Unterschied.
2. AI-Crawler werden gezielt reguliert
Trotz der Schlagzeilen über Publisher, die AI blockieren, blockieren nur 9.33% der Top 1M in ihrer robots.txt auch nur einen einzigen großen AI-Crawler vollständig (14.8% der Sites, die überhaupt eine robots.txt veröffentlichen). Und das Blockieren ist gezielt: Sites sperren die Crawler, die Modelle trainieren, weitaus stärker aus als die Agenten, die Leser zurückschicken.
OpenAIs GPTBot führt mit 7.4%, aber Common Crawls CCBot — der offene Korpus, auf dem die meisten Modelle indirekt trainieren — liegt mit 7.23% fast gleichauf. Die AI-Search- und Assistant-Agenten, die Referral-Traffic bringen, werden kaum blockiert.
| AI-Crawler | Zweck | Sites, die vollständig blockieren |
|---|---|---|
| GPTBot (OpenAI) | Training | 7.40% |
| CCBot (Common Crawl) | Training | 7.23% |
| Bytespider (ByteDance) | Training | 6.77% |
| ClaudeBot (Anthropic) | Training | 6.69% |
| Google-Extended | Training | 6.28% |
| ChatGPT-User (OpenAI) | AI-Assistant | 1.59% |
| PerplexityBot | AI-Search | 1.29% |
Anders als Anti-Bot-Mauern ist das AI-Blocking an der Spitze konzentriert — den meistbesuchten, inhaltsreichsten Sites — und wird von News & Media angeführt, die zu rund 81% blockieren.
3. Das tote Web wird überschätzt
Du hast wahrscheinlich die Statistik gesehen, dass ein Viertel des Webs verschwunden ist. Wir haben alle 10 Millionen beliebtesten Domains geprüft (9.99M erreicht, 99.95% Abdeckung) und kommen auf 14.1% wirklich tot — etwa die Hälfte der üblichen Zahl.
Der Unterschied liegt in der Methode. Ein naiver Crawler zählt einen 403, einen 429 oder einen ausgelieferten 404 als Tod, aber diese Sites sind am Leben und blockieren lediglich Bots (8.9% antworten, aber blockieren) oder sind falsch konfiguriert. Echter Tod ist DNS: 76% der toten Domains lösen überhaupt nicht mehr auf. Und es ist ein Tail-Phänomen — 99.8% der toten Domains liegen unterhalb von Rang 100,000, sodass das tote Web gewichtet nach Traffic eher bei 3% liegt.
| Ergebnis | Anteil | Was es bedeutet |
|---|---|---|
| Am Leben | 76.6% | antwortet mit nutzbarem Inhalt |
| Tot | 14.1% | DNS weg oder kein Server (76% lösen nicht mehr auf) |
| Blockiert | 8.9% | antwortet, blockiert aber Bots (403 / 429) |
| Weiterleitung | 0.3% | leitet weg von der ursprünglichen Domain |
Was das bedeutet
Das offene Web stirbt nicht. Es professionalisiert seine Verteidigung, reguliert AI gezielt und zerfällt am Tail. Für alle, die auf öffentlichen Webdaten aufbauen, ist die praktische Lektion dieselbe, auf die alle drei Scans hindeuten: Zuverlässiges Sammeln hängt heute davon ab, die Mauern zu bewältigen, nicht nur Seiten abzurufen — denn mehr als die Hälfte des Webs steckt inzwischen hinter einer.
Der vollständige Report enthält jeden Chart und die Methodik, und alle drei Datensätze sind unter CC BY 4.0 offen über den Anti-Bot-, AI-Crawler- und Dead-Web-Index.
Häufig gestellte Fragen
Wie viel des Webs betreibt 2026 Anti-Bot-Schutz?
In einem unabhängigen Scan der Tranco Top 1 Million Sites im Juni 2026 (998,497 gescannt, 818,614 erreichbar) betreiben 53.5% der erreichbaren Sites eine gemanagte Anti-Bot- oder WAF-Mauer, und Cloudflare allein stellt rund 84% aller geschützten Sites. Der Schutz steigt, je weiter man im Ranking nach unten geht: 44% der Top 1,000 gegenüber 54% im Band von 100K bis 1M, weil die größten Sites stattdessen auf Enterprise-Bot-Management setzen statt auf eine Standard-Mauer.
Welche AI-Crawler blockieren Websites am häufigsten?
GPTBot (OpenAI) ist mit 7.4% aller Top-1M-Sites der am häufigsten blockierte einzelne Crawler, mit Common Crawls CCBot fast gleichauf bei 7.23%. Insgesamt blockieren nur 9.33% der Sites mindestens einen großen AI-Crawler. Training-Crawler werden rund 5-mal stärker blockiert als die AI-Search- und Assistant-Agenten (PerplexityBot, ChatGPT-User, OAI-SearchBot), die Referral-Traffic zurückschicken.
Wie viel des Webs ist tatsächlich tot?
14.1% der Top 10 Millionen Domains sind wirklich tot, weit unter den oft zitierten 27.6% aus naiven Crawls. Der Unterschied liegt in der Methode: Ein 403, ein 429 oder ein ausgelieferter 404 bedeutet lebendig-aber-blockierend (8.9% antworten, blockieren aber Bots) oder falsch konfiguriert, nicht tot. Echter Tod ist überwiegend DNS-Ausfall: 76% der toten Domains lösen überhaupt nicht mehr auf.
Wie unterscheidet sich das von den Bot-Reports von Imperva, HUMAN oder Cloudflare?
Jene Reports messen das Volumen des Bot-Traffics, den Anteil der Anfragen, die von Bots kommen (rund 53% des gesamten Traffics). Dieser Report misst die andere Seite der Rechnung: die defensive Haltung und Erreichbarkeit des Webs, Site für Site, über die Top 1 bis 10 Millionen Domains. Er beantwortet, wie viel des Webs ummauert, AI-reguliert oder verschwunden ist, statt wie viel Traffic automatisiert ist.