Wie viel des Webs betreibt Anti-Bot? Wir haben die Top 1.000.000 Sites gescannt

Die meisten »Ich scrape das einfach«-Projekte scheitern nicht am Parsen des HTML. Sie scheitern, wenn sich herausstellt, dass die Seite hinter Cloudflare oder DataDome sitzt und einen völlig anderen Ansatz braucht als den, den du gebaut hast. Also haben wir gemessen, wie häufig das tatsächlich ist — zweimal. Wir haben die gesamten Tranco Top 1.000.000 gescannt, um das Bild in Web-Größe zu bekommen, und dann 1.005 echte, öffentliche Sites aus 28 Kategorien handverlesen — die Art von Sites, die Leute tatsächlich scrapen — und die komplette Transport-Flotte dagegen laufen lassen. Die Kurzfassung: knapp über die Hälfte des erreichbaren Webs betreibt managed Bot-Abwehr, sie konzentriert sich auf einen einzigen Anbieter, die meistbesuchten Sites betreiben davon am wenigsten, und die Schwierigkeit ist extrem ungleich verteilt.

Der vollständige, durchsuchbare Datensatz — jede Site, filterbar nach Anbieter, Schwierigkeit und Kategorie — liegt im Anti-Bot Adoption Index.

Wie viel des Webs betreibt einen Anti-Bot oder eine WAF?

Über die gesamten Top 1.000.000 haben wir 818.614 Sites erreicht (der Rest war nicht auflösbar, hat einen Timeout ausgelöst oder unseren Datacenter-Standort direkt blockiert — etwa 18%, aus den Prozentwerten ausgeschlossen). Von den erreichten Sites legen 53,5% eine managed WAF, ein Bot-Management oder einen Access-Control-Anbieter offen — ein CAPTCHA-Widget oder reines Rate-Limiting allein nicht mitgezählt:

Das ist kein fragmentierter Markt. Cloudflare allein deckt 45% jeder erreichbaren Site ab — 84% aller geschützten Sites — und die nächstgrößere namentlich genannte Schicht sind Consumer-CAPTCHA-Widgets. Die reinen Bot-Management-Anbieter fallen in Web-Größe kaum ins Gewicht: Akamai Bot Manager 0,6%, DataDome 0,16%, PerimeterX/HUMAN 0,09%.

Cloudflare45%

Consumer-CAPTCHA (reCAPTCHA / hCaptcha / Turnstile)12.7%

Akamai Bot Manager0.6%

DataDome0.16%

PerimeterX (HUMAN)0.09%

Diese Zahlen decken sich mit unabhängigen Messungen. W3Techs (Juni 2026) setzt Cloudflare auf 23,2% aller Websites und rund 48,7% der Top 1M — wir finden seine aktive Anti-Bot-Haltung auf 45% der erreichbaren Top 1M, dieselbe Größenordnung aus einer anderen Methode. Und der Imperva 2025 Bad Bot Report stellt fest, dass automatisierter Traffic inzwischen 51% des gesamten Web-Traffics ausmacht (Bad Bots 37%) — der Nachfragedruck, der erklärt, warum so viele Sites überhaupt eine Mauer haben. (Für eine vergleichbare Methodik zur Messung in Web-Größe siehe das HTTP Archive Web Almanac.)

Die meistbesuchten Sites betreiben am wenigsten Anti-Bot

Die Zahl in Web-Größe verbirgt den nützlichsten Befund. Teilt man die Million nach Traffic-Rang auf, bewegen sich drei Kurven gemeinsam — Schutz, Cloudflare und die Spezialanbieter:

Geschützt44.2% → 53.6%Cloudflare23.4% → 45.6%Enterprise-Bot-Mgmt7.6% → 0.6%

Top 1,000

44.2%

23.4%

7.6%

1k–10k

50.7%

34%

5.3%

10k–100k

52.3%

40.2%

2.6%

100k–1M

53.6%

45.6%

0.6%

¹ Akamai Bot Manager + DataDome + PerimeterX, als Anteil der erreichbaren Sites im Band.

Zwei Dinge kippen, je weiter du im Rang nach unten gehst. Cloudflare klettert (23% der Top-1.000 auf 46% des Long-Tails): seine Dominanz in Web-Größe ist eine Long-Tail-Geschichte — die Riesen betreiben ihre eigene oder Enterprise-Infrastruktur und halten Startseiten für SEO offen, während die Millionen kleinerer Sites zum schlüsselfertigen Cloudflare greifen. Gleichzeitig fällt Enterprise-Bot-Management (7,6% auf 0,6%): DataDome, PerimeterX und Akamai Bot Manager sind ein Kopf-Phänomen, gekauft von den hochwertigen Sites, wo automatisierte Daten direkte Dollar-Kosten verursachen. Kopf und Schwanz sind also nicht nur unterschiedlich stark geschützt — sie werden von unterschiedlichen Anbietern bewacht. (W3Techs sieht dieselbe Richtung: Cloudflare ist in den absoluten Top-1.000 niedriger als quer über die breiteren Top-1M.)

Lässt man Cloudflare beiseite (es klettert auf ganzer Linie), tauschen die spezialisierten Torhüter je nach Rang die Plätze — Akamai bewacht die absolute Spitze, während der Long-Tail zum schlüsselfertigen CAPTCHA greift:

Akamai (Edge + Bot Manager)11.2% → 0.9%Google reCAPTCHA4.1% → 7.8%hCaptcha0.7% → 3.7%

Top 1k

11.2%

4.1%

0.7%

1k–10k

7.3%

3.7%

0.3%

10k–100k

3.4%

5.2%

1.3%

100k–1M

0.9%

7.8%

3.7%

Zoomt man auf die ~1.005 hochwertigen Sites, die Leute tatsächlich scrapen, schärft sich das Profil des Kopfes weiter: dort sitzt Enterprise-Bot-Management auf 15,5% der Sites, und die billige CAPTCHA-Widget-Schicht des Schwanzes verschwindet fast völlig. Verbreitung und Ausgereiftheit sind unterschiedliche Achsen: mehr des Webs ist »geschützt«, als man denken würde, aber weit weniger davon ist schwer.

Die meisten dieser Mauern schlafen

Hier ist der Teil, der uns am meisten überrascht hat. »53,5% geschützt« zählt jede Site, die einen managed Anbieter offenlegt — aber einen offenzulegen ist nicht dasselbe wie ihn zu nutzen. Von den 818.614 erreichbaren Sites haben nur 79.835 (9,8%) unseren Startseiten-Request tatsächlich herausgefordert; die anderen 358.022 ummauerten Sites betrieben den Anbieter passiv und lieferten ein sauberes 200 auf einen passenden Request. Verfolge die Million ganz nach unten bis zu den wenigen, die tatsächlich zurückschlagen:

Show the flows

Gescannt → Erreichbar	818,614 (36.3%)
Erreichbar → Hat eine Mauer	437,857 (19.4%)
Erreichbar → Keine Mauer	380,757 (16.9%)
Hat eine Mauer → Passiv vorhanden	358,022 (15.9%)
Gescannt → Unerreichbar	179,883 (8%)
Hat eine Mauer → Aktiv herausgefordert	79,835 (3.5%)

Welche Mauer »wach« ist, hängt stark vom Anbieter ab. Cloudflare sitzt vor 45% des erreichbaren Webs, hat aber nur ~16% dieser Startseiten aktiv herausgefordert; Google reCAPTCHA feuert auf einer Startseite fast nie (3%); die kleine Gruppe nicht identifizierter WAFs ist das Gegenteil — selten vorhanden, fordert aber in 76% der Fälle heraus.

Erkannt aufAktiv herausgefordert

Cloudflare45% → 7.4%16,4% aktiv

Google reCAPTCHA7.5% → 0.3%3,4% aktiv

hCaptcha3.5% → 0.2%5,0% aktiv

Nicht identifizierte WAF / Bot2.1% → 1.6%75,8% aktiv

Cloudflare Turnstile1.3% → 0.1%4,9% aktiv

Imperva (Incapsula)0.6% → 0.1%21,1% aktiv

Akamai Bot Manager0.6% → 0.04%6,8% aktiv

Die praktische Erkenntnis: ein Anbieter-Fingerprint sagt dir, was dich erwartet, falls die Mauer feuert — aber die meisten Startseiten feuern gar nicht, was genau der Grund ist, warum standardmäßig zum vollen Browser zu greifen Zeit und Budget verschwendet. Prüfe die Seite, nicht das Logo.

Zoom in: die ~1.005 Sites, die Leute tatsächlich scrapen

Für die Sites, die für einen Scraper zählen, gehen wir über die Header hinaus: jede Site, die ein Datacenter-GET blockiert, wird über die komplette Transport-Flotte erneut geprüft (Browser-Impersonation HTTP → Headless-Browser → Stealth-Browser + Residential-IP), sodass die Stufe widerspiegelt, was die Seite tatsächlich erreicht, nicht eine Header-Vermutung. Nach diesem Maßstab betreiben 575 der 1.005 (57,2%) managed Bot-Abwehr, und zwei Anbieter dominieren sie:

Cloudflare und Akamai zusammen machen 77% jeder geschützten Site in diesem Set aus. Was die Anbieter unterscheidet, ist, was sie inspizieren: Akamai und offene Cloudflare-Pfade setzen am stärksten auf TLS/JA3-JA4-Fingerprinting — ein passender HTTP-Client erreicht sie oft — während DataDome und PerimeterX verhaltensbasiertes Echtzeit-ML hinzufügen, sodass ein sauberer Fingerprint allein nicht ausreicht.

Die Schwierigkeit ist extrem ungleich — das meiste davon ist kein Browser-Job

Die nützlichere Frage ist nicht »ist es geschützt« — sie lautet »was braucht es, um die öffentliche Seite zuverlässig zu bekommen?« Lässt man die echte Flotte gegen das kuratierte Set laufen:

T1 · Plain HTTP60.5% · 608T2 · TLS-Match24.5% · 246T3 · JS-Browser14.7% · 148T4 · Stealth + Residential0.3% · 3

85% dieser Sites brauchen gar keinen Browser — ein einfacher HTTP-GET oder ein passender TLS-Fingerprint erreicht sie. Nur ~15% brauchen wirklich einen Headless-Browser oder mehr. Standardmäßig zum Browser zu greifen ist der häufigste (und teuerste) Scraping-Fehler; die Daten sagen: eskaliere nur, wenn eine Site dich dazu zwingt.

Deshalb sind auch »57% geschützt« und »85% brauchen keinen Browser« beide wahr: einen Anbieter zu erkennen ist binär, aber dass ein Anbieter vorhanden ist, ist nicht dasselbe, wie dass er aktiv herausfordert. Von den 575 geschützten Sites haben nur 74 unseren Request aktiv herausgefordert — der Rest betreibt seinen Anbieter im passiven CDN/WAF-Modus (ein passender Fingerprint liefert 200).

Das schwere Ende: ein paar Sites signieren jeden Request mit einer geschlossenen VM

Die schwierigste Klasse ist kein CAPTCHA — es ist eine proprietäre In-Browser-Bytecode-VM, die jeden Request signiert, sodass generisches Transport-Tooling kein gültiges Token erzeugen kann. Vier Sites im kuratierten Set liefern eine: TikToks webmssdk-VM (die X-Bogus / X-Gnarly-Signaturen, oben auf Akamai) und Kasadas Proof-of-Work-VM (das x-kpsdk-ct-Token, auf Immobilien-Marktplätzen). Für diese gilt »schick einen cleveren Request« nicht; du brauchst einen echten Browser-Ausführungskontext. Sie sind selten, aber es sind die Sites, zu denen Leute am häufigsten fragen »warum kann ich das nicht scrapen?«. (Wir zählen ein F5 BIG-IP-Load-Balancer-Cookie bewusst nicht als VM — das ist Server-Load-Balancing, keine Bot-Abwehr.)

Ein Block ist nicht gleich ein Block — lies, warum du gestoppt wurdest

Wenn ein Request nicht durchkommt, verrät dir der Grund die Lösung — und die Lösung ist jedes Mal völlig anders. Nach der Eskalation durch die Flotte kamen nur 74 der 1.005 (7,4%) immer noch nicht sauber durch, und sie schlüsseln sich so auf:

Die Schlagzeile ist, was die Fehlschläge nicht sind. Sobald du den richtigen Transport mitbringst, sind echte Rate-Limits und komplette IP-Sperren an der Vordertür verschwindend selten — die Mauer ist fast immer ein Fingerprint/JS-Problem, kein Proxy-Problem. Wir waren bei den Labels bewusst konservativ: ein 401 zählt nur dann als Login-Mauer, wenn es ein WWW-Authenticate trägt (WSJ und Reuters liefern 401 als DataDome-Bot-Block, nicht als Authentifizierung), und ein generisches 403 ist »blockiert«, nicht »IP gesperrt«, es sei denn, die Seite sagt es so.

Die Startseite ist ein schlechter Stellvertreter — Schutz bewegt sich pro Seite

Der größte Vorbehalt in jeder Studie dieser Art: eine Domain schützt unterschiedliche Seitentypen völlig unterschiedlich. Bei LinkedIn ist die Startseite leicht, eine /company/-Seite weitgehend offen, aber ein /in/-Profil und die Suche sind login-ummauert. Bei Amazon ist die Startseite offen, während die Suche bereitwillig einen »Robot Check« ausliefert. Deshalb liefert jede Site-Seite im Index einen empfehlenden Deep-Page-Testplan — welche Seitentypen zu prüfen sind und was auf jedem zu erwarten ist — damit du die Seite testest, die du tatsächlich willst, nicht die Vordertür.

Das Verteidigungsgefälle: Krypto und Commerce sind Festungen, Suche ist offen

Teilt man das kuratierte Set nach Kategorie auf, zeigt sich ein klares Geld-Gefälle — je näher eine Seite an einer Transaktion ist, desto härter ist sie verteidigt:

Krypto86%

Marktplätze81%

AI-Tools78%

Finanzen & Märkte75%

Foren & Community75%

E-Commerce72%

Immobilien72%

Reise & Gastgewerbe72%

News & Medien39%

Sport33%

Social Media25%

Suchmaschinen18%

Krypto und Marktplätze kämpfen am härtesten — Preise, Bestände und Orderbücher sind die meistgescrapten Daten im Web. Die niedrigen Zahlen für Social, News und Suche sind teilweise ein Methoden-Artefakt: diese Startseiten sind bewusst offen, aber die tiefen Seiten (ein Profil, ein Artikelarchiv, eine Ergebnisseite) kippen in dem Moment auf geschützt, in dem du hineinnavigierst.

Was das bedeutet, wenn du einen Scraper baust

• Prüfe, bevor du baust. Zu wissen, ob eine Seite hinter Cloudflare gegenüber DataDome gegenüber einer geschlossenen VM gegenüber nichts steht, ändert den gesamten Ansatz — und es ändert sich pro URL. Ein 30-Sekunden-Check erspart dir einen Nachmittag des Rätselns, warum deine Requests 403 liefern. Siehe den begleitenden Leitfaden zum Scrapen von Sites, die Bots blockieren, für das, was jeder Anbieter tatsächlich tut.
• Eskaliere nur so weit, wie die Site es verlangt, und zahle nur, wenn es funktioniert. 85% der Sites, die Leute scrapen, brauchen gar keinen Browser. Das kosteneffiziente Muster ist, zuerst den leichtesten Transport zu versuchen und zu eskalieren, was genau die Art ist, wie Crawloras Web Scraping für AI- und Daten-Pipelines abgerechnet wird — Pay-on-Success, nicht pro Versuch.

Bei all dem geht es nicht darum, ein CAPTCHA zu besiegen oder an einem Login vorbeizukommen. Es geht darum, bevor du Engineering-Zeit investierst, zu wissen, welche öffentlichen Seiten welchen Ansatz brauchen.

Probier es selbst aus

• Prüfe jetzt sofort eine beliebige URL mit dem kostenlosen Anti-Bot-Checker — füge eine Profil- oder Listing-Seite ein, nicht nur die Startseite, und sieh den Anbieter und den leichtesten Transport, der funktioniert.
• Erkunde den vollständigen Datensatz — durchsuche jede Site, filtere nach Schwierigkeit, Anbieter oder Kategorie — im Anti-Bot Adoption Index.
• Lies genau nach, wie wir es gemessen haben, einschließlich der Signaturen und der Schwierigkeits-Heuristik.

Wie der Check tatsächlich funktioniert (volle Transparenz)

Keine Magie — das ist ein bewusst einfacher, passiver, reproduzierbarer Check, ausgeführt in zwei Maßstäben.

Die Stichproben. Die Zahlen in Web-Größe stammen aus den vollständigen Tranco Top 1.000.000 (eine aggregierte, zitierbare Top-Sites-Liste mit permanenter ID), von denen 818.614 erreichbar waren. Die Deep-Dive-Zahlen stammen aus 1.005 Domains, die vom oberen Ende desselben Rankings zu echten, öffentlichen, inhaltstragenden Sites aus 28 Kategorien durchgegangen wurden, wobei reine Infrastruktur-/CDN-, Werbe-/Tracking- und Erwachsenen-Domains übersprungen wurden.

Der Request. Die Startseite jeder Site wird mit einem echten Chrome-User-Agent abgerufen, Redirects folgend, von einer Datacenter-IP — der ehrliche »was ein einfacher Cloud-Scraper sieht«-Standort. Wir schicken nie ein Formular ab, lösen kein CAPTCHA, loggen uns nicht ein und rufen nichts hinter einer Mauer ab. Der Top-1M-Scan ist dieses einzelne Datacenter-GET. Für das kuratierte Set gehen wir weiter: jede Site, die das Datacenter-GET blockiert, wird über die komplette Transport-Flotte erneut geprüft (Browser-Impersonation → Headless → Stealth + Residential), sodass ihre Schwierigkeitsstufe widerspiegelt, was die Seite tatsächlich erreicht, statt einer Header-Vermutung.

Was wir erfassen (und was nicht). Aus der Antwort behalten wir den Statuscode, die Response-Header, die Namen aller Set-Cookie-Cookies — nur Namen, niemals Werte, sodass keine Session-Tokens oder PII gespeichert werden — und eine begrenzte Portion des Body. Nichts sonst wird aufbewahrt.

Den Anbieter benennen. Der Anbieter wird identifiziert, indem diese Belege gegen eine Datenbank öffentlicher, dokumentierter Fingerprints abgeglichen werden — Header-Namen (cf-ray, x-datadome, x-iinfo, akamai-grn), Set-Cookie-Namenspräfixe (__cf_bm/cf_clearance, _abck/bm_sz, datadome, _px*, incap_ses_) und Body-Marker, denen nur auf einer challenge-förmigen Antwort vertraut wird. Header- und Cookie-Treffer sind hochsicher; Body-Marker mittel.

Grenzen. Jedes Ergebnis ist eine Untergrenze — Startseiten sind offener als die tiefen Seiten, die Leute tatsächlich scrapen, und eine Datacenter-IP sieht mehr Challenges als eine Residential-IP. Der Top-1M-Scan ist reine Header-Analyse und benotet keine Schwierigkeit (eine Site, die dort ein Datacenter-GET blockiert, öffnet sich vielleicht durchaus für einen Browser); die benoteten Stufen und das Kategorie-Gefälle stammen aus dem kuratierten Full-Fleet-Durchlauf. Anti-Bot-Deployments ändern sich fortlaufend, betrachte also jedes Ergebnis als richtungsweisendes Signal, keine Garantie. Snapshot: Juni 2026.

Offen & reproduzierbar. Der Classifier und die Methodik sind vollständig veröffentlicht — lies die vollständige Methodik oder erkunde den durchsuchbaren Index. Zitiere ihn als »Crawlora Anti-Bot Adoption Index« mit einem Link.