Tony Wang22 Min. Lesezeit14 % des Webs sind tatsächlich tot
Nur 14 % der Top-10-Millionen-Domains sind wirklich tot — nicht die üblichen 27,6 %. Fast die Hälfte des »toten« Webs blockiert bloß Bots oder liefert Fehler.
Du hast die Zahl wahrscheinlich schon gesehen: 27,6 % des Webs sind tot. Sie stammt aus einem Crawl der Top-10-Millionen-Domains von 2024 und wird immer wieder zitiert, weil sie eindrucksvoll und ein bisschen düster ist. Diese Studie haben wir durchgeführt. Und als wir 2026 dieselbe 10-Millionen-Domain-Liste erneut gescannt haben — diesmal mit einer Trennung zwischen einer Domain, die wirklich verschwunden ist, und einer, die bloß einen Bot abweist — kam die echte Zahl bei 14,2 % heraus.
Das Web hat sich nicht plötzlich erholt. Die ursprüngliche Zahl hat die falschen Dinge gezählt. Ein naiver Crawler kann eine tote Domain nicht von einer lebenden unterscheiden, die sich hinter Cloudflare versteckt, und er zählt einen Server, der höflich »404 Not Found« zurückgibt, genauso wie einen, der nie antwortet. Korrigiert man die Klassifizierung, stellt sich heraus, dass rund die Hälfte von »tot« lebendig ist — sie hat bloß nicht mit einem Bot geredet. Hier ist das vollständige Bild aus 9.992.781 geprüften Domains.
Wie das Ergebnis eines 10-Millionen-Domain-Scans wirklich aussieht
Jede Domain bekommt eines von vier Labels. alive heißt, sie hat geantwortet (ein 2xx oder sogar ein 404/5xx — der Server ist online). blocked heißt, sie hat geantwortet, aber unseren automatisierten Client abgewiesen (ein 403, 429 oder eine Anti-Bot-Challenge). redirect heißt, sie ist irgendwohin weitergesprungen, das wir nicht auflösen konnten. dead heißt, sie hat überhaupt nie geantwortet — kein DNS-Eintrag, oder nichts nimmt eine Verbindung an.
Drei Viertel des Top-Webs sind lebendig und antworten. Der interessante Teil sind die unteren 23 % — der Ausschnitt, über den alle streiten — und wie man ihn aufteilt.
Die echte Zahl: 14 % tot, nicht 27,6 %
Gleiche Liste, gleiche Größenordnung, ein Unterschied: 2026 weigern wir uns, eine Domain nur deshalb als tot zu bezeichnen, weil unser Bot sie nicht lesen konnte. Eine wirklich tote Domain scheitert früh — DNS gibt nichts zurück, oder die Verbindung wird verweigert. Eine lebende, aber verteidigte Domain scheitert spät, mit einem 403 oder einer Challenge-Seite, was ein völlig anderes Signal ist. Ehrliches Zählen verschiebt die Schlagzeile von 27,6 % auf 14,2 %.
DNS-Fehler, Anti-Bot-403s, gelieferte 404/5xx und Timeouts alle zusammengeworfen
Keine DNS, Verbindung verweigert, oder nichts nimmt eine Verbindung an
Wohin gehen die fehlenden ~13 Punkte? Fast alles davon sind zwei Dinge, die ein naiver Crawl falsch einordnet:
- 8,9 % (891.672 Seiten) antworten, blockieren aber Bots. Ein 403, ein 429 oder eine Cloudflare-»Just a moment«-Challenge an eine Rechenzentrums-IP. Das sind einige der lebendigsten Seiten im Web — sie betreiben aktive Abwehr genau deshalb, weil Leute ihre Daten haben wollen.
- ~4 % liefern einen 404 oder 5xx von einem lebenden Server. Ein »404 Not Found« oder ein »503 Service Unavailable« ist der Beweis, dass der Host geantwortet hat. Der ursprüngliche Crawl zählte sie als tot; ein Server, der einen Fehler zurückgibt, ist das Gegenteil von verschwunden.
Der Rest ist ein Messartefakt von 2024: Jener Crawl löste jede Domain über einen einzigen DNS-Resolver auf, und eine wacklige Abfrage markierte auflösbare Domains fälschlich als tot. Wir gleichen jetzt über mehrere Resolver ab, bevor wir einen DNS-Fehler feststellen.
Was ein Crawler ohne Redirect-Verfolgung falsch macht
Die Lücke zwischen 27,6 % und 14,2 % ist größtenteils eine Messentscheidung: ob man Redirects folgt und liest, was der Server tatsächlich sagt. Ein Crawler, der bei der ersten Antwort stehen bleibt, sieht nur, dass 45,9 % einen sauberen 200 zurückgeben, und schreibt den Rest ab. Folgt man den Redirects und liest die Bodies, sind 71,9 % lebendig. Hier landet jede erste Antwort tatsächlich:
Show the flows
| 200 OK → Lebendig | 4,584,611 (46.3%) |
| 3xx-Redirect → Lebendig | 2,677,304 (27%) |
| Keine Antwort → Tot | 1,413,013 (14.3%) |
| 403 / 429 → Blockiert | 410,511 (4.1%) |
| 3xx-Redirect → Blockiert | 365,368 (3.7%) |
| 404 → Lebendig | 236,685 (2.4%) |
| Keine Antwort → Blockiert | 105,222 (1.1%) |
| 5xx → Lebendig | 85,728 (0.9%) |
| 3xx-Redirect → Redirect | 31,267 (0.3%) |
| 3xx-Redirect → Tot | 1,775 (0%) |
Die großen Ströme tragen den Kernpunkt: Ein 301 ist keine Sackgasse — 87 % der Redirects lösen zu einer lebenden Seite auf —, und ein 403 oder 429 ist eine lebende Seite, die einen Bot abweist, keine Leiche. Die einzige Antwort, die zuverlässig tot bedeutet, ist gar keine Antwort — und dieses einzelne Keine Antwort → Tot-Band ist fast das gesamte tote Web.
Das wirklich tote Web ist meist verschwundenes DNS
Was ist also die 14,2 %? Ganz überwiegend sind es Domains, die DNS ganz verlassen haben. Von den 1.414.788 wirklich toten Domains lösen 1.077.715 — etwa 76 % — zu gar keiner IP mehr auf. Die Registrierung ist ausgelaufen, die Zone wurde gelöscht, das Projekt wurde aufgegeben. Der Rest verweigert oder setzt jede Verbindung zurück oder scheitert bei TLS an einem Host, der wirklich offline ist. Eine tote Domain antwortet und fehlert fast nie — sie ist einfach nicht da.
Das ist wichtig, wenn du etwas baust, das Links folgt oder eine Liste crawlt: Die Fehler, die du tatsächlich triffst, teilen sich auf zwischen »diese Domain ist weg« (ein Retry hilft nie) und »diese Seite blockiert mich« (eine andere Anfrage kommt durch). Beide gleich zu behandeln ist die häufigste Art, wie Web-Health-Zahlen aufgebläht werden — und die häufigste Art, wie ein Scraper Budget verschwendet, indem er Domains erneut abfragt, die nie antworten werden.
Die berühmten Toten
Aggregierte Prozentsätze sind abstrakt. Also haben wir die wirklich toten Domains nach Popularitäts-Rang sortiert und nach Namen gesucht, die du wiedererkennst — und der Friedhof ist bemerkenswert. Die einzelne am höchsten platzierte tote Domain in den gesamten Top 10 Millionen macht den Punkt schon für sich.
Auf #568 sitzt fanlink.to, der Musik-»Smart-Link«-Dienst, den Künstler und Labels für Pre-Save- und Streaming-Links nutzten. Im März 2024 verlor sein Mutterkonzern — Eventbrites ToneDen — die Kontrolle über die .to-Domain und bekam sie nie zurück, wodurch schlagartig Millionen von Links in Künstler-Bios, Anzeigen und Pressemitteilungen kaputtgingen.
Was die naheliegende Frage aufwirft: Wie ist eine tote Domain die 568.-populärste im Web? Weil das Web nie aufgehört hat anzuklopfen. Jeder nicht aktualisierte Link, jedes Embed und jedes Lesezeichen feuert weiter Anfragen an eine Adresse, die nicht mehr antwortet — der Rang ist ein Fossil vergangener Popularität. Genau deshalb ist eine nach Popularität sortierte Liste überhaupt voller Leichen.
Music & video
fanlink.to† 2024Music smart-links · ToneDen / Eventbrite
The single highest-ranked dead domain in the whole top 10M (#568). In March 2024 Eventbrite lost control of the .to domain overnight, instantly breaking millions of artists' pre-save and streaming links sitting in bios, ads, and press releases. Wayback ↗
grooveshark.com† 2015Free music streaming · ~20M users
Forced shut by the major labels' copyright suit (willful infringement, ~$700M of exposure). The entire catalogue was wiped the day the settlement landed; a co-founder died months later at 28. Wayback ↗
rdio.com† 2015Music subscription service
Bankrupt after burning ~$2M a month. Pandora bought the technology for $75M and shut the service down the day before the sale closed. Wayback ↗
gfycat.com† 2023GIF host for Reddit & Discord · ~220M users
Bought by Snap in 2020, then switched off as a non-core asset — one of the largest single link-rot events ever, breaking millions of embedded GIFs across the web. Wayback ↗
veoh.com† 2024Video-sharing site
Won a landmark DMCA case that helped protect every YouTube-style site, limped on for years under Japan's FC2, and finally went dark in November 2024. Wayback ↗
metacafe.com† 2021Top-3 video site of 2006
One of YouTube's first serious rivals — it simply went offline one day in 2021 with no announcement at all. Wayback ↗
The social web
del.icio.us† 2017Delicious · invented social bookmarking
The site that coined web-scale tagging. Passed through five owners (Yahoo → AVOS → Science → Delicious Media → Pinboard for $35,000) before going read-only. Wayback ↗
dmoz.org† 2017The Open Directory · a human-curated map of the web
91,000 volunteers cataloguing 3.8M sites — once a near-prerequisite for SEO, then made obsolete by Google's algorithm. Lives on as the community fork Curlie. Wayback ↗
pipes.yahoo.com† 2015Yahoo Pipes · visual no-code data mashups
The “Zapier of 2007.” Killed in a Yahoo cost-cut; thousands of live RSS and data pipelines broke on the same day. Wayback ↗
topsy.com† 2015The only full historical Twitter search
Indexed hundreds of billions of tweets back to 2006. Apple bought it for ~$200M and quietly switched it off two years later; the searchable archive simply vanished. Wayback ↗
aviary.com† 2018Photo-editing SDK embedded in 7,000+ apps
Powered in-app photo editing across the mobile economy (10B edits). Adobe acquired it, folded the tech into Creative Cloud, then sunset the free SDK. Wayback ↗
The developer web
s7.addthis.com† 2023Share buttons + tracking on 15M websites
Oracle bought it for the behavioural data, then killed it under GDPR pressure — a single shutdown darkened share widgets across millions of sites at once. Wayback ↗
programmableweb.com† 2023The public directory of ~19,000 web APIs
The index of the “API economy” for 17 years. Salesforce / MuleSoft erased the whole thing with no archive. Wayback ↗
securityfocus.com† 2021Home of the Bugtraq disclosure list (since 1993)
The security world's noticeboard for nearly 30 years. Symantec → Broadcom → Accenture let it freeze; the Bugtraq archive survives only at seclists.org. Wayback ↗
opensolaris.org† 2013Sun's open-source operating system
Oracle froze it the moment it bought Sun and pulled the domain in 2013. The community kept the code alive as the illumos fork. Wayback ↗
sorbs.net† 2024Spam blocklist covering 512M IP addresses
A DNS blocklist that mail servers queried for over two decades. Proofpoint pulled the plug in 2024; servers worldwide still query a list that no longer answers. Wayback ↗
Government & institutions
patft.uspto.gov† 2022US patent full-text search (1790–present)
Retired for a new search tool — breaking decades of direct patent links embedded in academic papers, legal briefs, and analysis tools. Wayback ↗
petitions.whitehouse.gov† 2021Obama's “We the People” e-petitions
A petition once topped a million signatures. The platform was quietly discontinued on Inauguration Day 2021 and never revived. Wayback ↗
weblogs.com† ~2009Dave Winer's blog-ping server · the early blogosphere's heartbeat
Every new blog post once pinged this host; VeriSign paid $2.3M for it. It faded after 2009 — yet old WordPress installs still ping the dead address to this day. Wayback ↗
europa.eu.int† 2006The European Union's original web address
The canonical home of EU law and institutions for over a decade. Migrated to europa.eu on Europe Day 2006, stranding a generation of links. Wayback ↗
Liest man diese zwanzig Nachrufe hintereinander, sticht eine Todesursache heraus: übernommen zu werden. Sieben der zwanzig wurden von einem größeren Unternehmen gekauft, das sie dann abschaltete — Snap tötete Gfycat, Apple tötete Topsy, Oracle tötete sowohl AddThis als auch OpenSolaris, Adobe tötete Aviary, Salesforce tötete ProgrammableWeb, Broadcom ließ SecurityFocus verrotten. »Acqui-killed« schlägt Insolvenz, Klagen und Vernachlässigung zusammen.
Zwanzig Aushängeschilder können die Form des ganzen Friedhofs nicht zeigen. Also haben wir das Objektiv weiter geöffnet — ~100 weithin bekannte, überprüfbare Abschaltungen herausgezogen (aus den toten Domains dieses Scans und dem öffentlichen Archiv), jede auf das Jahr datiert, in dem ihr Dienst endete, und in sechs Ecken des Webs einsortiert. Nach Jahr gestapelt sehen zwei Jahrzehnte des sterbenden Webs so aus:
Show the data
| Topic | 2006 | 2007 | 2008 | 2009 | 2010 | 2011 | 2012 | 2013 | 2014 | 2015 | 2016 | 2017 | 2018 | 2019 | 2020 | 2021 | 2022 | 2023 | 2024 | 2025 | 2026 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Social & Community | 0 | 0 | 0 | 1 | 1 | 2 | 4 | 2 | 1 | 2 | 1 | 2 | 4 | 1 | 2 | 1 | 1 | 3 | 1 | 1 | 0 |
| Entwickler & Infrastruktur | 0 | 0 | 0 | 1 | 0 | 0 | 3 | 1 | 3 | 2 | 4 | 4 | 2 | 1 | 1 | 2 | 0 | 4 | 1 | 1 | 0 |
| Musik & Video | 0 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 2 | 3 | 2 | 1 | 0 | 3 | 2 | 0 | 2 | 2 | 0 | 0 |
| Suche & Referenz | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 2 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 1 |
| Medien & Nachrichten | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 0 | 1 | 1 | 0 | 1 | 0 | 1 |
| Handel & Behörden | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 0 | 0 | 0 |
Zwei Dinge stechen hervor. Social-Plattformen und Entwickler-Tools machen den Großteil des toten Webs aus — der Social-Friedhof (Friendster, Orkut, Bebo, Google+, Path, Yik Yak, Ello, Digg …) und die Dev-Tools-Spalte (Google Code, Parse, Google Wave, Gitorious, Sunrise, Mailbox …) sind gleichauf tot, und zusammen sind sie mehr als die Hälfte von allem hier. Und die Todesfälle häufen sich: eine erste Welle 2012–2017, als die Web-2.0- und Check-in-/Anonyme-App-Generation zusammenbrach, dann eine zweite ab 2020, als Pandemie-Ära- und Big-Tech-Wetten gekappt wurden (Quibi, Mixer, CNN+, Stadia, Google Play Music). Vor 2009 existiert der Strom kaum — das meiste Web war schlicht nicht alt genug, um schon gestorben zu sein.
Ein ehrlicher Vorbehalt, und der Grund, warum wir jede Domain von Hand nachgeprüft haben: Eine tote Domain ist nicht immer eine tote Sache. Manche wirken nur tot, weil der Dienst umbenannt wurde oder umgezogen ist — money.yandex.ru wurde zu YooMoney, der alte suicidepreventionlifeline.org-Host wich 988lifeline.org, das europa.eu.int der EU wurde schlicht zu europa.eu. Wir haben jede Domain oben im Juni 2026 gegen lebendes DNS erneut geprüft und die falsch Positiven verworfen (nrel.gov und angelfire.com lösen weiterhin einwandfrei auf). Was übrig bleibt, antwortet wirklich nicht mehr.
Der Tod ist ungleich verteilt: welche TLDs am schnellsten verrotten
Die Totrate ist nicht gleichmäßig verteilt. Teilt man die 10 Millionen nach Top-Level-Domain auf, zeigt sich ein klares Gefälle — billig registrierte und institutionelle TLDs verrotten weit schneller als die .com-Basislinie.
Die Ausreißer erzählen zwei Geschichten. .cn, .info und .in führen, weil sie billig sind und massenhaft für kurzlebige oder spekulative Seiten registriert werden, die schnell verfallen. Aber .gov (26 %) und .edu (22 %) so weit oben sind der bemerkenswertere Befund: Institutionelle Domains verrotten schlimm, weil Inhalte umstrukturiert werden, Abteilungen aufgelöst werden und alte Projektseiten einfach abgeschaltet werden — genau der digitale Verfall, den Pew Research 2024 dokumentiert hat, wo Regierungs- und Referenzseiten mit den schlimmsten Link Rot hatten. Die autoritativsten Ecken des Webs gehören zu seinen unbeständigsten.
Die Geografie des toten Webs
Gruppiert man die Länder-Domains nach Land, zeichnet der Verfall eine Karte. Die Registrierungsbooms in Schwellenmärkten des letzten Jahrzehnts hinterließen die größten Friedhöfe — Chinas .cn führt mit einem Drittel tot —, während das deutschsprachige Europa das haltbarste Web der Welt betreibt.
Show the data
| China (.cn) | 33% |
| Indien (.in) | 25.9% |
| USA (.us) | 22% |
| Brasilien (.br) | 20.9% |
| Spanien (.es) | 16.6% |
| Japan (.jp) | 15.6% |
| Vereinigtes Königreich (.uk) | 15.3% |
| Russland (.ru) | 14.9% |
| Frankreich (.fr) | 14.5% |
| Kanada (.ca) | 14.1% |
| Italien (.it) | 13.5% |
| Polen (.pl) | 13.2% |
| Schweden (.se) | 11.6% |
| Schweiz (.ch) | 9.8% |
| Niederlande (.nl) | 9.7% |
| Österreich (.at) | 8.6% |
| Deutschland (.de) | 7.6% |
| Tschechien (.cz) | 7.3% |
Eine Domain im chinesischen .cn-Raum ist mehr als viermal so wahrscheinlich tot wie eine im deutschen .de. Schnelle, billige, spekulative Registrierung — und bei .cn ein Markt mit hoher Fluktuation hinter der Großen Firewall — hinterlässt mehr verlassene Domains; die reiferen, teurer zu registrierenden deutschsprachigen TLDs verrotten kaum.
Woraus die Top 10 Millionen überhaupt bestehen
Zur Einordnung hier die Form des Korpus selbst. .com ist nicht nur die Nummer eins — es ist fast die Hälfte der gesamten Top 10 Millionen, größer als alle Länder- und neuen gTLDs zusammen.
Zwei Details, die eine Erwähnung wert sind: .io (3,6 %) ist still und leise zur drittgrößten TLD im populären Web geworden — der Entwickler-/Startup-Standard — und das KI-Zeitalter-.ai (0,30 %, ~30.000 Domains) hat in den Top 10 Millionen bereits etablierte Länder-Domains wie .fi, .no und .tw überholt.
Das tote Web ist der Long Tail, den niemand besucht
Der Tod ist nicht gleichmäßig über das Ranking verteilt. Teilt man die 10 Millionen nach Popularität auf, klettert die Totrate um mehr als das 20-Fache — von 0,8 % in den Top 1.000 auf 16,1 % jenseits von Rang 5 Millionen. blocked läuft in die andere Richtung: Die am stärksten besuchten Seiten mauern Bots am härtesten aus, dann dünnt sich die Abwehr den Long Tail hinab aus.
Dieses Gefälle rückt die Schlagzeile in ein anderes Licht. Die 14 % sind nach Domain-Anzahl real — aber diese toten Domains liegen fast alle in dem Teil des Webs, den niemand besucht. 99,8 % der toten Domains sitzen unter Rang 100.000, und die populären Top-100K — wo die überwältigende Mehrheit des Web-Traffics lebt — sind nur 2,2 % tot. Gewichtet nach Aufmerksamkeit statt nach roher Anzahl verschwindet das tote Web fast:
Anteil der Top-10M-Domains, die tot sind
die populären Top-100K, wo der meiste Web-Traffic ist, sind nur 2,2 % tot
»Totes Web« ist nicht »Link Rot« — und schon gar nicht »Dead-Internet-Theorie«
Drei verschiedene Dinge werden miteinander vermischt. Sie auseinanderzuhalten ist der ganze Punkt:
- Diese Studie (tote Domains): Löst die Domain noch auf und antwortet? Wir stellen fest, dass 14,2 % der Top 10M das nicht tun.
- Link Rot (Pew, Ahrefs): Sind die Links innerhalb lebender Seiten noch gut? Pew Research fand, dass 25 % der Seiten aus 2013–2023 weg sind und 38 % der 2013er-Seiten verschwunden sind; Ahrefs fand, dass 66,5 % der verfolgten Links verrottet sind. Diese messen den Verfall innerhalb des lebenden Webs — eine Ergänzung dazu, nicht dieselbe Zahl.
- Dead-Internet-Theorie: die Behauptung, dass KI-generierte Inhalte und Bots die menschliche Aktivität online verdrängt haben. Da geht es darum, was auf dem lebenden Web ist, nicht darum, ob Domains erreichbar sind. Das ist ein eigenes Gespräch, und es mit Link Rot zu verwechseln ist, wie sich schlechte Statistiken verbreiten.
Wenn du dir nur eine Unterscheidung merkst: Link Rot geht um die Seiten, die noch online sind; das tote Web geht um die Domains, die es nicht sind.
Was das bedeutet, wenn du einen Scraper oder eine Datenpipeline baust
Die praktische Erkenntnis ist der blockierte Anteil von 8,9 %, weil er der Teil ist, der dein Projekt am ehesten kaputtmacht. Wenn eine Anfrage scheitert, bestimmt der Grund die Lösung, und die sind überhaupt nicht gleich:
- Eine tote Domain (kein DNS, verweigert) wird nie antworten. Retrys, Proxy-Rotation oder der Wechsel zu einem Browser bringen nichts. Wirf sie raus und mach weiter.
- Eine blockierte Domain ist lebendig und erreichbar — sie hat bloß deinen Client abgewiesen. Ein passender Browser-TLS/JA3-Fingerabdruck oder eine Residential-IP kommt dort durch, wo ein Rechenzentrums-Bot einen 403 bekommt. Das ist ein Transportproblem, keine tote Seite.
Das ist nicht theoretisch. Jede Domain ein zweites Mal mit einem echten Chrome-TLS/JA3-Fingerabdruck zu prüfen holte ~72.000 der ~890.000 Seiten zurück, von denen der höfliche Bot ausgesperrt wurde — genug, um die Blockiert-Rate von 8,9 % auf 8,2 % zu drücken. Jede einzelne davon ist eine lebende Seite, mit dem richtigen Client erreichbar, keine Sackgasse.
Naive Crawler können die beiden nicht auseinanderhalten, also geben sie entweder erreichbare Seiten auf oder verbrennen Budget beim erneuten Abfragen verschwundener. Das kosteneffiziente Muster ist, nur so weit zu eskalieren, wie eine Seite dich zwingt — genau so funktioniert Crawloras Anti-Bot-Unblocker, und deshalb rechnet er bei Erfolg ab statt pro Versuch. Wenn du wissen willst, in welchem Topf eine bestimmte URL steckt, bevor du baust, sagt es dir der kostenlose Anti-Bot-Checker in etwa 30 Sekunden, und unser begleitender Anti-Bot Adoption Index misst, wie viel des lebenden Webs überhaupt eine Mauer betreibt.
Zwei weitere Dinge, die der Scan zutage förderte
Das Web ist ein Labyrinth aus Redirects. Nur 69 % der Domains liefern ihre finale Seite direkt aus; 31 % springen durch mindestens einen Redirect — und ein hartnäckiger Bruchteil läuft in Schleife bis zu unserer Grenze von 10 Hops. Genau deshalb sieht ein Crawler, der Redirects nicht folgt, ein Web, das halb kaputt aussieht.
Das tote Web hängt bei HTTP fest. Ein Jahrzehnt nach dem HTTPS-Umstieg ist das lebende Web zu ~78 % verschlüsselt — aber tote und bot-blockierte Domains sind kaum die Hälfte, aufgegeben, bevor sie je ein Zertifikat bekamen.
Wie wir es gemessen haben
Keine Magie — eine bewusst einfache, reproduzierbare Prüfung, ausgeführt im 10-Millionen-Maßstab.
Die Liste. Die vollständigen Top-10-Millionen-Domains (ein Popularitäts-Ranking im DomCop-/Tranco-Stil). Wir haben 9.992.781 von ihnen erreicht — 99,95 % Abdeckung.
Die Prüfung. Jede Domain wird HTTPS-first von einer Rechenzentrums-IP abgerufen, Redirects folgend, mit einem kurzen Timeout und einem Cross-Resolver-DNS-Retry vor jedem »DNS fehlgeschlagen«-Urteil. Wir senden nie ein Formular ab, lösen nie ein CAPTCHA, loggen uns nie ein und rufen nie etwas hinter einer Mauer ab. Jede Domain wird zweimal geprüft — einmal als ehrlicher Bot und einmal als browserähnlicher Client mit einem echten Chrome-TLS/JA3-Fingerabdruck — damit wir »niemand zu Hause« von »der Bot wurde nicht reingelassen« trennen können.
Die Klassifizierung. Ein finaler 2xx oder ein gelieferter 404/5xx (der Host hat geantwortet) ist alive. Ein 403/429 oder eine Anti-Bot-Challenge ist blocked. Ein 3xx, das wir nicht auflösen können, ist redirect. Nur kein DNS, eine verweigerte/zurückgesetzte Verbindung oder nichts, das eine Verbindung annimmt, ist dead. Diese eine Regel — ein Server, der irgendetwas antwortet, ist online — ist der ganze Unterschied zwischen 14,2 % und 27,6 %.
Grenzen. Das ist Erreichbarkeit auf Homepage-Ebene von einem Rechenzentrums-Standpunkt aus, also ist es eine Untergrenze: Eine Domain, die einen Rechenzentrums-Bot blockiert, öffnet sich vielleicht für einen Residential-Browser, und eine tief liegende Seite kann toter (oder stärker verteidigt) sein als die Homepage. Momentaufnahme: Juni 2026. Der vollständige Datensatz pro Domain — jede Domain, jeder Durchlauf — ist offen, und die lebende, durchsuchbare Version ist der Dead-Web Index.
Erreiche das lebende Web, nicht das tote
14 % des Top-Webs sind verschwunden — aber 9 % sind lebendig und blockieren nur deinen Bot. Crawlora eskaliert von einer schlichten Anfrage zu einem echten Browser-Fingerabdruck nur so weit, wie eine Seite es verlangt, und rechnet bei Erfolg ab. Hör auf, tote Domains erneut abzufragen, und hör auf, 403s von lebenden Seiten zu bekommen.
Häufig gestellte Fragen
Wie viele der weltweit größten Websites sind tot?
14,2 % der Top-10-Millionen-Domains sind wirklich tot — etwa 1,41 Millionen Seiten, die in DNS nicht mehr auflösen oder jede Verbindung verweigern. Das liegt weit unter den oft zitierten 27,6 %, die Anti-Bot-Blocks und beantwortete Fehler als Tod gezählt haben.
Was ist der Unterschied zwischen einer toten und einer blockierten Website?
Eine tote Seite antwortet nie — kein DNS-Eintrag, oder nichts nimmt eine TCP-Verbindung an. Eine blockierte Seite ist lebendig und antwortet, sie weist bloß einen automatisierten Client ab (ein 403, 429 oder eine Anti-Bot-Challenge). 8,9 % des Top-Webs — 891.672 Seiten — sind blockiert, nicht tot, eine Unterscheidung, die naive Crawler übersehen.
Ist das tote Web dasselbe wie die Dead-Internet-Theorie?
Nein. Die Dead-Internet-Theorie ist die Behauptung, dass KI-generierte Inhalte und Bots die menschliche Aktivität im lebenden Web ersetzt haben. Diese Studie misst das gegenteilige, konkrete Ding: wie viele Domains völlig dunkel und unerreichbar geworden sind — DNS weg, Verbindung verweigert, Server weg.
Warum ist das niedriger als die 27,6-%-Zahl für das tote Web?
Frühere Top-10M-Crawls zählten drei nicht-tote Dinge als tot: Anti-Bot-403/429-Blocks, 404/5xx-Seiten, die ein lebender Server ausliefert, und Domains, die ein einzelner wackliger DNS-Resolver nicht nachschlagen konnte. Ehrliche Klassifizierung — tot heißt wirklich unerreichbar — bringt die echte Zahl auf 14,2 %.
Welche TLD hat die meisten toten Domains?
.cn hat mit 33 % die höchste Totrate unter den gängigen TLDs. Institutionelle TLDs wie .gov (26 %) und .edu (22 %) rangieren ebenfalls weit oben — passend zu Pew Researchs Befund, dass Regierungs- und Referenzseiten am stärksten unter Link Rot leiden.
Warum sieht eine Seite für einen Scraper tot aus, lädt aber in meinem Browser einwandfrei?
Anti-Bot-Systeme liefern einer Rechenzentrums-IP einen 403 oder eine Challenge aus, lassen aber einen echten Browser durch. Ein passender Browser-TLS/JA3-Fingerabdruck erreicht die Seite dort, wo ein naiver Bot blockiert wird — weshalb diese Studie jede Domain zweimal prüft, als höflicher Bot und als browserähnlicher Client.