Tony Wang11 Min. LesezeitWir haben 173 Millionen Domains 8 Jahre lang verfolgt. ~40 Mio. sind tot.
Wir haben 172,9 Mio. Domains über 80 Common-Crawl-Archive (2018–2026) verfolgt. Rund 40 Mio. sind tot — Crawl-Verschwinden überschätzt das um ein Drittel.
Es gibt einen sauberen, befriedigenden Weg, das tote Web zu messen, und er ist falsch. Nimm eine große Liste von Domains von vor ein paar Jahren, prüfe, welche davon heute noch auftauchen, und erkläre die fehlenden für tot. Common Crawl macht das fast zu einfach: Es veröffentlicht seit Jahren eine monatliche Momentaufnahme des Webs, sodass du die Archive nebeneinanderlegen und beobachten kannst, wie Domains herausfallen.
Genau das haben wir getan — 80 monatliche Common-Crawl-Archive, von Januar 2018 bis Mai 2026, mit 172.959.928 registrierten Domains — und dann haben wir den Teil gemacht, den alle überspringen. Wir haben die verschwundenen Domains genommen und sie gefragt, live, ob sie tatsächlich weg waren. Ein Drittel von ihnen hat geantwortet. Die ehrliche Dead-Web-Zahl liegt bei rund 40 Millionen Domains, ~23 % des Acht-Jahres-Sets — aber nur, weil wir uns geweigert haben, eine Domain als tot zu zählen, bloß weil Common Crawl sie nicht mehr gesehen hat.
Acht Jahre Web, sortiert in vier Schicksale
Jede Domain im Panel erhält aus ihrer vollständigen Historie über die 80 Crawls hinweg genau ein Label. alive_present bedeutet, dass sie im jüngsten Crawl noch da war. dead_candidate bedeutet, dass sie eine Weile etabliert war, dann aus einem gesunden Zustand heraus dunkel wurde und nie zurückkam. dark_ambiguous bedeutet, dass sie ebenfalls dunkel wurde, aber das Letzte, was wir sahen, war ein Block oder ein Serverfehler — ein trüberer Abgang. intermittent bedeutet, dass sie nur spärlich auftauchte, sodass ihre Abwesenheit nichts beweist.
Zwei Segmente brauchen Sorgfalt, bevor jemand nach einer Schlagzeile greift. Die 38 % sporadisch sind der ehrliche Vorbehalt: Common Crawl ist eine Stichprobe, keine Vollerhebung, und sein Rand verschiebt sich jeden Monat, sodass eine Domain, die in drei verstreuten Crawls auftaucht und dann nie wieder, nicht zwangsläufig gestorben ist — sie ist vielleicht einfach aus der Stichprobe herausgefallen. Diese zählen wir nicht als Tote. Bleiben die 36 %, die nach einer echten Phase der Präsenz tatsächlich verschwunden sind (die Segmente dead_candidate und dark_ambiguous zusammen, 62,9 Millionen Domains) — und selbst die sind, wie sich herausstellt, nicht alle tot.
Verschwinden ist nicht Sterben
Hier ist die Falle, in einem Diagramm. Wenn du bei den Common-Crawl-Archiven stehen bleibst und jede verschwundene Domain für tot erklärst, kommst du auf 36 %. Nimmt man eine geschichtete Stichprobe von 20.000 dieser verschwundenen Domains und prüft jede einzelne live neu — ein frisches DNS-Lookup, eine TCP-Verbindung, eine HTTP-Anfrage, im Juni 2026 —, sind nur 64,2 % von ihnen tatsächlich unerreichbar. Rechnet man das zurück, liegt die echte Dead-Web-Zahl bei rund 23 %.
62,9 Mio. Domains, die nach einer etablierten Phase der Präsenz aus dem Crawl herausfielen
≈40 Mio. Domains ohne DNS oder ohne etwas, das 2026 eine Verbindung annimmt
Die Lücke ist kein Rauschen; sie ist die ganze Methodik. Eine Domain verlässt einen Crawl aus vielen Gründen, die nichts mit dem Tod zu tun haben: das Budget des Crawlers wanderte weiter, die Seite begann Robots zu blockieren, eine Weiterleitungskette verwirrte den Fetcher, oder die Domain wurde in dem Monat schlicht nicht in die Stichprobe aufgenommen. Ein Verschwinden ist eine Hypothese, kein Befund. Kalibrierung — zurückzugehen und eine repräsentative Stichprobe gegen das lebendige Internet zu prüfen — macht aus „62,9 Millionen Domains sind verschwunden“ ein belastbares „rund 40 Millionen sind tatsächlich tot“.
Was waren die verschwundenen Domains also, als wir 2026 an die Tür klopften?
Fast ein Drittel der Domains, die aus Common Crawl herausfielen, sind noch am Leben — sie lösen auf und liefern gerade jetzt eine Seite aus. Sie haben den Crawl verlassen, nicht das Web. Diese eine Tatsache ist der Grund, warum Dead-Web-Schlagzeilen, die allein auf dem Verschwinden beruhen, zu hoch ausfallen — und warum unsere bewusst und belastbar niedriger ist.
Tot und blockiert sind unterschiedliche Ausfälle
Das andere, was dir eine Live-Neuprüfung einbringt, ist die Unterscheidung, die naive Crawls auslöschen: tot (niemand zu Hause) gegenüber blockiert (zu Hause, öffnet aber einem Bot nicht die Tür). Beides sieht für einen Scraper aus wie „konnte es nicht abrufen“, und beides verlangt gegensätzliche Reaktionen — eine tote Domain wird nie antworten, egal was du tust, während eine blockierte sich für den richtigen Client öffnet. Die Wahrscheinlichkeit, dass eine verschwundene Domain wirklich tot ist, hängt stark vom letzten gesunden Signal ab, das wir sahen, bevor sie dunkel wurde.
Lies den untersten Balken sorgfältig, denn er ist der konträre Befund: eine Domain, die zuletzt Bots blockierend gesehen wurde, ist kaum wahrscheinlicher tot als ein Münzwurf. Fast die Hälfte dieser „verschwunden, während sie blockierten“-Domains ist quicklebendig — sie haben den Crawler nur ausgesperrt und sind dann aus der Stichprobe gefallen. Eine zuletzt gesund gesehene Domain hingegen ist zu über 70 % wahrscheinlich tatsächlich gestorben: eine gesunde Seite verstummt, weil sie abgeschaltet wurde, nicht weil sie anfing, Robots abzuweisen. Behandelst du jeden fehlgeschlagenen Abruf gleich, schreibst du einen Haufen lebendiger, verteidigter Seiten als Leichen ab.
Das ist keine „Dead-Internet-Theorie“ — und kein Link Rot
Drei verschiedene Fragen werden immer dann vermischt, wenn der Verfall des Webs zur Sprache kommt. Sie auseinanderzuhalten ist der Punkt:
- Diese Studie (tote Domains): Löst die Domain überhaupt noch auf und antwortet? Über ein 8-jähriges Panel mit 173 Millionen Domains tun das rund 23 % nicht mehr.
- Link Rot (Pew, Ahrefs): Sind die Links innerhalb noch lebendiger Seiten gut? Pew Research fand, dass 38 % der Seiten von 2013 bis 2023 verschwunden waren; Ahrefs fand, dass zwei Drittel der verfolgten Links verrotten. Das misst den Verfall innerhalb des lebendigen Webs — eine Ergänzung dazu, nicht dieselbe Zahl.
- Dead-Internet-Theorie: die Behauptung, Bots und KI-generierte Inhalte hätten Menschen im lebendigen Web verdrängt. Dabei geht es darum, was auf den Seiten steht, die noch laden — ein ganz anderes Gespräch.
Wenn du dir eine Zeile merkst: Link Rot betrifft die Seiten, die noch stehen; das tote Web betrifft die Domains, die es nicht mehr gibt; die Dead-Internet-Theorie betrifft, wer die Seiten schreibt, die es noch gibt. Diese Studie ist strikt die mittlere.
Wie wir es gemessen haben
Die Methode ist bewusst einfach und vollständig reproduzierbar — und das Open-Source-Tool, das sie ausführt, ist dasselbe, das hinter diesem Beitrag steht.
Der Korpus. Common Crawl veröffentlicht für jeden monatlichen Crawl einen spaltenorientierten Index, einschließlich einer robotstxt-Teilmenge — eine Zeile pro Host, dessen robots.txt es abgerufen hat. Wir haben diese Teilmenge für alle 80 Crawls von CC-MAIN-2018-05 bis CC-MAIN-2026-21 gelesen, jeden auf die registrierte Domain aufgerollt und pro Crawl festgehalten, ob die Domain vorhanden war und welchen HTTP-Status sie zurückgab. Die Vereinigung umfasst 172.959.928 Domains.
Warum Verschwinden, nicht Status. Der von Common Crawl aufgezeichnete fetch_status ist rein HTTP-basiert — eine Domain, die echt tot ist, erzeugt überhaupt keine Zeile, nicht eine Zeile mit einem Fehler. Tod lässt sich also nicht aus einem Statuscode ablesen; er muss daraus abgeleitet werden, dass eine Domain über aufeinanderfolgende Crawls hinweg herausfällt. Genau diese Ableitung macht Kalibrierung zwingend erforderlich.
Die Labels. Für jede Domain berechnen wir ihren ersten und letzten Crawl, in wie vielen der 80 sie auftauchte, ihre längste Phase jüngster Abwesenheit und den letzten Zustand, den wir sahen. Eine Domain, die über mehrere Crawls hinweg vorhanden war und dann aus den jüngsten fehlt — aus einem gesunden Zustand heraus —, ist ein dead_candidate; aus einem blockierten oder fehlerhaften Zustand heraus dark_ambiguous; spärlich gesehene Domains sind intermittent und werden nie als Tote gezählt.
Die Kalibrierung. Wir zogen eine geschichtete Stichprobe von 20.000 der verschwundenen Domains und prüften jede einzelne im Juni 2026 live neu — DNS-Auflösung, eine TCP-Verbindung und eine HTTP-Anfrage — und klassifizierten sie als tot, lebendig oder blockiert. Tot-Raten pro Schicht (mit Wilson-95-%-Konfidenzintervallen) verwandeln die rohen „so viele sind verschwunden“-Zahlen in die kalibrierten „so viele sind wirklich tot“. Dieser Schritt ist der Unterschied zwischen 36 % und 23 %.
Grenzen, ehrlich gesagt. Common Crawl ist eine Stichprobe des Webs, keine Vollerhebung, und seine Abdeckung driftet über acht Jahre — genau deshalb kalibrieren wir, statt dem Verschwinden zu vertrauen, aber es bedeutet auch, dass das Panel zu Domains hin verzerrt ist, die Common Crawl zu crawlen wählte, und eine Domain, für die es nie eine robots.txt abgerufen hat, gelangt nie in das Set. Die Live-Neuprüfung ist ein einzelner Rechenzentrums-Standpunkt Mitte 2026, sodass eine Domain, die Rechenzentrums-IPs blockiert, als blockiert erscheinen kann, wo ein Wohn-Browser hineinkäme, und eine geparkte Domain, die ein 200 ausliefert, als lebendig erscheint. Die Tot-Raten-Hochrechnung nimmt an, dass die Raten pro Schicht der 20k-Stichprobe über jede vollständige Schicht hinweg gelten. Momentaufnahme: das Panel endet im Mai 2026; die Neuprüfung lief im Juni 2026.
Das vollständige Panel pro Domain — alle 172,9 Millionen Zeilen, jedes Label und Feld — ist offen unter CC BY 4.0, und die CLI, die es erstellt hat, ist Open Source. Wenn du statt der 8-Jahres-Historie die live, interaktive Sicht auf das heutige Web willst, messen der begleitende Dead-Web Index und die Momentaufnahme-Studie 14 % des Webs sind tatsächlich tot dasselbe am aktuellen, bestplatzierten Web.
Eine tote Domain automatisch von einer blockierten unterscheiden
Ein Drittel des „toten“ Webs ist nicht tot; es ist am Leben und weist Bots ab. Crawlora eskaliert von einer schlichten Anfrage bis zu einem echten Browser-Fingerabdruck nur so weit, wie eine Seite es verlangt, und rechnet bei Erfolg ab — sodass du aufhörst, verschwundene Domains erneut zu versuchen, und aufhörst, 403er von lebendigen zu kassieren.
Häufig gestellte Fragen
Wie viel des Webs ist seit 2018 gestorben?
Rund 23 %. Wir haben ein 8-jähriges Erreichbarkeits-Panel von 172.959.928 Domains aus 80 monatlichen Common-Crawl-Archiven (2018–2026) aufgebaut; etwa 40 Millionen sind kalibriert echt tot — kein DNS, oder nichts nimmt eine Verbindung an. Diese Zahl ist deutlich niedriger als die 36 %, die man erhält, wenn man jede Domain zählt, die schlicht aufhörte, im Crawl zu erscheinen, denn aus einer Stichprobe des Webs zu verschwinden ist nicht dasselbe wie das Web zu verlassen.
Bedeutet das Verschwinden aus Common Crawl, dass eine Domain tot ist?
Nein. Common Crawl ist eine bewegliche Stichprobe des Webs, kein Register, sodass eine Domain herausfallen kann, weil sich das Budget des Crawlers verschob, sie anfing, Robots zu blockieren, oder sie schlicht nicht in die Stichprobe kam — nicht weil sie starb. Als wir eine geschichtete Stichprobe von 20.000 verschwundenen Domains 2026 live neu prüften, waren nur 64,2 % echt tot; 31 % lösten noch auf und antworteten, und 4,7 % waren am Leben, blockierten aber Bots.
Was ist der Unterschied zwischen einer toten und einer blockierten Domain?
Eine tote Domain antwortet nie — kein DNS-Eintrag, oder nichts nimmt eine TCP-Verbindung an. Eine blockierte Domain ist am Leben und antwortet; sie weist nur einen automatisierten Client mit einem 403, 429 oder einer Anti-Bot-Herausforderung ab. Sie verlangen gegensätzliche Reaktionen (eine tote Domain antwortet nie, egal was; eine blockierte öffnet sich für den richtigen Client), und eine Domain, die zuletzt Bots blockierend gesehen wurde, ist nur zu 44,7 % wahrscheinlich tot, gegenüber 70,7 % bei einer, die zuletzt gesund war.
Ist das dasselbe wie die Dead-Internet-Theorie?
Nein. Die Dead-Internet-Theorie ist die Behauptung, dass Bots und KI-generierte Inhalte Menschen im lebendigen Web verdrängt haben — eine Frage danach, was auf den Seiten steht, die noch laden. Diese Studie misst etwas Konkretes und Anderes: ob die Domain selbst überhaupt noch auflöst und antwortet. Sie unterscheidet sich außerdem von Link Rot, das kaputte Links innerhalb noch lebendiger Seiten misst.
Wie wurde der Dead-Web-Common-Crawl-Datensatz erstellt?
Aus der monatlichen robotstxt-Index-Teilmenge von Common Crawl über 80 Crawls hinweg (CC-MAIN-2018-05 bis CC-MAIN-2026-21), aufgerollt zu einer Zeile pro registrierter Domain mit ihrer Präsenz- und HTTP-Status-Historie. Da der Status von Common Crawl rein HTTP-basiert ist, erzeugt ein toter Host überhaupt keine Zeile, sodass der Tod aus dem Verschwinden abgeleitet und dann gegen eine Live-Neuprüfung kalibriert wird. Das vollständige Panel mit 172,9 Mio. Zeilen ist offen unter CC BY 4.0, und die crawlora-deadweb-CLI, die es erstellt hat, ist Open Source.