1億7,300万のドメインを8年間追跡。約4,000万が消滅しました。

消滅したウェブを計測する、きれいで満足のいく方法があります。しかし、それは間違っています。数年前の大量のドメインリストを用意し、今日でもまだ現れるものを確認して、見当たらないものを死んだとみなす——という方法です。Common Crawlはこれを簡単すぎるほど容易にしてくれます。何年ものあいだ毎月のウェブのスナップショットを公開してきたので、アーカイブを並べてドメインが脱落していく様子を眺められるのです。

私たちはまさにそれをやりました——2018年1月から2026年5月までの80か月分のCommon Crawlアーカイブ、172,959,928の登録済みドメインを対象に——そして、誰もが省略する部分に取りかかりました。消え去ったドメインを取り上げ、ライブで問いかけたのです。本当にいなくなったのか、と。その3分の1が応答しました。誠実な消滅ウェブの数字は**約4,000万ドメイン、8年間の対象集合の約23%**です——ただしそれは、Common Crawlが見なくなっただけのドメインを死んだと数えることを、私たちが拒んだからにほかなりません。

8年間のウェブを、4つの運命に分類する

パネル内のすべてのドメインには、80回のクロール全体にわたる履歴から1つのラベルが付きます。alive_presentは、最新のクロールにもまだ存在していたことを意味します。dead_candidateは、しばらくは定着していたものの、正常な状態から音信不通になり、二度と戻ってこなかったことを意味します。dark_ambiguousも同様に音信不通になったものの、最後に観測されたのがブロックまたはサーバーエラーだった——より判断の難しい退場——を意味します。intermittentは、まばらにしか現れなかったため、その不在が何も証明しないことを意味します。

断続的（まばら — 死としては数えない）38% · 65,778,102正常な状態から消滅32.1% · 55,525,600最新のクロールに存在25.6% · 44,246,249ブロック／エラー状態から消滅4.3% · 7,409,977

見出しに飛びつく前に、注意すべきスライスが2つあります。38%の断続的は、誠実な但し書きです。Common Crawlはサンプルであって全数調査ではなく、そのフロンティアは毎月移り変わります。したがって、ばらばらの3回のクロールに現れてその後二度と現れないドメインは、必ずしも死んだとは限りません——単にサンプルから外れただけかもしれないのです。私たちはそれらを死としては数えません。残るのは、実際に一定期間存在していたあとで本当に消滅した36%（dead_candidateとdark_ambiguousのスライスを合わせた6,290万ドメイン）です——そして、そのなかでさえ、すべてが死んでいるわけではないことがわかりました。

消えることは、死ぬことではない

罠を1枚のチャートで示します。Common Crawlのアーカイブで止めて、消え去ったドメインをすべて死んだと数えると、**36%になります。ところが、それら消え去ったドメインから層化した2万ドメインのサンプルを取り、それぞれをライブで再プローブすると——2026年6月に、新規のDNSルックアップ、TCP接続、HTTPリクエストを行うと——実際に到達不能なのはそのうちわずか64.2%でした。これを全体に射影し直すと、実際の消滅ウェブの数字は約23%**になります。

Common Crawlから消滅 — 死とみなした場合36%

一定期間定着して存在したあとクロールから脱落した6,290万ドメイン

キャリブレーションで本当に死と判定 — ライブ再プローブ約23%

2026年時点でDNSがない、または接続を受け付けるものが何もない約4,000万ドメイン

この差はノイズではありません。それが方法論そのものです。ドメインは、死とはまったく無関係なさまざまな理由でクロールから去ります——クローラーの予算が別に回った、サイトがロボットのブロックを始めた、リダイレクトの連鎖がフェッチャーを混乱させた、あるいはその月に単にサンプリングされなかった、などです。消失は仮説であって、発見ではありません。 キャリブレーション——代表的なサンプルを立ち返って、生きているインターネットと照合すること——こそが、「6,290万ドメインがいなくなった」を、擁護に足る「約4,000万が実際に死んでいる」へと変えるものです。

では、2026年にドアをノックしたとき、消え去ったドメインは実際にはどうなっていたのでしょうか。

本当に死んでいる（DNSなし／接続なし）64.2% · 642いまも生きている（名前解決でき、応答する）31.1% · 311生きているがボットをブロック4.7% · 47

Common Crawlから脱落したドメインの3分の1近くはいまも生きています——たった今も名前解決でき、ページを配信しています。彼らが去ったのはクロールからであって、ウェブからではありません。このたった1つの事実こそが、消失だけを頼りに構築された見出しの消滅ウェブ数字が高く出る理由であり、私たちの数字が意図的に、擁護に足るかたちで低くなっている理由です。

死んでいる状態とブロックされている状態は別種の失敗

ライブ再プローブがもたらすもうひとつの利点は、単純なクロールが消し去ってしまう区別です。すなわち、死んでいる（誰もいない）とブロックされている（在宅しているが、ボットにはドアを開けない）の違いです。スクレイパーにとってはどちらも「取得できなかった」に見えますが、両者は正反対の対応を要求します——死んだドメインは何をしても決して応答しませんが、ブロックされたドメインは適切なクライアントには開きます。消え去ったドメインが本当に死んでいる確率は、音信不通になる前に最後に観測した正常なシグナルに大きく依存します。

最後に観測：サーバーエラー（5xx）76.8%が死95% CI 73.2〜80.0

最後に観測：正常（2xx）70.7%が死95% CI 69.8〜71.6

最後に観測：404／41060.7%が死95% CI 59.3〜62.1

最後に観測：リダイレクト55.7%が死95% CI 53.8〜57.5

最後に観測：ブロック（403／429）44.7%が死95% CI 42.4〜47.1

一番下のバーは注意して読んでください。これが常識に反する発見だからです。最後にボットをブロックしている状態で観測されたドメインが実際に死んでいる可能性は、コイン投げよりわずかに高い程度でしかありません。 これら「ブロックしながら消えた」ドメインのほぼ半数は健在です——単にクローラーを締め出して、その後サンプルから脱落しただけなのです。対照的に、最後に正常な状態で観測されたドメインは、70%超の確率で本当に死んでいます。正常なサイトが静かになるのは、電源を切られたからであって、ロボットを拒み始めたからではないのです。すべての失敗したフェッチを同じように扱えば、生きていて防御を固めている一群のサイトを死体として切り捨ててしまいます。

これは「死んだインターネット理論」ではない——そしてリンク切れでもない

ウェブの衰退が話題になるたびに、3つの異なる問いが混ぜこぜにされます。それらを区別しておくことが肝心です。

• 本研究（死んだドメイン）： ドメインはいまもそもそも名前解決でき、応答するのか？ 8年間、1億7,300万ドメインのパネルにわたって、約23%はもう応答しません。
• リンク切れ（Pew、Ahrefs）： いまも生きているページ内部のリンクは有効か？ Pew Researchは、2013年のページの38%が2023年までに消えていたことを見出しました。Ahrefsは、追跡したリンクの3分の2がリンク切れになることを見出しました。これは生きているウェブの内部での衰退を計測するもので、本研究の補完であって、同じ数字ではありません。
• 死んだインターネット理論： ボットとAI生成コンテンツが、生きているウェブ上で人間に取って代わったという主張です。これは、いまも読み込めるページに載っているものについての話であり——まったく別の議論です。

1行だけ覚えるなら、こうです。リンク切れはまだ立っているページについて、消滅ウェブは立っていないドメインについて、死んだインターネット理論は立っているページを書いているのが誰かについて、の話です。本研究は厳密に真ん中のものです。

どのように計測したか

手法は意図的にシンプルで、完全に再現可能です——そして、それを走らせるオープンソースのツールは、この記事の裏側にあるものと同じです。

コーパス。 Common Crawlは毎月のクロールごとにカラムナー形式のインデックスを公開しており、そこにはrobotstxtサブセット——robots.txtを取得したホストごとに1行——が含まれています。私たちはCC-MAIN-2018-05からCC-MAIN-2026-21まで80回すべてのクロールについてそのサブセットを読み込み、それぞれを登録済みドメインへとロールアップし、クロールごとに、そのドメインが存在したか、そしてどのHTTPステータスを返したかを記録しました。その和集合が172,959,928ドメインです。

なぜステータスではなく消失なのか。 Common Crawlが記録するfetch_statusはHTTP限定です——本当に死んでいるドメインは行そのものを一切生成しません。エラー付きの行が出るのではないのです。したがって死はステータスコードからは読み取れず、連続するクロールをまたいでドメインが脱落することから推定するほかありません。その推定こそが、キャリブレーションを必須にしている理由です。

ラベル。 各ドメインについて、最初と最後のクロール、80回のうち何回現れたか、直近の不在の最長の連続、そして最後に観測した状態を計算します。数回のクロールで存在していて、その後——正常な状態から——直近のクロールで不在になったドメインはdead_candidateです。ブロックまたはエラー状態からならdark_ambiguous、まばらにしか観測されなかったドメインはintermittentで、決して死としては数えません。

キャリブレーション。 消え去ったドメインから層化した2万ドメインのサンプルを抽出し、2026年6月にそれぞれをライブで再プローブしました——DNS解決、TCP接続、HTTPリクエストを行い、死・生存・ブロックに分類したのです。層ごとの死亡率（Wilsonの95%信頼区間付き）が、生の「これだけ消えた」というカウントを、キャリブレーション後の「これだけが本当に死んでいる」に変換します。このステップこそが、36%と23%の違いです。

限界について、正直に。 Common Crawlはウェブのサンプルであって全数調査ではなく、そのカバレッジは8年間で移り変わります——まさにそれゆえに私たちは消失を信頼せずキャリブレーションを行うのですが、同時に、パネルはCommon Crawlがクロールを選んだドメインに偏っており、一度もrobots.txtを取得しなかったドメインは対象集合に決して入らないことも意味します。ライブ再プローブは2026年半ばの単一のデータセンターからの視点なので、データセンターのIPをブロックするドメインは、住宅用ブラウザなら入れるところをブロックと読まれることがあり、200を返すパークドメインは生存と読まれます。死亡率の射影は、2万サンプルの層ごとの率が各層全体にわたって成り立つと仮定しています。スナップショット：パネルは2026年5月で終わり、再プローブは2026年6月に実施しました。

ドメインごとの完全なパネル——全1億7,290万行、あらゆるラベルとフィールド——はCC BY 4.0でオープンに公開されており、それを構築したCLIはオープンソースです。8年間の履歴ではなく、今日のウェブのライブでインタラクティブなビューが欲しい場合は、姉妹版のDead-Web Indexと、スナップショット研究のウェブの14%は実際に死んでいるが、現在の上位ランクのウェブについて同じものを計測しています。

死んだドメインとブロックされたドメインを、自動で見分ける

「死んだ」ウェブの3分の1は死んでいません。生きていて、ボットを拒んでいるのです。Crawloraは、素のリクエストから本物のブラウザフィンガープリントへと、サイトが要求する範囲だけエスカレートし、成功に対して課金します——だから、いなくなったドメインへの再試行をやめ、生きているドメインから403を食らうのをやめられます。

Dead-Web Indexを探索する任意のURLを無料でチェック