Tony Wang22 分で読めますウェブの14%は実は死んでいる
上位1,000万ドメインのうち本当に死んでいるのは14%だけで、よく言われる27.6%ではありません。「死んだ」ウェブの半分近くは、単にボットをブロックしているかエラーを返しているだけです。
こんな統計を目にしたことがあるでしょう。ウェブの27.6%は死んでいる。 これは2024年に上位1,000万ドメインをクロールした調査に由来し、印象的で少し陰鬱なため繰り返し引用されてきました。その調査を実施したのは私たちです。そして2026年に同じ1,000万ドメインのリストを再スキャンしたとき、今回は本当に消えたドメインと単にボットを拒否しているだけのドメインを区別したところ、実際の数字は**14.2%**でした。
ウェブが突然回復したわけではありません。元の数字が誤ったものを数えていたのです。素朴なクローラーは、死んだドメインとCloudflareの背後に隠れている生きたドメインを区別できず、丁寧に「404 Not Found」を返すサーバーを、まったく応答しないサーバーと同じものとして数えてしまいます。分類を正せば、「死んでいる」ものの約半分は実は生きていることがわかります。単にボットに応答していなかっただけなのです。調査した9,992,781ドメインから見た全体像を以下に示します。
1,000万ドメインのスキャン結果は実際どうなっているか
各ドメインには4つのラベルのいずれかが付きます。aliveは応答したことを意味します（2xx、あるいは404/5xxでも、サーバーは稼働中です）。blockedは応答したものの自動クライアントを拒否したこと（403、429、またはanti-botチャレンジ）を意味します。redirectは解決できない場所へ跳ね返されたことを意味します。deadはまったく応答しなかったこと、つまりDNSレコードがない、あるいは接続を受け付けるものが何もないことを意味します。
上位ウェブの4分の3は生きていて応答しています。興味深いのは残りの下位23%、つまり誰もが議論する部分と、その分け方です。
本当の数字は27.6%ではなく14%が死亡
同じリスト、同じ規模、違いは1つだけ。2026年には、私たちのボットが読めなかっただけの理由でドメインを死んでいると呼ぶことを拒否しました。本当に死んだドメインは早期に失敗します。DNSが何も返さないか、接続が拒否されます。生きているが防御されているドメインは遅れて失敗し、403やチャレンジページを返します。これはまったく異なるシグナルです。正直に数えると、見出しの数字は27.6%から14.2%に変わります。
DNS障害、anti-botの403、返された404/5xx、タイムアウトをすべて一緒くたに集計
DNSなし、接続拒否、または接続を受け付けるものが何もない
不足している約13ポイントはどこへ行くのでしょうか。そのほとんどは、素朴なクロールが誤分類する2つのものです。
- 8.9%（891,672サイト）は応答するものの、ボットをブロックしています。 データセンターIPに対する403、429、またはCloudflareの「Just a moment」チャレンジです。これらはウェブ上で最も生きているサイトの一部です。人々がそのデータを欲しがるからこそ、能動的な防御を実行しているのです。
- 約4%は稼働中のサーバーから404や5xxを返しています。 「404 Not Found」や「503 Service Unavailable」は、ホストが応答した証拠です。元のクロールはこれらを死として数えましたが、エラーを返すサーバーは「消えた」の正反対です。
残りは2024年の測定上のアーティファクトです。あのクロールは各ドメインを単一のDNSリゾルバー経由で解決しており、不安定な検索が解決可能なドメインを誤って死と印付けていました。私たちは今、DNS障害を宣言する前に複数のリゾルバー間でクロスチェックしています。
リダイレクトを追わないクローラーは何を取り違えるか
27.6%と14.2%の差は、主に測定上の選択です。リダイレクトを追い、サーバーが実際に何を言っているかを読むかどうかです。最初の応答で止まるクローラーは、45.9%だけがきれいな200を返すと見て、残りを切り捨てます。リダイレクトを追い、本文を読むと、71.9%が生きていることがわかります。それぞれの最初の応答が実際にどこへ行き着くかを以下に示します。
Show the flows
| 200 OK → 生存 | 4,584,611 (46.3%) |
| 3xxリダイレクト → 生存 | 2,677,304 (27%) |
| 応答なし → 死亡 | 1,413,013 (14.3%) |
| 403 / 429 → ブロック | 410,511 (4.1%) |
| 3xxリダイレクト → ブロック | 365,368 (3.7%) |
| 404 → 生存 | 236,685 (2.4%) |
| 応答なし → ブロック | 105,222 (1.1%) |
| 5xx → 生存 | 85,728 (0.9%) |
| 3xxリダイレクト → リダイレクト | 31,267 (0.3%) |
| 3xxリダイレクト → 死亡 | 1,775 (0%) |
大きな流れが要点を物語ります。301は行き止まりではなく、リダイレクトの87%は生きたページに解決します。 そして403や429は死体ではなく、ボットを拒否している生きたサイトです。確実に死を意味する唯一の応答は、まったく応答がないことだけです。そしてこの単一の応答なし → 死亡帯が、死んだウェブのほぼ全体です。
本当に死んだウェブの大半は、消えたDNS
では、14.2%とは何なのでしょうか。圧倒的に、DNSから完全に去ったドメインです。本当に死んだ1,414,788ドメインのうち、1,077,715件、約76%は、もはやどのIPにも解決しません。 登録が失効し、ゾーンが削除され、プロジェクトが放棄されました。残りはすべての接続を拒否またはリセットするか、本当にダウンしているホストへのTLSに失敗します。死んだドメインが応答してエラーを返すことはほとんどありません。単にそこに存在しないのです。
これは、リンクを追ったりリストをクロールしたりするものを構築するなら重要です。実際に遭遇する失敗は「このドメインは消えた」（再試行は決して役立たない）と「このサイトが私をブロックしている」（別のリクエストなら通る）に分かれます。両者を同じものとして扱うことは、ウェブ健全性の数字が水増しされる最も一般的な原因であり、スクレイパーが決して応答しないドメインの再試行に予算を浪費する最も一般的な原因でもあります。
有名な死者たち
集計されたパーセンテージは抽象的です。そこで私たちは、本当に死んだドメインを人気ランクで並べ替え、見覚えのある名前を探しました。その墓場は驚くべきものでした。上位1,000万全体で最も高くランクされた死んだドメイン1件が、それだけで要点を示しています。
568位に鎮座するのがfanlink.to。アーティストやレーベルが事前保存やストリーミングのリンクに使っていた音楽の「スマートリンク」サービスです。2024年3月、その親会社であるEventbriteのToneDenが.toドメインの管理権を失い、二度と取り戻せませんでした。これにより、アーティストのプロフィール、広告、プレスリリースに埋め込まれた何百万ものリンクが即座に壊れました。
ここで当然の疑問が浮かびます。死んだドメインがどうしてウェブで568番目に人気なのでしょうか。ウェブが叩くのをやめなかったからです。更新されないすべてのリンク、埋め込み、ブックマークが、もはや応答しないアドレスにリクエストを送り続けます。ランクは過去の人気の化石なのです。だからこそ、人気ランク順のリストには死体が満ちているのです。
Music & video
fanlink.to† 2024Music smart-links · ToneDen / Eventbrite
The single highest-ranked dead domain in the whole top 10M (#568). In March 2024 Eventbrite lost control of the .to domain overnight, instantly breaking millions of artists' pre-save and streaming links sitting in bios, ads, and press releases. Wayback ↗
grooveshark.com† 2015Free music streaming · ~20M users
Forced shut by the major labels' copyright suit (willful infringement, ~$700M of exposure). The entire catalogue was wiped the day the settlement landed; a co-founder died months later at 28. Wayback ↗
rdio.com† 2015Music subscription service
Bankrupt after burning ~$2M a month. Pandora bought the technology for $75M and shut the service down the day before the sale closed. Wayback ↗
gfycat.com† 2023GIF host for Reddit & Discord · ~220M users
Bought by Snap in 2020, then switched off as a non-core asset — one of the largest single link-rot events ever, breaking millions of embedded GIFs across the web. Wayback ↗
veoh.com† 2024Video-sharing site
Won a landmark DMCA case that helped protect every YouTube-style site, limped on for years under Japan's FC2, and finally went dark in November 2024. Wayback ↗
metacafe.com† 2021Top-3 video site of 2006
One of YouTube's first serious rivals — it simply went offline one day in 2021 with no announcement at all. Wayback ↗
The social web
del.icio.us† 2017Delicious · invented social bookmarking
The site that coined web-scale tagging. Passed through five owners (Yahoo → AVOS → Science → Delicious Media → Pinboard for $35,000) before going read-only. Wayback ↗
dmoz.org† 2017The Open Directory · a human-curated map of the web
91,000 volunteers cataloguing 3.8M sites — once a near-prerequisite for SEO, then made obsolete by Google's algorithm. Lives on as the community fork Curlie. Wayback ↗
pipes.yahoo.com† 2015Yahoo Pipes · visual no-code data mashups
The “Zapier of 2007.” Killed in a Yahoo cost-cut; thousands of live RSS and data pipelines broke on the same day. Wayback ↗
topsy.com† 2015The only full historical Twitter search
Indexed hundreds of billions of tweets back to 2006. Apple bought it for ~$200M and quietly switched it off two years later; the searchable archive simply vanished. Wayback ↗
aviary.com† 2018Photo-editing SDK embedded in 7,000+ apps
Powered in-app photo editing across the mobile economy (10B edits). Adobe acquired it, folded the tech into Creative Cloud, then sunset the free SDK. Wayback ↗
The developer web
s7.addthis.com† 2023Share buttons + tracking on 15M websites
Oracle bought it for the behavioural data, then killed it under GDPR pressure — a single shutdown darkened share widgets across millions of sites at once. Wayback ↗
programmableweb.com† 2023The public directory of ~19,000 web APIs
The index of the “API economy” for 17 years. Salesforce / MuleSoft erased the whole thing with no archive. Wayback ↗
securityfocus.com† 2021Home of the Bugtraq disclosure list (since 1993)
The security world's noticeboard for nearly 30 years. Symantec → Broadcom → Accenture let it freeze; the Bugtraq archive survives only at seclists.org. Wayback ↗
opensolaris.org† 2013Sun's open-source operating system
Oracle froze it the moment it bought Sun and pulled the domain in 2013. The community kept the code alive as the illumos fork. Wayback ↗
sorbs.net† 2024Spam blocklist covering 512M IP addresses
A DNS blocklist that mail servers queried for over two decades. Proofpoint pulled the plug in 2024; servers worldwide still query a list that no longer answers. Wayback ↗
Government & institutions
patft.uspto.gov† 2022US patent full-text search (1790–present)
Retired for a new search tool — breaking decades of direct patent links embedded in academic papers, legal briefs, and analysis tools. Wayback ↗
petitions.whitehouse.gov† 2021Obama's “We the People” e-petitions
A petition once topped a million signatures. The platform was quietly discontinued on Inauguration Day 2021 and never revived. Wayback ↗
weblogs.com† ~2009Dave Winer's blog-ping server · the early blogosphere's heartbeat
Every new blog post once pinged this host; VeriSign paid $2.3M for it. It faded after 2009 — yet old WordPress installs still ping the dead address to this day. Wayback ↗
europa.eu.int† 2006The European Union's original web address
The canonical home of EU law and institutions for over a decade. Migrated to europa.eu on Europe Day 2006, stranding a generation of links. Wayback ↗
これら20の訃報を続けて読むと、1つの死因が際立ちます。買収されたこと。 20のうち7つは、より大きな企業に買収され、その後停止されました。SnapがGfycatを、AppleがTopsyを、OracleがAddThisとOpenSolarisの両方を、AdobeがAviaryを、SalesforceがProgrammableWebを殺し、BroadcomはSecurityFocusを腐るに任せました。「買収して停止」は、倒産、訴訟、放置を合わせたよりも多いのです。
20人の花形だけでは、墓場全体の形を示せません。そこでレンズを広げ、広く知られ検証可能な閉鎖を約100件（このスキャンの死んだドメインと公的記録から）引き出し、それぞれをサービスが終了した年に日付付けし、ウェブの6つの領域に分類しました。年ごとに積み上げると、死にゆくウェブの20年はこのように見えます。
Show the data
| Topic | 2006 | 2007 | 2008 | 2009 | 2010 | 2011 | 2012 | 2013 | 2014 | 2015 | 2016 | 2017 | 2018 | 2019 | 2020 | 2021 | 2022 | 2023 | 2024 | 2025 | 2026 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ソーシャル & コミュニティ | 0 | 0 | 0 | 1 | 1 | 2 | 4 | 2 | 1 | 2 | 1 | 2 | 4 | 1 | 2 | 1 | 1 | 3 | 1 | 1 | 0 |
| 開発者 & インフラ | 0 | 0 | 0 | 1 | 0 | 0 | 3 | 1 | 3 | 2 | 4 | 4 | 2 | 1 | 1 | 2 | 0 | 4 | 1 | 1 | 0 |
| 音楽 & 動画 | 0 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 2 | 3 | 2 | 1 | 0 | 3 | 2 | 0 | 2 | 2 | 0 | 0 |
| 検索 & 参照 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 2 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 1 |
| メディア & ニュース | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 0 | 1 | 1 | 0 | 1 | 0 | 1 |
| コマース & 政府 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 0 | 0 | 0 |
2つのことが際立ちます。ソーシャルプラットフォームと開発者ツールが死んだウェブの大半です。 ソーシャルの墓場（Friendster、Orkut、Bebo、Google+、Path、Yik Yak、Ello、Digg…）とデブツールの列（Google Code、Parse、Google Wave、Gitorious、Sunrise、Mailbox…）はほぼ互角で、両者を合わせるとここにあるもの全体の半分以上を占めます。そして死は集中します。最初のうねりは2012〜2017年、Web 2.0とチェックイン/匿名アプリ世代が崩壊した時期。第2のうねりは2020年から、パンデミック時代や大手テックの賭けが打ち切られた時期です（Quibi、Mixer、CNN+、Stadia、Google Play Music）。2009年以前はストリームがほとんど存在しません。ウェブの大部分は、死ぬにはまだ十分に古くなかったのです。
1つ正直な但し書きがあります。そして、これがすべてのドメインを手作業で再確認した理由です。死んだドメインが必ずしも死んだモノとは限りません。一部は、サービスがリブランドまたは移転したために死んで見えるだけです。money.yandex.ruはYooMoneyになり、古いsuicidepreventionlifeline.orgのホストは988lifeline.orgに取って代わられ、EUのeuropa.eu.intは単にeuropa.euになりました。私たちは上記のすべてのドメインを2026年6月に稼働中のDNSに対して再調査し、誤検知を削除しました（nrel.govとangelfire.comはまだ問題なく解決します）。残ったものは、本当にもはや応答しないものです。
死は不均一 — どのTLDが最も速く腐朽するか
死亡率は均等に広がっているわけではありません。1,000万をトップレベルドメインで分けると、明確な勾配が現れます。安価に登録できるTLDと機関系のTLDは、.comの基準線よりもはるかに速く腐朽します。
際立ったものは2つの物語を語ります。.cn、.info、.inが首位なのは、安価で、短命または投機的なサイト向けに大量に登録され、すぐに失効するからです。しかし.gov（26%）と.edu（22%）が上位近くにあるのは、より印象的な発見です。機関系ドメインがひどく腐朽するのは、コンテンツが再編され、部署が解体され、古いプロジェクトサイトが単に停止されるからです。まさにPew Researchが2024年に記録したデジタルの劣化そのものであり、そこでは政府や参照系のページが最悪級のリンク腐朽を抱えていました。ウェブで最も権威ある領域の一部は、最も永続性のない領域でもあるのです。
死んだウェブの地理
国別コードのドメインを国ごとにグループ化すると、その劣化が地図を描きます。この10年間の新興市場の登録ブームは最大の墓場を残しました。中国の.cnが3分の1死亡で首位に立つ一方、ドイツ語圏ヨーロッパは地球上で最も耐久性のあるウェブを運営しています。
Show the data
| 中国 (.cn) | 33% |
| インド (.in) | 25.9% |
| アメリカ合衆国 (.us) | 22% |
| ブラジル (.br) | 20.9% |
| スペイン (.es) | 16.6% |
| 日本 (.jp) | 15.6% |
| イギリス (.uk) | 15.3% |
| ロシア (.ru) | 14.9% |
| フランス (.fr) | 14.5% |
| カナダ (.ca) | 14.1% |
| イタリア (.it) | 13.5% |
| ポーランド (.pl) | 13.2% |
| スウェーデン (.se) | 11.6% |
| スイス (.ch) | 9.8% |
| オランダ (.nl) | 9.7% |
| オーストリア (.at) | 8.6% |
| ドイツ (.de) | 7.6% |
| チェコ (.cz) | 7.3% |
中国の.cn空間のドメインは、ドイツの.deのドメインに比べて死んでいる可能性が4倍以上高いのです。速く、安く、投機的な登録が、そして.cnの場合はグレートファイアウォールの背後の回転の激しい市場が、より多くの放棄されたドメインを残します。一方、成熟し登録費用のかかるドイツ語圏のTLDはほとんど腐朽しません。
上位1,000万は一体何でできているのか
参考までに、コーパス自体の形を示します。.comは単に1位というだけでなく、上位1,000万全体のほぼ半分を占め、すべての国別コードと新gTLDを合わせたよりも大きいのです。
注目すべき詳細が2つあります。.io（3.6%）は人気ウェブで静かに3番目に大きいTLDになりました。開発者/スタートアップの標準です。そしてAI時代の.ai（0.30%、約30,000ドメイン）は、上位1,000万においてすでに.fi、.no、.twのような既存の国別ドメインを追い抜いています。
死んだウェブは、誰も訪れないロングテール
死はランキング全体に均等に広がっているわけではありません。1,000万を人気で分けると、死亡率は20倍以上上昇します。上位1,000での0.8%から、ランク500万を超えると16.1%まで。blockedは逆方向に走ります。最もトラフィックの多いサイトが最も強くボットを締め出し、テールに向かって防御が薄れていきます。
この勾配が見出しを再構成します。14%はドメイン数としては本当ですが、それらの死んだドメインはほぼすべて、誰も訪れないウェブの部分にあります。死んだドメインの99.8%はランク100,000以下に位置し、ウェブトラフィックの圧倒的多数が存在する人気の上位10万は、わずか2.2%が死亡しているだけです。生の数ではなく注目度で重み付けすると、死んだウェブはほぼ消えてしまいます。
上位1,000万ドメインのうち死んでいる割合
ほとんどのウェブトラフィックが存在する人気の上位10万は、わずか2.2%が死亡
「死んだウェブ」は「リンク腐朽」ではない — そして絶対に「デッド・インターネット理論」でもない
3つの異なるものが混同されています。それらを区別することこそが要点です。
- 本研究（死んだドメイン）: ドメインはまだ解決し応答するか。上位1,000万の14.2%が応答しないことがわかりました。
- リンク腐朽（Pew、Ahrefs）: 生きたページ内のリンクはまだ有効か。Pew Researchは2013〜2023年のページの25%が消え、2013年のページの38%が消滅したと発見しました。Ahrefsは追跡したリンクの66.5%が腐朽したと発見しました。これらは生きたウェブ内部の劣化を測るもので、本研究を補完するものであり、同じ数字ではありません。
- デッド・インターネット理論: AI生成コンテンツとボットがオンラインの人間活動を追いやったという主張。これは生きたウェブ上に何があるかについてのものであり、ドメインが到達可能かどうかについてではありません。別の議論であり、リンク腐朽と混同することが悪い統計の広まる原因です。
1つの区別だけ覚えるなら、リンク腐朽はまだ稼働中のページについてのものであり、死んだウェブはもはや存在しないドメインについてのものです。
スクレイパーやデータパイプラインを構築するなら、これは何を意味するか
実践的な要点は、8.9%のブロックされたスライスです。なぜなら、プロジェクトを最も壊しやすい部分だからです。リクエストが失敗したとき、その理由が対処法を左右し、両者はまったく似ていません。
- 死んだドメイン（DNSなし、拒否）は決して応答しません。再試行、プロキシのローテーション、ブラウザへの切り替えは何の役にも立ちません。捨てて先に進みましょう。
- ブロックされたドメインは生きていて到達可能です。単にあなたのクライアントを拒否しただけです。一致したブラウザのTLS/JA3フィンガープリントや住宅用IPなら、データセンターボットが403を食らう場所でも通ります。これは輸送の問題であり、死んだサイトではありません。
これは理論ではありません。すべてのドメインを本物のChromeのTLS/JA3フィンガープリントで2度目に調査したところ、礼儀正しいボットがブロックされた約890,000サイトのうち約72,000サイトを回収しました。ブロック率を8.9%から8.2%まで引き下げるのに十分です。そのどれもが、正しいクライアントで到達可能な生きたサイトであり、行き止まりではありません。
素朴なクローラーはこれらを区別できないため、到達可能なサイトを諦めるか、消えたサイトの再試行に予算を燃やすかのどちらかです。コスト効率の良いパターンは、サイトが強いる分だけエスカレートすることです。まさにCrawloraのanti-botアンブロッカーが動作する方法であり、試行ごとではなく成功時に課金する理由です。特定のURLがどのバケットに入るかを構築前に知りたいなら、無料のanti-botチェッカーが約30秒で教えてくれます。そして姉妹編のAnti-Bot Adoption Indexは、生きたウェブのどれだけが壁を運営しているかを測定します。
スキャンが明らかにしたもう2つのこと
ウェブはリダイレクトの迷宮です。 最終ページを直接提供するドメインはわずか69%で、31%は少なくとも1つのリダイレクトを経由して跳ね返ります。 そして頑固なごく一部は、私たちの10ホップ上限に達するまでループし続けます。だからこそ、リダイレクトを追わないクローラーには、ウェブが半分壊れているように見えるのです。
死んだウェブはHTTPのまま止まっています。 HTTPS移行が10年に及ぶ中、生きたウェブは約78%が暗号化されています。しかし死んだドメインとボットにブロックされたドメインはかろうじて半分で、証明書を取得する前に放棄されました。
どのように測定したか
魔法はありません。意図的にシンプルで再現可能な調査を、1,000万規模で実行しました。
リスト。 上位1,000万ドメインの全体（DomCop/Trancoスタイルの人気ランキング）。そのうち9,992,781件に到達しました。カバレッジ99.95%です。
調査。 各ドメインはデータセンターIPからHTTPS優先で取得し、リダイレクトを追い、短いタイムアウトを設定し、「DNS失敗」の判定を下す前に複数リゾルバーでのDNS再試行を行いました。フォームの送信、CAPTCHAの解決、ログイン、壁の背後のものの取得は一切行いません。各ドメインは2回調査します。1回は正直なボットとして、もう1回は本物のChromeのTLS/JA3フィンガープリントを持つブラウザ風クライアントとして。これにより「誰もいない」と「ボットが入れてもらえなかった」を区別できます。
分類。 最終的な2xx、または提供された404/5xx（ホストが応答した）はaliveです。403/429またはanti-botチャレンジはblockedです。解決できない3xxはredirectです。DNSなし、拒否/リセットされた接続、または接続を受け付けるものが何もない場合だけがdeadです。この単一のルール、何かを応答するサーバーは稼働中であることこそが、14.2%と27.6%の差のすべてです。
制約。 これはデータセンターの視点からのホームページレベルの到達可能性なので、下限です。データセンターボットをブロックするドメインが住宅用ブラウザには開くこともあり、深いページはホームページよりも死んでいる（あるいはより防御されている）こともあります。スナップショット: 2026年6月。ドメインごとの完全なデータセット（すべてのドメイン、すべてのアーム）はオープンで、稼働中の検索可能版はDead-Web Indexです。
死んだウェブではなく、生きたウェブに到達する
上位ウェブの14%は消えています。しかし9%は生きていて、ただあなたのボットをブロックしているだけです。Crawloraはプレーンなリクエストから本物のブラウザフィンガープリントへ、サイトが要求する分だけエスカレートし、成功時に課金します。死んだドメインの再試行をやめ、生きたサイトから403を食らうのをやめましょう。
よくある質問
世界の上位ウェブサイトのうち、どれだけが死んでいますか?
上位1,000万ドメインのうち14.2%が本当に死んでいます。もはやDNSで解決しないか、すべての接続を拒否する約141万サイトです。これはよく引用される27.6%をはるかに下回ります。27.6%は、anti-botブロックや応答されたエラーを死として数えていました。
死んだウェブサイトとブロックされたウェブサイトの違いは何ですか?
死んだサイトは決して応答しません。DNSレコードがないか、TCP接続を受け付けるものが何もありません。ブロックされたサイトは生きていて応答しており、単に自動クライアント（403、429、またはanti-botチャレンジ）を拒否しているだけです。上位ウェブの8.9%、891,672サイトは死んでいるのではなくブロックされているのですが、素朴なクローラーはこの区別を見落とします。
死んだウェブはデッド・インターネット理論と同じですか?
いいえ。デッド・インターネット理論は、AI生成コンテンツとボットが生きたウェブ上の人間活動を置き換えたという主張です。本研究はその反対の、具体的なことを測定しています。つまり、どれだけのドメインが完全に暗転し到達不能になったか（DNS消失、接続拒否、サーバー消失）です。
なぜこれは27.6%という死んだウェブの数字より低いのですか?
以前の上位1,000万のクロールは、死んでいない3つのものを死として数えていました。anti-botの403/429ブロック、稼働中のサーバーが提供する404/5xxページ、そして単一の不安定なDNSリゾルバーが検索に失敗したドメインです。正直に分類すると（死とは本当に到達不能を意味する）、実際の数字は14.2%になります。
どのTLDが最も死んだドメインが多いですか?
.cnは一般的なTLDの中で最も死亡率が高く33%です。.gov（26%）や.edu（22%）のような機関系TLDも上位にランクします。政府や参照系のページが最悪のリンク腐朽を抱えるというPew Researchの調査結果と一致します。
なぜスクレイパーには死んで見えるのに、私のブラウザでは問題なく読み込まれるのですか?
anti-botシステムは、データセンターIPには403やチャレンジを返す一方、本物のブラウザは通します。一致したブラウザのTLS/JA3フィンガープリントなら、素朴なボットがブロックされるサイトに到達できます。だからこそ本研究は、礼儀正しいボットとして、そしてブラウザ風クライアントとして、すべてのドメインを2回調査するのです。