Webスクレイピングとアンチボットの現状 2026

毎年、新しいレポートが「いまやWebトラフィックの大半はボットだ」と教えてくれます。その数字は事実ですが、それは関係の一方の側面を説明しているにすぎません。私たちが知りたかったのはもう一方の側面です。トラフィックのうちどれだけが自動化されているかではなく、Web自体のうちどれだけが自動化されたクライアントを締め出すように作られているか、です。

そこで私たちは2026年6月に、母集団規模のスキャンを3つ実施しました — アンチボット導入指数、AIクローラーブロック指数、そして死んだWeb指数 です — 上位1〜1,000万サイトを対象にしています。あわせて読むと、それらは機械が読み取るのが目に見えて難しくなりつつあるWebの姿を描き出します。以下が3つの発見です。完全なレポートにはチャート、方法論、そしてオープンデータが揃っています。

1. Webは壁を築きつつある

Tranco上位1Mの998,497サイトのうち818,614サイトが到達可能で、そのうち53.5%が管理型のアンチボットまたはWAFの壁を備えています。 Cloudflare単独で到達可能なWebの約45%、そして**保護されているすべてのサイトの84%**を占めます。

直感に反するのは、その勾配です。最も人気のあるサイトは、汎用的な壁を備えている可能性が最も低いのです — 上位1,000は44%、ロングテールは54%です。巨大サイトが無防備なわけではありません。代わりにオーダーメイドのエンタープライズ向けボット管理（DataDome、Akamai、PerimeterX）を運用しており、これは先頭の約7.6%から末尾の0.6%へと薄れていきます。汎用的なCloudflareの導入率はその逆方向に上がっていきます。

さらに広げると、その開きはいっそう大きくなります。英語圏のWebが最も壁で囲われており（.us 89%）、東アジアのWebが最も開かれています（.kr 11%） — 8倍の幅があります。

2. AIクローラーは選択的にゲートされている

出版社がAIをブロックしているという見出しにもかかわらず、robots.txtで主要なAIクローラーを1つでも完全にブロックしているのは上位1Mのわずか9.33%です（robots.txtをそもそも公開しているサイトの14.8%）。そしてそのブロックは意図的です。サイトはモデルを学習させるクローラーを、読者を送り返すエージェントよりもはるかに強く締め出しています。

OpenAIのGPTBotが7.4%で先頭ですが、Common CrawlのCCBot — ほとんどのモデルが間接的に学習に使うオープンコーパス — はほぼ同率の7.23%です。参照トラフィックをもたらすAI検索やアシスタント系のエージェントは、ほとんどブロックされていません。

アンチボットの壁とは異なり、AIブロックは先頭に集中しています — 最も忙しく、最もコンテンツの多いサイトです — そしてニュース・メディアが主導しており、およそ81%がブロックしています。

3. 死んだWebは過大評価されている

Webの4分の1は失われた、という統計をおそらく目にしたことがあるでしょう。私たちは最も人気のある1,000万ドメインすべてを調べ（9.99Mに到達、カバー率99.95%）、本当に死んでいるのは14.1% — いつもの数字のおよそ半分という結果を得ました。

その差は手法にあります。素朴なクローラーは403、429、あるいは返された404を死とみなしますが、それらのサイトは生きていて単にボットをブロックしているか（8.9%は応答するがブロックする）、設定が誤っているだけです。本当の死とはDNSです。死んだドメインの76%はもはやまったく名前解決されません。そしてそれはテール現象です — 死んだドメインの99.8%は順位100,000より下に位置するため、トラフィックで重み付けすると死んだWebは3%に近くなります。

これが意味すること

オープンなWebは死につつあるのではありません。防御を専門化し、AIを選択的にゲートし、そしてテールで朽ちつつあるのです。公開Web上のデータの上に何かを構築するすべての人にとって、実践的な教訓は3つのスキャンすべてが指し示すものと同じです。信頼できる収集はいまや、単にページを取得することではなく、壁を扱うことにかかっています — なぜなら、いまやWebの半分以上がその背後にあるからです。

完全なレポートにはすべてのチャートと方法論があり、3つのデータセットはすべてアンチボット、AIクローラー、死んだWebの各指数を通じてCC BY 4.0の下でオープンに公開されています。