Cloudflareが2026年にAIクローラーをデフォルトでブロック：何が変わり、どう対応すべきか

Cloudflareはウェブ全体のおよそ5分の1の手前に位置しています。2026年7月1日、Cloudflareは1年前に開始したポリシーの次のステップを発表しました。AIクローラーはもはや一律の「ブロックか許可か」ではなく、カテゴリーに分類され、そのうち2つはサイトが収益を得るページにおいてデフォルトでブロックされるようになります。

何らかのスクレイパー、データパイプライン、あるいはオープンウェブに触れるAIエージェントを運用しているなら、これは理解しておく価値があります — 悪意あるスクレイピングを狙い撃ちしているわけではなく、新しいデフォルト設定が「モデルを訓練するAI企業」と「正当なリサーチやモニタリングのジョブを実行する開発者」を、あなたがどちらであるか証明できない限り区別しないからです。

実際に何が変わったのか

Cloudflareの投稿 — Content Independence Day: the next chapter — は、AIボットトラフィックをそれぞれ明確な定義を持つ3つのカテゴリーに分割しています。

• Search（検索） — 「後で質問に答えられるように、コンテンツを収集・インデックスするあらゆる挙動」。古典的な取引です。インデックスが作られ、サイトには参照トラフィックが返ってきます。デフォルトで許可されたままです。
• Agent（エージェント） — 「通常はリアルタイムで、誰かの代わりに今まさに何かを完了させるために行動する自動化された挙動」。ChatGPT-Userスタイルのフェッチや、GeminiやClaudeのようなブラウザ操作エージェントがセッション中に誰かの代理で動作するケースなどです。
• Training（トレーニング） — モデルの訓練やファインチューニングのためにコンテンツを取得するクローラーで、「あなたのデータが一時的に参照されるのではなく、基盤となるアーキテクチャに恒久的に吸収される」ものです。

2026年9月15日以降、AgentおよびTrainingボットは、サイト運営者が人間の訪問者に見てもらい収益化するために作った広告収益ページにおいて、デフォルトでブロックされます。Searchボットは影響を受けません。重要な点として、このデフォルトは以下に適用されます。

• その日以降にCloudflareに新規登録するドメイン、
• 既存顧客が追加する新規サイト、
• そして設定を一切変更していないFree-Tierアカウント。

既存の有料顧客は、すでに設定している内容をそのまま維持します — これは新規サインアップ向けのデフォルトであり、Cloudflareのフットプリント全体に対する遡及的なブロックではありません。マルチパーパスなクローラー（Googlebot、Bingbot、Applebot — いずれも今やSearchとAIトレーニングの両方の役割を兼ねています）は、組み合わさる機能全体の中で最も制限の厳しいルールが適用されます。

ブロックか許可かというカテゴリーではなく、データ利用の意向を表明したい人向けの、本当に有用な新しいインフラも登場しています。Cloudflareの管理下のrobots.txtにデフォルトで含まれるようになった、拡張された**Content-Signal robots.txtディレクティブ**です。

Content-Signal: search=yes,ai-train=no,use=reference

新しいuse=パラメーターが興味深い追加点です — use=immediate（「やり取りはするが、何も保存・再利用しない」）、use=reference（デフォルト。「インデックス化し、抜粋し、リンクバックする」）、use=full（「要約し、複製する」）のいずれかです。これは宣言された意向であり、強制的なブロックではありません — 施行はrobots.txtの遵守を通じてではなく、Cloudflareのエッジで行われます — しかし、サイト運営者が自らのコンテンツをどう使ってほしいかを示す、これまでで最も明確な公開シグナルです。

Cloudflareがこれを行った理由

技術的な変更自体は小さなものですが、その背景にある数字が動機を物語っています。Cloudflareが同日発表した関連レポート Agentic internet: one year of bot report data は、対応しようとしているトレンドを次のように示しています。

• クローラーリクエストの52%が現在AIトレーニング目的であり、2025年春の22%から増加しています。
• インターネット全体のトラフィックの半数以上が、現在では非人間によるものです。
• 最も激しくクロールされているコンテンツカテゴリーの一部では、1年足らずで人間のトラフィックが最大40%減少しています。
• Googleは依然として参照トラフィックの約88%を生み出しており、単独のどのAI競合よりも約2倍の情報量を保持しています — 「Google Zero」シナリオ（検索がパブリッシャーにほとんど、あるいは全くトラフィックを送らなくなる世界）は、パブリッシャーが覚悟しつつあると報じられている事態です。

これはCloudflareの最初のContent Independence Day（2025年7月1日）の上に成り立っています。当時、Cloudflareは新規ドメインに対して「AIボットをブロックする」ことをデフォルトにし、Pay Per Crawlを開始しました — これはHTTP 402 Payment Requiredの仕組みで、未払いのクローラーはcrawler-priceヘッダー付きの402を受け取り、対抗提案や受諾ができ、成功した有料フェッチはcrawler-charged付きの200を返します。Cloudflareはマーチャント・オブ・レコードとして機能し、パブリッシャーに毎月支払いを行います。1年が経ち、Cloudflareはこれをより広範なPay Per Useマーケットプレイス（ローンチパートナーはCeramic.aiとYou.com）へと発展させたと述べていますが、Cloudflareの投稿も報道も、価格やCloudflareの取り分については明らかにしていません。

このニュースに関連して、**「AIボットのリクエスト4160億件をブロック」**という広く引用される数字を目にすることもあるでしょう。この数字自体は事実ですが、2025年12月のCloudflare CEOマシュー・プリンスへのインタビューによるもので、2025年のローンチ後最初の半年間について述べたものです — 2026年7月の発表そのものからの統計ではありません。どのポリシー世代がどの数字を生んだのか混同しないよう、知っておく価値があります。

自分がターゲットでない場合に重要な部分

Cloudflareの説明は、モデルを訓練するAI企業や、自動でページを取得するエージェントを対象としています。しかし施行の仕組みは意図を読み取るのではなく、身元を読み取ります。そして身元を証明することは、今や自分で設定できるヘッダーではなく、許可を要するプロセスになっています。

• Verified Botプログラム — ボット運営者が登録し、自らの身元と目的について「誠実な自己申告」を行うことを約束します。これは未検証のトラフィックとして一括りにされるのではなく、特定の信頼されたカテゴリーとして認識されるための主要な経路です。
• BotBase — 既知のボットやエージェントの新しい公開検索可能なディレクトリで、サイト運営者は自身のカスタムセキュリティルールで直接参照できます。
• Forwardedヘッダーによる自己申告（Forwarded: for="openai";use="reference"、RFC 7239準拠） — 仲介者が誰の代理で何のために動いているかを宣言できるようにし、プロキシやエージェントフレームワークを通じた「トランジティブな信頼」を可能にします。

これらはいずれも、第三者のスクレイパーがそのまま採用できる静的な許可リストではありません。あなたのトラフィックが個別に検証されておらず、2026年9月15日以降にCloudflareへ新規登録されたサイトや未設定のFree-Tierアカウントにアクセスする場合、率直に言えば、あなたの正当なリサーチ・価格モニタリング・データセット構築のジョブは、実際のAIトレーニングクローラーと同じデフォルトブロックのリスクを負います。ただし、サイトが宣言するContent-Signalを尊重しその範囲内にとどまるか、あるいは身元レイヤーをすでに処理してくれるインフラを経由する場合は別です。

Cloudflare（およびDataDome、PerimeterX/HUMAN）がそもそもどうリクエストをフィンガープリントしブロックするのか — IPレピュテーション、TLS/HTTPフィンガープリンティング、JSセンサーレイヤーといった、より深いメカニズムについては、ボットをブロックするサイトのスクレイピングを参照してください。この記事は、その上に位置するポリシーレイヤーについて扱っています。

公開データの収集を続ける方法

ほとんどのチームにとって現実的な順にランク付けしています。

1. 読み取れる範囲でサイトが宣言するContent-Signalを尊重する

サイトがai-train=noやuse=immediateを公開している場合、それはサイト運営者による明確な意思表示です — 誠実なスクレイパーはそれを尊重すべきです。それが正しい行いであるからだけでなく、あなたがこのポリシーが標的としているトラフィックではないことを示す最も明確な証拠になるからです。

2. 実際に大規模運用しているなら Verified Bot として登録する

大規模で識別可能なクロール運用をしており、汎用的なアンブロッキングに頼るのではなく一流の認識を得たいなら、その価値はあります。これは正確な自己申告と継続的なコンプライアンスという本物のコミットメントであり、チェックボックス一つで済むものではありません — ほとんどの小規模チームや単発のリサーチジョブは、その手間に見合うほどの基準には達しないでしょう。

3. マネージドのアンブロッキングAPI（Crawlora）

多くのケースで現実的なのは次の方法です。未検証のトラフィックをデフォルトでブロックするサイトが増える中、公開データが必要だが、プロキシローテーション、フィンガープリンティング、身元交渉レイヤーを自前で構築・維持したくない場合、Crawloraのweb scraping APIと/web/scrapeエンドポイントが、1つのキーの裏側でアクセスレイヤーを処理してくれます。

curl -X POST "https://api.crawlora.net/api/v1/web/scrape" \
  -H "x-api-key: $CRAWLORA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "formats": ["markdown"], "render": "auto"}'

import requests

resp = requests.post(
    "https://api.crawlora.net/api/v1/web/scrape",
    headers={"x-api-key": "YOUR_API_KEY"},
    json={"url": "https://example.com", "formats": ["markdown"], "render": "auto"},
)
print(resp.json()["data"]["markdown"][:500])

render: "auto"は、サイトがそれを必要とする場合にのみ、単純なフェッチから実際のブラウザへとエスカレーションします — これは今日Cloudflare、DataDome、PerimeterXを突破しているのと同じエスカレーションパターンです。これによってVerified Botのステータスが得られるわけではありません。独自の検証プログラムを正当化するには規模が小さすぎるものの、「別のIPからもう一度試すだけ」ではもう通用しないくらいには本物の規模で、公開データを収集しているチームにとっての実用的な代替手段です。

コンプライアンスに関する注意

これらはいずれも、根底にあるルールを変えるものではなく、その施行における技術的・身元的なハードルを引き上げるだけです。どの方法を選ぶにせよ、

• アクセスを許可された公開データのみを収集してください — サイトのContent-Signalと利用規約は、技術的にブロックを突破できるかどうかに関わらず適用されます。
• スクレイピングした個人データ（氏名、レビュー、プロフィール）は、他のどのソースから得たものであってもGDPR/CCPAに沿って扱ってください — 保存するデータを最小限にし、法的根拠を持ってください。
• ユースケースが特にAIトレーニングである場合、このポリシーはまさにあなたを標的にしています — ブロックを回避することではなく、ライセンス取得や宣言された適合的な経路が、持続可能な答えです。

これは法的助言ではありません — 公開データと個人データの扱いに関するより広範な議論については、2026年、ウェブスクレイピングは合法か？を参照してください。

出典

この記事の位置づけ

これはポリシーレイヤーの話です。実際にCloudflare、DataDome、PerimeterX/HUMANを突破する仕組み — 信頼性の高いフィンガープリンティングシグナルとエスカレーションパターン — については、ボットをブロックするサイトのスクレイピングを参照してください。ウェブ全体ですでにどれだけブロックされているかの規模については、Crawloraのオープンデータセットで上位サイト全体のボット防御の普及状況を追跡しているAnti-Bot Indexを参照してください。より広いツールキットを選ぶには、web scraping APIの選び方を参照してください。

まずは無料で試す： Free Web Scraperで任意の公開URLを試すか、Anti-Bot Checkerでサイトがボットをブロックしているか確認できます — サインアップ不要です。Playgroundでエンドポイントをテストし、料金を確認してください。