AI エージェントにライブな Web データを与えるには、ホスト型 MCP エンドポイントに接続するだけです。エージェントは文書化されたツール(検索、地図、EC、アプリストア、ソーシャル、金融など)を呼び出し、正規化された JSON を受け取ります。スクレイピングのコードを書く必要も、プロキシを運用する必要もありません。このガイドでは、MCP とは何か、どんなデータを取得できるのか、約 3 分でどう接続するのか、そして実際のツール呼び出しとそのレスポンスがどのようなものかを説明します。
ほとんどの LLM は学習のカットオフ時点で固定されており、ライブな Web を見ることができません。よくある対処法(ソースごとにスクレイパーを書き、プロキシやヘッドレスブラウザ、パーサーを保守し続けること)は、まさにチームが抱えたくない作業です。MCP とホスト型のデータサーバーを組み合わせれば、それが不要になります。モデルには安定したツール群が与えられ、取得処理はエンドポイントの背後で行われます。
MCP とは何か、なぜエージェントにとって重要なのか
Model Context Protocol(MCP) は、AI エージェントが一つの一貫したインターフェースを通じて外部ツールを呼び出せるようにするオープンな標準規格です。データソースごとに専用の連携を配線する代わりに、エージェントは MCP サーバーに接続し、公開されているツールを発見して、タスクの途中でそれらを呼び出します。
MCP サーバーは 3 種類のプリミティブを公開できます。ツール(google_map_search のようにモデルが呼び出せる関数)、リソース(読み取り専用のデータ)、そしてプロンプト(再利用可能なテンプレート)です。ライブな Web データにとって重要なのはツールです。それぞれが、型付きの入力と予測可能な出力を持つ文書化されたアクションです。
これが一回限りの連携の寄せ集めに勝る理由は次のとおりです。
- 一つのインターフェースで多くのソースに。 データソースを追加したり、検索エンジンを差し替えたり、新しいプラットフォームを取り込んだりしても、エージェントの配線に手を入れる必要はありません。書き直しではなく、ツール呼び出しで済みます。
- 自己記述的。 エージェントは各ツールのスキーマを読むので、どんな引数を渡せばよいか、どんな形のデータが返ってくるかが分かります。
- ポータブル。 同じサーバーが Claude、Cursor、Cline、Windsurf、n8n、そしてあらゆる MCP 互換クライアントで動作します。
こんな方におすすめ
- コーディングやリサーチをしながら、エディタやエージェントにライブな Web・SERP・EC・金融データを読ませたい Claude Code、Cursor、Cline、Windsurf のユーザー。
- LangChain、n8n、独自フレームワークにツールを組み込んでいて、専用スクレイパーではなく信頼できる Web データレイヤーが必要なエージェント開発者。
- パースすべき生の HTML ではなく、新鮮で構造化されたレコード(場所、商品、レビュー、価格、株価)を必要とする RAG やデータチーム。
- エージェントをプロトタイプから本番へ移行させる際に、プロキシやブラウザ、パーサーの保守を自分で運用したくないすべての方。
エージェントが取得できるもの:ツールカタログ
Crawlora のホスト型 MCP サーバーは、33 プラットフォームにまたがる 319 のツールを公開しており、その裏には 393 の文書化された REST エンドポイントがあります。一度の接続で公開 Web の広い範囲をカバーし、各ツールは毎回同じ JSON フィールドを返します。
| カテゴリ | プラットフォーム | ツール例 |
|---|---|---|
| 検索 & SERP | Google, Bing, Brave(ウェブ、ニュース、画像、サジェスト) | google_search, bing_search, brave_search |
| 地図 & ローカル | Google Maps(場所、検索、レビュー) | google_map_search, google_map_place |
| EC | Amazon, eBay, Shopify, Shop.app | amazon_search, ebay_search, shopify_products |
| アプリストア | Apple App Store, Google Play | appstore_search, googleplay_reviews |
| ソーシャル & クリエイター | TikTok, YouTube, Instagram, Reddit | tiktok_search, youtube_search, reddit_search |
| レビュー & 旅行 | Trustpilot, Tripadvisor | trustpilot_business_reviews, tripadvisor_search |
| 金融 & 暗号資産 | Yahoo Finance, Google Finance, CoinGecko | yahoo_finance_ticker_quote, coingecko_coin |
最も充実したグループはそれぞれ数十のツールを備えています。Yahoo Finance(39)、Spotify(30)、TikTok(24)、CoinGecko(21)、JustWatch(21)、Google Finance(20)などで、エージェントはサーバーを離れることなく一つのプラットフォーム上で本格的な作業ができます。
ホスト型 MCP エンドポイントに約 3 分で接続する
Crawlora は Streamable HTTP 経由で ホスト型 MCP エンドポイントを https://mcp.crawlora.net/mcp で運用しています。インストールやホスティングは一切不要で、クライアントをこの URL に向けて、API キーで認証するだけです。認証には x-api-key ヘッダーか、Authorization: Bearer トークンのいずれかを使います。まずは無料キーを取得してください(月 2,000 クレジット、カード不要)。
Claude Desktop/Claude Code、Cursor、Windsurf — クライアントの MCP 設定にサーバーを追加します。
{
"mcpServers": {
"crawlora": {
"url": "https://mcp.crawlora.net/mcp",
"headers": { "x-api-key": "YOUR_API_KEY" }
}
}
}
Cline(VS Code) — MCP Servers パネルを開き、Remote を選択して、同じ URL とヘッダーを使います。接続するとツールがエージェントのツール一覧に表示されます。
stdio ブリッジ — クライアントがリモート URL ではなく stdio しか話せない場合は、エンドポイントをプロキシでラップし、キーを環境変数として渡します。
npx mcp-remote https://mcp.crawlora.net/mcp \
--bearer-token-env-var CRAWLORA_API_KEY
MCP ドキュメントには最新の接続情報と、ツールカタログ全体を掲載したサーバーカードがあります。接続後は、エージェントに「利用可能なツールを一覧して」と頼んで、ツールが見えていることを確認してください。
実例:一つのプロンプトからきれいな JSON まで
接続が済むと、エージェントはツールを呼び出し、返ってきた正規化された JSON をもとに推論します。次のように尋ねてみましょう。
「Austin で最も評価の高いコーヒーショップを見つけて、レビュアーが気に入っている点をまとめて。」
エージェントは地図ツールを選び、それを呼び出します。
{
"tool": "google_map_search",
"arguments": { "query": "coffee shops in Austin, TX", "limit": 5 }
}
パースすべき HTML ではなく、次のような構造化されたレコードが返ってきます(例として一部を抜粋)。
{
"results": [
{
"name": "Houndstooth Coffee",
"rating": 4.6,
"reviews": 1284,
"address": "401 Congress Ave, Austin, TX 78701",
"category": "Coffee shop"
},
{
"name": "Cuvée Coffee Bar",
"rating": 4.5,
"reviews": 932,
"address": "2000 E 6th St, Austin, TX 78702",
"category": "Coffee shop"
}
]
}
そこからエージェントは評価とレビュー数で並べ替え、要約を書きます。同じパターンがあらゆるプラットフォームで通用します。amazon_search でマーケットプレイスを検索したり、yahoo_finance_ticker_quote で株価を取得したり、googleplay_reviews でアプリのレビューを読んだり。データレイヤーは Crawlora が担い、オーケストレーションはあなたのエージェントフレームワークが担います。
MCP と自前スクレイパーの比較
近道であることは確かですが、自分で配管を作らないことによって何を手放すのかを正確に見ておくと役立ちます。
| Crawlora MCP | 自前スクレイパー | |
|---|---|---|
| 連携 | 一つのインターフェース。ツールは自動的に発見される | ソースごとに専用のつなぎコード |
| 出力 | 文書化されたスキーマを持つ正規化された JSON | 自分でパースし、再パースする HTML |
| 取得 | プロキシのルーティング、JS レンダリング、リトライを処理 | 自分でプロキシとヘッドレスブラウザを運用 |
| 保守 | 不要。スキーマはエンドポイントが所有する | ページのレイアウトが変わるとパーサーが壊れる |
| カバレッジ | 33 プラットフォームにまたがる 319 ツール、キー一つ | 構築するソースごとにスクレイパー一つ |
| 課金モデル | 成功時課金(2xx のみ)。無料プランあり | インフラ+エンジニアリング時間、結果に関わらず課金 |
この二つは相互排他的ではありません。任意で予測不能なページ(ドキュメントサイト、ブログ、ロングテールの URL)には、マークダウンを返す AI ネイティブなクローラーの方が向いています。一方、並べ替え・結合・グラフ化のために安定したレコードが欲しい 既知のプラットフォーム では、保守すべきパーサーがない分、文書化されたエンドポイントに軍配が上がります。多くのチームは両方を併用しています。
Web データを呼び出すエージェントのベストプラクティス
- クエリ文字列ではなくヘッダーで認証しましょう。キーは x-api-key または Authorization: Bearer で送り、ログや URL に残らないようにします。
- 呼び出す前にモデルにツールスキーマを読ませましょう。発見こそが MCP の要点です。エージェントが推論できる引数をハードコードしないでください。
- 2xx のみ課金というモデルをロジックに組み込みましょう。失敗した呼び出しは無料なのでリトライは安価ですが、レスポンスをデータとして扱う前にステータスを確認してください。
- 狭く始めましょう。タスクに必要な少数のツールにエージェントを向け、すべてを渡さないことで、ツール選択の精度を保ちます。
- タスク内で再利用する結果はキャッシュして、クレジットとレイテンシを節約しましょう。ライブなデータだからといって、同じページを二度取得する必要はありません。
- 無料プランでプロトタイプを作り、呼び出しが枝分かれするマルチステップのエージェントをスケールさせる前に、クレジットのダッシュボードを見ておきましょう。
料金、クレジット、制限
Crawlora は 成功時課金モデルで請求します。各呼び出しは 1〜8 クレジットかかり、成功(2xx)レスポンスに対してのみ課金されます。4xx や 5xx のレスポンスは無料なので、リトライや探索を行うエージェントが失敗のために請求額を膨らませることはありません。無料プランはカード不要で月 2,000 クレジットを含み、これはアップグレード前に実際のエージェントを構築してテストするのに十分な量です。また、ツール呼び出しに組み込む前に任意のエンドポイントを実行して JSON を確認できる公開の Playground もあります。
よくある質問
Crawlora の MCP サーバーを使うのに、何かをホストする必要はありますか?
いいえ。これは Streamable HTTP 経由のホスト型のリモート MCP サーバーです。クライアントを https://mcp.crawlora.net/mcp に向けて API キーを追加するだけです。インストールするサーバーも、ローテーションするプロキシも、運用するブラウザもありません。
どのクライアントで動作しますか?
あらゆる MCP 互換クライアントです。Claude Desktop と Claude Code、Cursor、Cline、Windsurf、そして MCP アダプター経由の n8n や LangChain のようなエージェントフレームワーク。同じリモート URL とヘッダーがどこでも動作します。
一般的な Web スクレイピングやクローラーの MCP と何が違いますか?
クローラー型のサーバーは任意の URL を取得し、そのページの内容をマークダウンとして返します。非構造化ページには最適です。Crawlora は 既知のプラットフォーム向けの文書化されたツール を公開しているので、Google Maps の場所や Amazon の商品が毎回同じ JSON フィールドで返り、抽出用のプロンプトも保守すべきパーサーもありません。
どんなデータ形式で返りますか?
ツールごとに、文書化されたスキーマを持つ正規化された JSON です。生の HTML ではなくレコード(場所、商品、レビュー、価格、株価、投稿)が得られるので、エージェントはレスポンスをすぐに利用できます。
認証はどのように行いますか?
Crawlora の API キーを、MCP 接続時に x-api-key ヘッダーまたは Authorization: Bearer トークンとして送ります。同じキーで、サーバーが公開するすべてのツールを認証できます。
無料で試せますか?
はい。無料プランはカード不要で月 2,000 クレジットあり、クレジットを消費するのは成功したレスポンスに対してのみです。キーを取得して、約 3 分で接続してください。
3 分でエージェントにライブな Web データを
ホスト型 MCP サーバー、検索・地図・EC・ソーシャル・金融にまたがる 319 の文書化されたツール、正規化された JSON、そしてマネージドなプロキシとリトライ。月 2,000 クレジット無料、カード不要。
この記事の位置づけ
より広いパターンについては AI エージェント向け Web データのユースケースを、ネイティブな MCP クライアントではなくフレームワーク経由でツールを配線する場合は LangChain 連携をご覧ください。ツールの背後にある Web データの基礎については、Web スクレイピング API の選び方を参照してください。
出典
関連記事
- 2026 年のベスト Web スクレイピング API:選び方 — 構造化 API、汎用スクレイパー、プロキシネットワークを比較。
- Firecrawl の代替 — AI ネイティブなクローリングと構造化されたプラットフォームエンドポイント、そしてそれぞれが適する場面。
- SERP モニタリング API の仕組み — ライブな検索データを追跡可能なレコードに変える。
よくある質問
MCP(Model Context Protocol)とは何ですか?
MCP は、AI エージェントが一つの一貫したインターフェースを通じて外部ツールを呼び出せるようにするオープンな標準規格です。エージェントは MCP サーバーに接続し、公開されているツールを発見して、タスクの途中でそれらを呼び出します。データソースごとに専用の連携を組む必要はありません。
Crawlora を自分の AI エージェントにどう接続しますか?
MCP クライアントを Streamable HTTP 経由で Crawlora のホスト型エンドポイント(https://mcp.crawlora.net/mcp)に向け、Crawlora の API キーを x-api-key ヘッダーまたは Authorization: Bearer トークンとして認証に使います。最新の接続情報は MCP ドキュメントにあります。
Crawlora の MCP ツールでエージェントは何ができますか?
検索・地図・EC・金融などのエージェントネイティブなツールを呼び出し、返ってきた正規化された JSON をもとに推論できます。たとえばマーケットプレイスの検索、Google Maps の場所の取得、金融の株価の取得などを、ソースごとのスクレイパーを保守することなく行えます。
自前でスクレイパーを書く代わりに、なぜ MCP なのですか?
ソースごとのつなぎコードが不要(ツールは一つのインターフェースで発見される)で、HTML ではなく正規化された JSON が返り、取得処理(プロキシのルーティングとレンダリング)がエンドポイントの背後で処理されます。だからあなたは、スクレイピングのインフラではなくエージェントを構築できます。
