开发者指南

Crawlora MCP 集成指南

将支持 MCP 的客户端和面向智能体的工作流连接到 Crawlora 托管的 Streamable HTTP 端点，获取结构化的公开网络数据工具。

托管 MCP 端点Streamable HTTP结构化工具服务端密钥

托管 MCP 端点

https://mcp.crawlora.net/mcp

Streamable HTTP

连接方式

URL: https://mcp.crawlora.net/mcp
Transport: Streamable HTTP
Auth header: Authorization: Bearer $CRAWLORA_API_KEY
Server card: https://crawlora.net/.well-known/mcp/server-card.json

MCP URL

https://mcp.crawlora.net/mcp

传输方式

Streamable HTTP

认证请求头

Authorization: Bearer

Crawlora 在 https://mcp.crawlora.net/mcp 提供托管 MCP 端点。将支持 MCP 的客户端配置为 Streamable HTTP 传输，并通过 Authorization: Bearer 传递相同的服务端 Crawlora API 密钥。对于支持自定义请求头的客户端，该 MCP 端点也接受 x-api-key。ChatGPT 与 Claude 的网页版自定义连接器界面则改为通过 OAuth 2.1 完成认证 —— 无需 API 密钥。

开发者工作流

MCP 为网络数据工作流带来了什么

MCP 让 AI 客户端能够发现并调用服务器暴露的工具。Crawlora 面向智能体的 API 契合这一模式，因为受支持的端点具有清晰的输入和结构化的 JSON 输出。

开发者工作流

何时将 Crawlora 与 MCP 结合使用

AI 研究助手。
SERP 调研工具。
本地商家与地理编码调研智能体。
旅行与酒店调研智能体。
房地产市场调研智能体。
评论与口碑摘要工具。
应用评论摘要工具。
YouTube 转录智能体。
TikTok 趋势调研智能体。
音乐目录调研智能体。
播客与音频调研智能体。
电商监控智能体。

开发者工作流

连接托管 MCP

如果你的客户端支持通过 Streamable HTTP 连接远程 MCP 服务器，可直接使用托管端点。

端点：https://mcp.crawlora.net/mcp。
传输方式：Streamable HTTP。
首选认证请求头：Authorization: Bearer。
备用认证请求头：x-api-key。
ChatGPT 与 Claude 的自定义连接器会通过 OAuth 2.1 自动完成认证，无需使用请求头 —— 详见下文。
Server card：https://crawlora.net/.well-known/mcp/server-card.json。
缺失或无效的 API 密钥将返回 401。

开发者工作流

通过 ChatGPT 或 Claude 连接（OAuth）

ChatGPT 和 Claude 面向远程 MCP 服务器的自定义连接器界面只接受真正的 OAuth 2.1 授权流程，不接受粘贴 API 密钥。只需将托管端点添加为自定义连接器，客户端会自动为你完成发现、注册与登录。

添加连接器

在 ChatGPT 或 Claude 的自定义连接器设置中，新增一个连接器，并将 https://mcp.crawlora.net/mcp 粘贴为服务器 URL。

客户端自动发现 OAuth

客户端会获取该端点的受保护资源元数据，并据此跳转到 Crawlora 位于 https://crawlora.net 的授权服务器，通过动态客户端注册（Dynamic Client Registration）自行完成注册 —— 无需手动配置客户端或输入 API 密钥。

登录并授权访问

系统会将你重定向至登录 Crawlora 账户（或使用已有会话），并在授权确认页面同意该连接器的访问请求。全程无需在客户端中粘贴任何 API 密钥。

开始调用工具

客户端会自行保存并刷新访问令牌。你可以随时在 ChatGPT 或 Claude 中断开该连接器，以撤销其访问权限。

开发者工作流

连接参数

在需要手动配置 API 密钥（而非使用 OAuth）的 MCP 宿主中使用这些值。请勿将 API 密钥暴露在模型可见的提示词或浏览器代码中。

Hosted MCP connection · text

MCP URL: https://mcp.crawlora.net/mcp
Transport: Streamable HTTP
Authentication: Authorization: Bearer $CRAWLORA_API_KEY
Alternate auth: x-api-key: $CRAWLORA_API_KEY
Server card: https://crawlora.net/.well-known/mcp/server-card.json

Codex direct HTTP MCP · bash

codex mcp add crawlora \
  --url https://mcp.crawlora.net/mcp/agent \
  --bearer-token-env-var CRAWLORA_API_KEY

Generic MCP client config · json

{
  "mcpServers": {
    "crawlora": {
      "url": "https://mcp.crawlora.net/mcp",
      "transport": "streamable-http",
      "headers": {
        "Authorization": "Bearer $CRAWLORA_API_KEY"
      }
    }
  }
}

Read server card · bash

curl https://crawlora.net/.well-known/mcp/server-card.json

开发者工作流

发现并调用工具

添加服务器

使用托管 URL，将 Crawlora 注册为远程 Streamable HTTP MCP 服务器。

完成认证

从 MCP 客户端或服务端宿主，将 Crawlora API 密钥以 Authorization: Bearer 的形式传递。仅当宿主支持自定义请求头但不支持 Bearer 令牌配置时，才使用 x-api-key。

检查工具

在选择端点之前，先让 MCP 客户端列出可用的工具与资源。

精准调用

只向所选的 Crawlora 工具发送已文档化的输入，并尽可能限制返回结果的规模。

处理错误

向面向智能体的工作流清晰呈现 401、套餐、额度、速率限制以及上游错误。

开发者工作流

集成方式选择

对于支持远程 Streamable HTTP MCP 的客户端，使用 Crawlora 托管的 MCP 端点。
如果你的环境不支持远程 MCP，可直接使用 Crawlora 的 REST API。
只有在需要自定义工具过滤、多租户隔离、审计或本地策略控制时，才自建轻量级 MCP 服务器。

开发者工作流

MCP 工具定义示例

这是一个包装工具的示例 schema。如有可用，请使用端点文档中给出的确切生成工具名称。

Illustrative MCP tool · json

{
  "name": "crawlora_bing_search",
  "description": "Search public Bing results through Crawlora and return normalized JSON.",
  "inputSchema": {
    "type": "object",
    "properties": {
      "q": { "type": "string" },
      "country": { "type": "string" },
      "count": { "type": "number" }
    },
    "required": ["q"]
  },
  "output": "Crawlora JSON envelope with result items, status, and message fields."
}

开发者工作流

可选的 TypeScript 包装器

仅当你需要运行一个私有 MCP 服务器，将 Crawlora REST API 封装在自有策略层之后时，才使用此模式。

Tool handler · typescript

async function callCrawloraTool(args: {
  q: string;
  country?: string;
  count?: number;
}) {
  const url = new URL("https://api.crawlora.net/api/v1/bing/search");
  url.searchParams.set("q", args.q);
  url.searchParams.set("country", args.country ?? "us");
  url.searchParams.set("count", String(args.count ?? 10));

  const response = await fetch(url, {
    headers: {
      "x-api-key": process.env.CRAWLORA_API_KEY ?? "",
    },
  });

  if (!response.ok) {
    throw new Error(`Crawlora request failed: ${response.status} ${await response.text()}`);
  }

  return response.json();
}

// Register this handler with the MCP SDK version used by your server.

开发者工作流

安全检查清单

将 Crawlora API 密钥保留在服务端环境中。
不要将 API 密钥暴露给客户端应用。
校验工具输入。
按需限制可用工具范围。
谨慎记录工具调用日志。
避免采集非必要的敏感数据。
遵守 Crawlora 服务条款及目标平台规则。

开发者工作流

智能体体验建议

提供精准的工具，而非任意的 URL 集合。
返回结构化 JSON。
在可用时附上来源平台与请求上下文。
让错误状态对智能体可见。
限制结果数量以控制成本。

开发者工作流

选择更小的工具集：Agent 与 Family 端点

默认端点会列出 Crawlora 的全部工具，也就是数千个定义。预先加载全部工具的客户端会在这份列表上消耗上下文，而按关键词搜索工具的客户端可能把 web_search 这类通用工具排在更具体的工具之后：用关键词“search the web”搜索时，会先出现其他 *_search 工具。同一主机上有两个范围更小的端点，使用相同的认证方式。

Agent 端点：https://mcp.crawlora.net/mcp/agent 提供三个工具。模型描述任务，search_tools 返回匹配的工具名称，get_tool 返回输入 schema，call_tool 执行该工具。
Family 端点：https://mcp.crawlora.net/mcp/family/<family> 只提供某一个平台的工具，例如用于网页搜索、抓取、爬取和 map 的 /mcp/family/web，或用于 YouTube 的 /mcp/family/youtube。
family 名称是 REST 路由的第一段，因此 /api/v1/youtube/search 属于 youtube family。GET https://mcp.crawlora.net/mcp/family/ 会列出所有有效的 family 及其工具数量。
当一个连接需要覆盖所有平台时使用 Agent 端点；当 agent 只需要一个平台时使用 Family 端点。
Codex 只会读取完整端点的第一页（1000 个工具），因此在 Codex 中请使用 /mcp/agent 或 Family 端点；Claude Code、Grok Build 和 Pi 会读取完整列表。

Agent and family endpoints · text

Agent endpoint:  https://mcp.crawlora.net/mcp/agent
  3 tools: search_tools, get_tool, call_tool
Family endpoint: https://mcp.crawlora.net/mcp/family/<family>
  e.g. https://mcp.crawlora.net/mcp/family/web, https://mcp.crawlora.net/mcp/family/youtube
Authentication:  same Authorization: Bearer $CRAWLORA_API_KEY header

Add the agent or one family · bash

# One connection that can reach every platform through search_tools / call_tool
codex mcp add crawlora-agent \
  --url https://mcp.crawlora.net/mcp/agent \
  --bearer-token-env-var CRAWLORA_API_KEY

# Only the web search / scrape / crawl tools, in Grok Build
grok mcp add --transport http crawlora-web https://mcp.crawlora.net/mcp/family/web \
  --header 'Authorization: Bearer ${CRAWLORA_API_KEY}'

合规使用公开网络数据

请将 Crawlora 用于结构化的公开网络数据工作流。客户需自行遵守适用法律、第三方权利、目标平台规则以及 Crawlora 的服务条款。请将 API 密钥保留在服务端，校验所有输入，并避免采集或存储非必要的敏感数据。

阅读 Crawlora 服务条款

开发者工作流

开发者相关链接

通过这些页面，在端点发现、示例代码、价格与合规使用指南之间快速切换。

MCP Server Card

OpenAI Agents

AI 智能体

TypeScript 指南

文档

服务条款

开发者工作流

常见问题

关于 Crawlora 这条开发者集成路径的常见问题。

什么是 MCP？

Model Context Protocol 是一种通过服务器接口向 AI 客户端暴露工具与资源的模式。

Crawlora 有官方 MCP 服务器吗？

有。请使用 https://mcp.crawlora.net/mcp 的托管 Streamable HTTP 端点，并配合 Authorization: Bearer。对于支持自定义请求头的客户端，该 MCP 端点也接受 x-api-key。

我可以将 Crawlora MCP 作为自定义连接器接入 ChatGPT 或 Claude 吗？

可以。在 ChatGPT 或 Claude 的网页界面中，将 https://mcp.crawlora.net/mcp 添加为自定义连接器。客户端会自动完成 OAuth 2.1 的发现、注册与登录流程，你无需在连接器中粘贴任何 API 密钥。

我可以把 Crawlora 的 API 包装成 MCP 工具吗？

可以。将精准的 Crawlora HTTP 调用封装在服务端 MCP 工具之后，并把 API 密钥保留在服务端环境中。

哪些 Crawlora API 适合作为 MCP 工具？

Search、Maps、Geocoding、Airbnb、TripAdvisor、Zillow、YouTube、TikTok、App Store、Google Play、Spotify、Spotify Podcasts、Apple Podcasts、Amazon、Product Hunt、Trustpilot 以及评论类端点，只要符合你的智能体任务需求，都是不错的候选。

我应该如何保护 API 密钥？

将密钥保存在服务端，限制工具访问权限，校验输入，并避免在日志中记录敏感信息。

MCP 工具会消耗额度吗？

会。触发 Crawlora API 端点的工具调用，会按照该端点的计费规则消耗额度。

这与 LangChain 工具有什么区别？

MCP 专注于通过协议向客户端暴露工具，而 LangChain 工具是 LangChain 工作流内部的框架级封装。

连接 Crawlora MCP

从托管的 MCP URL 开始，验证 Authorization: Bearer 或 x-api-key 回退方案，然后调用精准的工具，覆盖搜索、旅行、房地产、评论、应用评论、播客或音乐目录。

浏览 API 探索集成

MCP URL: https://mcp.crawlora.net/mcp Transport: Streamable HTTP Authentication: Authorization: Bearer $CRAWLORA_API_KEY Alternate auth: x-api-key: $CRAWLORA_API_KEY Server card: https://crawlora.net/.well-known/mcp/server-card.json

{ "mcpServers": { "crawlora": { "url": "https://mcp.crawlora.net/mcp", "transport": "streamable-http", "headers": { "Authorization": "Bearer $CRAWLORA_API_KEY" } } } }

{ "name": "crawlora_bing_search", "description": "Search public Bing results through Crawlora and return normalized JSON.", "inputSchema": { "type": "object", "properties": { "q": { "type": "string" }, "country": { "type": "string" }, "count": { "type": "number" } }, "required": ["q"] }, "output": "Crawlora JSON envelope with result items, status, and message fields." }

async function callCrawloraTool(args: { q: string; country?: string; count?: number; }) { const url = new URL("https://api.crawlora.net/api/v1/bing/search"); url.searchParams.set("q", args.q); url.searchParams.set("country", args.country ?? "us"); url.searchParams.set("count", String(args.count ?? 10)); const response = await fetch(url, { headers: { "x-api-key": process.env.CRAWLORA_API_KEY ?? "", }, }); if (!response.ok) { throw new Error(`Crawlora request failed: ${response.status} ${await response.text()}`); } return response.json(); } // Register this handler with the MCP SDK version used by your server.

选择更小的工具集：Agent 与 Family 端点

Agent endpoint: https://mcp.crawlora.net/mcp/agent 3 tools: search_tools, get_tool, call_tool Family endpoint: https://mcp.crawlora.net/mcp/family/<family> e.g. https://mcp.crawlora.net/mcp/family/web, https://mcp.crawlora.net/mcp/family/youtube Authentication: same Authorization: Bearer $CRAWLORA_API_KEY header

# One connection that can reach every platform through search_tools / call_tool codex mcp add crawlora-agent \ --url https://mcp.crawlora.net/mcp/agent \ --bearer-token-env-var CRAWLORA_API_KEY # Only the web search / scrape / crawl tools, in Grok Build grok mcp add --transport http crawlora-web https://mcp.crawlora.net/mcp/family/web \ --header 'Authorization: Bearer ${CRAWLORA_API_KEY}'

合规使用公开网络数据

阅读 Crawlora 服务条款