AIエージェントのためのデータレイヤー
AIエージェントやデータパイプラインが1つのREST APIから取得できる、構造化済みのウェブデータ。 MCPクライアントから直接呼び出すこともできます。 4.3M件のアプリを収録した App Store + Google Playカタログ、両ストアの デイリーアプリランキング 、 7.9M 件のアプリレビュー （感情分析付き）、Google Mapsのローカルビジネスデータセット、そして Anti-Bot ・ Dead-Web インデックスのような継続的なウェブ調査。クリーンなJSONを取得でき、成功分のみの課金。クロールの構築は不要です。
4.3M
件のアプリを収録。さらに 24件のデータセットがあり、すべて1つのREST APIから利用できます。
1.4M
iOSアプリ
2.9M
Androidアプリ
998K
サイトをスキャン
正規化されたJSON · 成功分のみの課金 · 毎月2,000クレジット無料。
| データセット | 対象範囲 | レコード数 | 更新 | RESTエンドポイント |
|---|---|---|---|---|
| App Store + Google Playアプリ | 各アプリのカテゴリ、評価、評価数、価格、インストール規模、人気度 | 4.3M件のアプリ | 継続的にエンリッチ | datasets/apps/search |
| App Store + Google Playランキング | iOS App StoreとGoogle Playにおける無料・有料・売上のデイリートップランキング | 1日あたり90件のランキング | 毎日更新 | datasets/apps-charts/search |
| App Store + Google Playレビュー | iOS App StoreとGoogle Playの人気アプリに対する最近のユーザーレビュー | 7.9M件のレビュー | 定期的に更新 | datasets/apps-reviews/search |
| Google Mapsビジネス情報 | 検索インデックスに保存されたGoogle Mapsのビジネスレコード | ローカルビジネス情報 | 継続的に拡大中 | datasets/google-map-businesses/search |
| Airbnbマーケット | ほぼ完全な公開リスティング供給センサスから得たAirbnb短期賃貸マーケットの集計統計 | 7.9M件のリスティング | スナップショット 2026-07-03 | datasets/airbnb-markets/search |
| GitHub開発者プロフィール | GitHubの個人開発者の公開プロフィールをエンリッチしたデータ | 973K件のプロフィール | スナップショット 2026-07-07 | datasets/github-users/search |
| X（Twitter）ユーザープロフィール | X（Twitter）の公開プロフィール | 471K件のプロフィール | スナップショット 2026-07-21 | datasets/x-users/search |
| SEC EDGAR企業 | SEC EDGARのすべての提出企業を1レコードとして収録 | 977K社の提出企業 | スナップショット 2026-07-21 | datasets/sec-companies/search |
| Jobs — 企業と求人 | 14のATSプロバイダーにまたがる発見済み企業採用ボードとライブ求人 | 20K件のボード | スナップショット 2026-07-21 | datasets/jobs/search |
| Steamゲーム | SteamSpyの推定所有者数によるSteamゲーム上位10,000タイトル | 上位10Kタイトル | スナップショット 2026-07-11 | datasets/steam-games/search |
| Chrome Web Storeアイテム | 拡張機能、テーマ、レガシーアプリの表示ユーザー数、評価、バージョン、権限、プライバシー開示、変更履歴 | 966件のパイロットレコード | パイロットスナップショット 2026-07-14 | datasets/chrome-extensions/search |
| Steamランキング | Steam公式ストアランキングのデイリー時系列 | 1日あたり220行 | 毎日更新 | datasets/steam-charts/search |
| 米国住宅マーケット | 米国のすべての都市圏、郡、市、ZIPを対象としたRedfinのマーケット統計 | 52K地域 | スナップショット 2026-05 | datasets/housing-markets/search |
| ウェブサイトの技術スタック | 各サイトを支える技術（CMS、ECプラットフォーム、CDN、アナリティクス、ウェブサーバーなど約200種類） | 979Kサイト | スナップショット 2026-07-21 | datasets/techstack/search |
| ジャーナリスト連絡先 | ジャーナリスト・記者の媒体、肩書き、担当領域、公開連絡先 | 44K人以上のジャーナリスト | 継続的に拡大中 | datasets/journalists/search |
| Numbeo 生活コスト | Numbeoの7指標を都市・国ごとに1レコードへ統合 | 1,079都市 | スナップショット 2026年7月21日 | datasets/numbeo-cities/search |
| 最多プレイSteamゲーム | Steam公式の最多プレイランキング | ライブのトップ100 | ライブ | — |
| ウェブ上のローカルビジネス | ローカルビジネスは実際どれだけオンライン化しているか | 1,240万件のリスティングを分析 | スナップショット 2026-06-10 | — |
| TikTok Creators Index | TikTokクリエイターのピラミッド構造 | 326万人のクリエイターを分析 | スナップショット 2026-06-21 | — |
| Airbnb Market Index | 主要10のAirbnbマーケットにおける短期賃貸データ | 10マーケットを分析 | スナップショット 2026-06-23 | — |
| Anti-Bot Index | 世界の上位サイトのうち、どれがアンチボット/WAF保護を運用し、どのベンダーを使っているか | 998Kサイトをスキャン | スナップショット 2026年6月14日 | — |
| Dead-Web Index | 人気のあるウェブのうち、実際にどれだけが消滅・ブロック・パークされているか | 世界の上位ドメインを調査 | ライブ測定 | — |
| AI-Crawler Blocking Index | 各サイトがrobots.txtでどのAIクローラーをブロックしているか | 上位100万サイト · robots.txt | スナップショット 2026-06-20 | — |
| State of Web Scraping & Anti-Bot 2026 | オープンウェブがどのように自らを防御しているかをまとめた年次フラッグシップレポート | 上位100万〜1,000万 · 統合分析 | 2026年6月 | — |
| Search vs. Store | 人々はGoogleで調べたAIアプリを実際にダウンロードしているのか | 40のAIアプリ · 3つのシグナル | スナップショット 2026-07-01 | — |
アプリとGoogle Mapsのデータセットは上記のRESTエンドポイントからJSONを返します。Anti-BotとDead-Webはインタラクティブな調査です。件数は最新のインデックス済み合計で、クロールの進行に伴って増加します。
最もデータが豊富な2つのデータセットからいくつかの切り口を紹介します。グラフにカーソルを合わせると系列を絞り込めます。完全な内訳は各データセットのページにあります。
アプリカタログはAndroidに偏っています
Google PlayはApp Storeの約2.1倍 — Androidが2.9M件に対し、iOSは1.4M件です。
2,939,228 apps
1,409,323 apps
ほとんどのアプリは見つけられていません
Androidアプリの61%はインストール数1,000未満で、10億を超えたものは171件しかありません。
| インストール数帯 | アプリ数 |
|---|---|
| < 1K | 1,792,550 |
| 1K–10K | 554,968 |
| 10K–100K | 328,183 |
| 100K–1M | 147,183 |
| 1M–10M | 52,684 |
| 10M–100M | 12,223 |
| 100M–1B | 1,280 |
| 1B+ | 171 |
ウェブの大半は反撃してきません
Anti-Bot Index向けにスキャンした上位998,497サイトのうち、437,857サイトがマネージド型の防御を運用していますが、実際にボットにチャレンジを課したのは79,835サイト（8%）だけでした。
| Scanned → Reachable | 818,614 (36.3%) |
| Reachable → Has a wall | 437,857 (19.4%) |
| Reachable → No wall | 380,757 (16.9%) |
| Has a wall → Passively present | 358,022 (15.9%) |
| Scanned → Unreachable | 179,883 (8%) |
| Has a wall → Actively challenged | 79,835 (3.5%) |
保存・構造化・重複排除済み — ライブクロールなしでインデックスを直接検索できます。REST API経由で正規化されたレコードをフィルタ、ファセット、ソート、ページングできます。
アプリインテリジェンス
4.3M件のアプリ
iOS 1.4M件 · Android 2.9M件
各アプリのカテゴリ、評価、評価数、価格、インストール規模、人気度 — iOS App StoreとGoogle Playを横断し、アプリ1件・ストア1件につきレコード1件に重複排除しています。
主なフィールド
titledevelopercategoryscoreratings_countprice / freeinstalls (Android)popularitycountries_available (iOS)アプリランキング
1日あたり90件のランキング
15か国 · 無料 / 有料 / 売上トップ
iOS App StoreとGoogle Playにおける無料・有料・売上のデイリートップランキング。ランキング・スナップショット・順位ごとに1レコードなので、その日の順位表を読むだけでなく、変動を差分として追える時系列データになります。
主なフィールド
storechart_typecountrysnapshot_daterankapp_idtitledeveloperレビュー感情分析
7.9M件のレビュー
最近のレビュー · 感情分析 · 参考度
iOS App StoreとGoogle Playの人気アプリに対する最近のユーザーレビュー — スコア、タイトル、本文、参考になった数、日付を、レビュー1件につき1レコードで収録。最近のレビューの感情は生涯評価より辛口に出ますが、それこそが読み取るべきシグナルです。
主なフィールド
storeapp_idcountryscoretitletextthumbs_upreviewed_atローカルビジネス
ローカルビジネス情報
検索 · ファセット · 近隣 · 詳細
検索インデックスに保存されたGoogle Mapsのビジネスレコード — キーワードと場所で検索し、カテゴリでファセット化し、地点の近隣を探し、place_idで1件を取得できます。保存済みインデックスを読むため、ライブスクレイピングもプロキシルーティングも発生しません。
主なフィールド
namecategoryaddressratingreview_countcoordinatesplace_id旅行・宿泊
7.9M件のリスティング
60か国以上 · 集計のみ
ほぼ完全な公開リスティング供給センサスから得たAirbnb短期賃貸マーケットの集計統計 — リスティング供給、評価、1泊価格帯を国・都市圏・地理セル単位で集計しています。集計のみで、個別のリスティングやホストは含まず、サンプルの少ないセルは非表示にしています。
主なフィールド
countrymarketlistingsavg_ratingmedian nightly pricesuperhost sharegeo density開発者インテリジェンス
973K件のプロフィール
検索 · ファセット · 近隣 · 個別取得
GitHubの個人開発者の公開プロフィールをエンリッチしたデータ — フォロワー、所属、関心領域、直近のアクティビティ、逆ジオコーディングで整えた所在地を、ログイン1件につき1レコードで収録。保存済みインデックスを直接検索でき、ライブクロールは不要です。
主なフィールド
loginnamecompanyfollowerspublic_reposinfluence_tierrank_scoregeo.countrydomainsactive_90dソーシャルインテリジェンス
471K件のプロフィール
検索 · ファセット · 個別取得
X（Twitter）の公開プロフィール — フォロワー、フォロー、自己紹介、外部リンク、投稿数、認証バッジ、アカウント年数を、ユーザー名1件につき1レコードで収録。確立されたアカウントをシード的に集めたインデックスで、ログアウト状態の公開ページから読み取っています。保存済みインデックスを直接検索でき、ライブクロールは不要です。
主なフィールド
usernamenamebiofollowersfollowingfollower_following_ratiopostsis_blue_verifiedcreated_atexternal_url企業インテリジェンス
977K社の提出企業
検索 · 個別取得 · ファセット · 財務 · インサイダー
SEC EDGARのすべての提出企業を1レコードとして収録 — プロフィール、ティッカー、業種、提出履歴、XBRLの財務諸表履歴、インサイダー取引の集計に加え、運用会社別の機関投資家13F保有も含みます。SECの公開データから構築され、直接検索でき、ライブクロールは不要です。
主なフィールド
ciknametickersexchangesic_descriptionstate_of_incorporationentity_typeforms_filedlatest_annual_revenuerevenue_bandinsider_txn_count_90d採用インテリジェンス
20K件のボード
検索 · 企業 · ファセット · 近隣 · 個別取得
14のATSプロバイダーにまたがる発見済み企業採用ボードと、そこから収集し1つのJSON形式に正規化したライブ求人 — 企業、部門、所在地、雇用形態、リモートフラグを収録。保存済みインデックスを直接検索でき、ライブクロールは不要です。
主なフィールド
providercompanytitledepartmentlocationemployment_typeremoteis_openposted_atstatusPCゲームインテリジェンス
上位10Kタイトル
検索 · ファセット · 個別取得
SteamSpyの推定所有者数によるSteamゲーム上位10,000タイトル — 価格、レビュー階層、所有者帯、ジャンル、対応プラットフォーム、リリース年を、アプリ1件につきエンリッチ済みレコード1件で収録。保存済みインデックスを直接検索でき、ライブクロールは不要です。
主なフィールド
app_idnameprice_centsis_freereview_tierowners_midpointgenresrelease_yearplatform_linuxmetacritic拡張機能インテリジェンス
966件のパイロットレコード
検索 · メトリクス · ファセット · 履歴
拡張機能、テーマ、レガシーアプリを、表示ユーザー数、評価、バージョン、宣言された権限、プライバシー開示、変更履歴とともに収録 — グラフ化しやすい集計メトリクス付き。現在の公開調査は、全カタログのバックフィル前に品質確認を行った1,000ID規模のパイロットです。
主なフィールド
idnameitem_typeusersratingmanifest_versionpermissionshas_broad_host_accesscollects_datastatusPCゲームランキング
1日あたり220行
同時接続 · 最多プレイ · 米国売上トップ
Steam公式ストアランキングのデイリー時系列 — ライブの同時接続プレイヤー数と24時間ピークによる最多プレイ（グローバル）に加え、価格付きの米国売上トップを収録。ランキング・日付・順位ごとに1レコードなので、その日の順位表を読むだけでなく、変動を差分として追えます。
主なフィールド
chartcountrysnapshot_daterankapp_idnameconcurrent_in_gamepeak_in_gamefinal_price_cents不動産インテリジェンス
52K地域
検索 · ファセット · 個別取得 · 2012年以降の月次
米国のすべての都市圏、郡、市、ZIPを対象としたRedfinのマーケット統計 — 販売・売出価格の中央値、在庫、市場滞在日数、競争度を2012年まで遡って月次で収録し、国勢調査の所得と結合して価格対所得比、購入に必要な年収、アフォーダビリティギャップを算出しています。集計マーケットデータのみで、保存済みインデックスを読み、ライブスクレイピングは行いません。
主なフィールド
region_typeregionstate_codeperiod_beginmedian_sale_pricehomes_soldmedian_household_incomeprice_to_incomesalary_to_buyテクノロジーインテリジェンス
979Kサイト
検索 · ファセット · 個別取得
各サイトを支える技術 — CMS、ECプラットフォーム、CDN、アナリティクス、ウェブサーバーなど約200種類 — をTranco上位100万サイトのHTMLとレスポンスヘッダーからフィンガープリントし、ドメイン1件につき1レコードで収録。保存済みインデックスを直接検索でき、ライブクロールは不要です。
主なフィールド
domaintechnology_namescategoriescmsecommercecdnweb_serverserver_languagehas_captchareachablePR・メディアインテリジェンス
44K人以上のジャーナリスト
227媒体 · 7.2%がメールアドレスあり
ジャーナリスト・記者のレコード — 媒体、肩書き、担当領域、そしてその媒体が自社のスタッフページに掲載している公開連絡先（業務用メールまたはソーシャルアカウント）を、報道機関自身の公開ページから直接クロールし、ジャーナリスト1人につき1レコードで収録しています。
主なフィールド
outlet_idoutletverticalnametitletopicscontact_emailsocial_linkscontact_type生活コストインテリジェンス
1,079都市
125カ国 · Numbeoの7指標
生活費、生活の質、犯罪・治安、医療、大気汚染、交通、不動産投資 — Numbeoの7つの指標すべてを、都市ごと・国ごとに1レコードへ統合し、ニューヨーク = 100の比較可能なスケールで収録しています。集計指標データのみで、保存済みインデックスを読み、ライブスクレイピングは行いません。
主なフィールド
citycountrycost_of_living_indexquality_of_life_indexsafety_indexcrime_indexhealth_care_indexpollution_indextraffic_indexcoverage大規模クロールを閲覧・引用可能な調査に変える2つの継続的なインデックス — エンティティ別ページ、グラフ、機械可読なテーブルを備えています。
ウェブデータ調査
ライブのトップ100
Steam公式の最多プレイランキング — 現在のライブ同時接続プレイヤー数で並べた上位100タイトルを、24時間ピークとともに表示します。Crawloraの/steam/chartsエンドポイント経由でSteamのランキングを読み取っています。
ライブの最多プレイランキングを見るウェブデータ調査
1,240万件のリスティングを分析
ローカルビジネスは実際どれだけオンライン化しているか：米国・英国・カナダのGoogle Mapsリスティング1,240万件のうち40%はウェブサイトを持たず、「ウェブサイト」として最も多く掲載されているのはFacebookページで、保有率は93%（銀行）から33%（農場）まで開きがあります。
Local Business Indexを見るウェブデータ調査
326万人のクリエイターを分析
TikTokクリエイターのピラミッド構造：確立された326万人のクリエイターのうち、フォロワー100万人以上はわずか1.6%、認証済みは4%、ビジネス連絡先を掲載しているのは4%で、100万人超に限れば23%まで上昇します。
TikTok Creators Indexを見るウェブデータ調査
10マーケットを分析
主要10のAirbnbマーケットにおける短期賃貸データ：推定稼働率は22%〜67%、1泊料金は69ドル〜464ドル、複数物件を扱うプロ運営者の比率は4%〜24%。代表性のあるマップグリッドサンプルから算出しています。
Airbnb Market Indexを見るウェブデータ調査
998Kサイトをスキャン
世界の上位サイトのうち、どれがアンチボット/WAF保護を運用し、どのベンダーを使っているか — 上位1,000,000サイトの全スキャンから、サイトカテゴリとTrancoランク帯別に分解しています。
Anti-Bot Indexを見るウェブデータ調査
世界の上位ドメインを調査
人気のあるウェブのうち、実際にどれだけが消滅・ブロック・パークされているか — 世界の上位ドメインにおける到達性とHTTPステータスをライブで測定します。任意のドメインを検索して判定を確認できます。
Dead-Web Indexを見るウェブデータ調査
上位100万サイト · robots.txt
各サイトがrobots.txtでどのAIクローラーをブロックしているか — 上位1,000,000サイトの全スキャンを、クローラー別、サイトカテゴリ別、TLD別、Trancoランク別に分解しています。Anti-Bot Indexと同じドメイン母集団です。
AI-Crawler Indexを見るウェブデータ調査
上位100万〜1,000万 · 統合分析
年次のフラッグシップレポート — オープンウェブがどのように自らを防御しているかを、Anti-Bot Adoption、AI-Crawler Blocking、Dead-Webの各インデックスを統合して1本の引用可能な読み物にまとめています。測定しているのはウェブの防御姿勢であり、ボットトラフィックではありません。
2026年版レポートを読むウェブデータ調査
40のAIアプリ · 3つのシグナル
人々はGoogleで調べたAIアプリを実際にダウンロードしているのか？主要40のAIアプリについて、Google Trendsの検索需要、米国App Storeの順位、SimilarWebのウェブトラフィックを結合しました。検索とストアはほとんど一致せず、両方で首位なのはChatGPTだけです。CSV + JSON、CC BY 4.0。
Search vs. Storeを見る同じデータセットを特定の用途向けに整理 — 対象ユーザー、ワークフロー、APIを1か所にまとめています。
ローカルリード獲得
1,240万件のGoogle Mapsビジネス情報を、検証済みメールアドレス付きのリードリストに — 発見と連絡先エンリッチメントをまとめて、成功分のみの課金で。
詳しく見るアプリインテリジェンス
App StoreとGoogle Playの410万件のアプリを1つのAPIで監視 — ランキング、評価、レビュー、提供状況まで。
詳しく見るクリエイターインテリジェンス
326万人のTikTokクリエイターをニッチ、フォロワー層、エンゲージメント、認証で検索 — 集計のみ、GDPRに配慮した設計です。
詳しく見るすべてのデータセットはドキュメント化されたRESTエンドポイントです。認証には x-api-key ヘッダーを使い、クエリパラメータでフィルタとソートを行うと、正規化されたJSONが返ります。HTMLのパースもプロキシの管理も不要です。クエリは保存済みインデックスを読み取り、課金は 成功分のみ。失敗したリクエストではなく、結果に対して課金されます。
アプリカタログを検索する
curl "https://api.crawlora.net/api/v1/datasets/apps/search?store=android&sort=popularity_desc&size=20" \
-H "x-api-key: $CRAWLORA_API_KEY"ローカルビジネスの場合は datasets/google-map-businesses/search に置き換えてください。
Crawloraは検索、地図、マーケットプレイス、ソーシャル、金融など300以上のライブエンドポイントを提供しています。公開されているウェブデータのほとんどは構造化データセットにできます。提供中のものを見るか、必要なものをお知らせください。
Crawloraはウェブデータのデータセット群を運用しています：App Store + Google Playのアプリカタログ（4,348,551件 — iOS 1,409,323件、Android 2,939,228件）、App StoreとGoogle Playのデイリートップランキング（15か国で90件のランキング）、感情分析付きのアプリレビュー7,915,917件、Google Mapsのローカルビジネスデータセット、ほぼ完全なAirbnbマーケットデータセット（60か国以上で7.9M件のリスティング）、そしてAnti-Bot Index（998,497サイトをスキャン）やDead-Web Indexのような継続的なウェブ調査です。アプリ、ランキング、レビュー、Maps、AirbnbのデータセットはREST API経由でJSONとして取得でき、各インデックスは閲覧・引用できるインタラクティブな調査です。
CrawloraのREST APIにx-api-keyヘッダーを付けて呼び出します。`datasets/apps/search`はアプリカタログを検索し（ストア、カテゴリ、評価、価格でフィルタし、人気度でソート）、`datasets/google-map-businesses/search`は保存済みのGoogle Mapsビジネスをキーワード、場所、ファセット、近隣検索で探します。いずれも正規化されたJSONを返し、成功分のみの課金です。まずはDatasets APIのドキュメントをご覧ください。
アプリカタログは継続的にエンリッチされており（最新スナップショットは2026年7月21日）、Google Mapsデータセットは継続的に拡大しています。Anti-Bot Indexは定期的な上位100万サイトの全スキャンで（最新は2026年6月14日）、Dead-Web Indexはリクエストに応じてドメインをライブで調査します。
Crawloraのカタログは両ストア合わせて4,348,551件のアプリをインデックスしています — iOS App Storeが1,409,323件、Google Playが2,939,228件で、それぞれストアごとに1レコードへ重複排除し、カテゴリ、評価、価格、インストール、人気度のフィールドを持ちます。
データセットのクエリはクレジット制プランで成功分のみ課金されます（失敗したリクエストではなく結果に対して課金）。毎月2,000クレジットが無料で、開始時にカード登録は不要です。プランの上限は料金ページをご覧ください。
4.3M件のアプリ、Google Mapsのビジネス情報、そして継続的なウェブインデックスを1つのREST APIで取得 — クリーンなJSON、パース不要、成功分のみの課金です。