190万件の求人から「Web Scraper」を探したら、見つかったのは2件でした

「web scraping jobs」で検索すると、GlassdoorやZipRecruiter、Salary.comといった給与集計サイトが出てきて、いずれも12万〜16万ドルという健全そうな平均額を示します。しかしどのサイトも、そうした求人が実際にどれだけ存在するのかは示していません。そこで私たちはCrawlora自身のJobsデータセットで直接数えてみました。1,935,047件の開かれた求人掲載を、主要な企業の採用管理システムすべてからクロールしたものです。その結果は驚くべきものでした——280件の求人だけが本当にScrapingを業務内容として記述しており、文字通り「Web Scraper」というタイトルを持つのはわずか2件です。

素朴な検索は即座に破綻する

最初に思いつく方法は、求人票を「web scraping」で検索し、結果を数えることです。実際に試してみました。頻度で見た上位の一致は、「Multi-Media Account Executive」(54件)、「Merchandising Service Associate」(25件)、「Senior Software Engineer」(22件)、「Janitorial Cleaner」(6件)でした。

これらはいずれもScrapingの求人ではありません。考えられる説明はこうです。多くのATSテンプレートには、標準的なプライバシーやデータ取り扱いに関する通知——たとえば*「応募者情報の確認のためにWeb Scrapingツールを使用することがあります」*のような文言——が含まれており、それが職種にかかわらず、雇用主が掲載するすべての求人にそのまま使い回されています。全文検索では、「会社が定型文の一段落でScrapingに言及している」のか「この職種がScrapingを行う」のかを区別できません。この方法で一致した2,000件の求人のうち、職種タイトルのどこかに「scrap」という単語を含んでいたのはわずか3件でした。

代わりに正確なカウントを構築する

キーワード検索を捨て、代わりに適切な分類器を構築しました。緩い関連性一致ではなく厳密な語句の一致を要求し、その周辺に実際の技術的文脈があることを要求し、プライバシー定型文パターンを明示的に除外するというものです。まず絞り込んだサブセット——「情報通信技術専門職」という職業ファミリー、約20,197件の開かれた求人——に対して実行したところ、33件の本物の一致が見つかりました。これは実数ではありますが、大幅な過小カウントだと判明しました。テック系タイトルの求人に限定すると、他の職業ファミリーに分類されているScraping業務の求人(Business Intelligence Analyst、Data Operations Associateなど)を完全に見逃してしまうのです。

そこで代わりに母集団全体をスキャンしました——職業ファミリーの制限なしに、1,935,047件の開かれた求人すべてを、同じ語句プラス文脈の分類器で処理しました。これで314件の候補が浮かび上がり、手作業での見直しでさらに37件を除外しました(大半はOxylabs、Apify、Infaticaの求人——Product Manager、Marketing、SRE、Legalなど、自社の製品自体がWeb Scrapingである企業において、そのビジネス自体を指しているだけで職種の内容ではないもの)。さらに、関連語である「reverse engineering(リバースエンジニアリング)」に対する二次チェック(後述)で見つかった数件を追加しました。

最終的な件数:1,935,047件中280件が本物のScraping業務求人——0.0145%、つまり開かれた求人6,911件に1件です。

280件の内訳

完全な表を表示(該当求人が2件以上ある企業)

企業	求人数	内容
Toloka AI	59	2つのタイトル、いずれも明示的に「Freelance」
LSEG	10	Data Scientist(全レベル)、7カ国
WIN Home Inspection	7	Senior/Data Engineer
PWC	5	Data Scientist、コンサルティング/インターンシップ枠
Getwingapp	5	GTM Automation Engineer
NielsenIQ	4	Web Scraper(2件)、Software Engineer(2件)
Infatica	4	Senior Scraping Engineer——正社員、Freelance限定の注記なし
UNUM	3	Data Scientist、CX/People Analytics
Microsoft	3	Software Engineer、各種
Reflectionai	3	Data Ingestion / Web Crawl Engineer
Oxylabs	3	Web Scraping Engineer、Data Analyst、PM(Web Scraper APIs)
OpenAI	3	Software Engineer、Data Acquisition
Contentful	3	Senior Product Architect
Comtech LLC	3	Data Engineer(Java/Scala/Spark)

2つのパターンが目立ちます。第一に、一部の企業がひとつのチームのすべての求人で系統的にScrapingに言及しているケースです。LSEGのData Scientist求人テンプレートは、バンガロールから北京、グディニアまで同一の内容で使われており、これが280件のうち10件が独立した10の市場シグナルではなく、単一企業の採用パイプラインである理由です。第二に、そしてより示唆的なのは、280件のうちわずか2件——いずれもNielsenIQ——だけが文字通り「Web Scraper」というタイトルを持つことです。それ以外はすべて、Data Scientist、Data Engineer、Data Analyst、Software Engineerといった職種で、Scrapingは複数ある要件のひとつに過ぎず、職種名そのものではありません。

Scrapingがそれ単体の職種であるとき、それはFreelanceである

Toloka AIは280件の一致のうち59件——見つかったもの全体の21%——を占めており、そのすべてが正確に2つのタイトルのどちらかです。**「Senior Python Data Scraping Engineer (Freelance)」と「Freelance Data Scraping Engineer (Python)」**です。どちらもタイトル自体に「Freelance」と明記され、複数の拠点で繰り返し掲載されています。

これは、このデータセットにおける最も明確な証拠であり、シンプルな説明を裏付けています。企業が「Scraping」を実際に独立した職種として切り出す場合、それは圧倒的に契約またはFreelanceとして構成されており、恒久的な正社員採用ではないということです。これは、独立して見た場合のFreelance市場の実態とも一致します——ZipRecruiterは今年時点で「時給51〜113ドルのリモートWeb Scraping求人」や「時給52〜90ドルのPython Web Scraping求人」を掲載しており、これはフルタイム採用と並行して、そしてほぼその代わりとして存在するギグ賃金市場です。

唯一のクリーンな例外はInfatica——プロキシ/Scrapingインフラの企業——で、**「Senior Scraping Engineer (Web scraping & Anti-bot)」**の求人が4件あります。Freelanceの注記はなく、正社員としての本物のタイトルです。Oxylabsにも1件あります(「Web Scraping Engineer - Python」)。両社ともScrapingインフラの販売を生業としています。この狭い範囲——製品そのものがScrapingである企業——の外側では、常設の「Scraping Engineer」という求人枠はほとんど存在しないに等しいのです。

実在する職種タイトルとの比較

190万件中280件というのが、異例に稀なのか、それとも単に職種タイトル自体が一般に狭く定義されているだけなのかを知るために、同じ母集団をもっとシンプルなフィルターにかけてみました。タイトルに文字通り「software engineer」を含むかどうかです。同じテック求人母集団(ICT専門職の職業ファミリー、走査対象は約20,138件)の中では、11,823件が一致しました——ファミリー全体の58.7%です——そのうち3,279件がUSD建ての給与を開示しており、中央値は185,000ドル(p25は150,262ドル、p75は215,000ドル)、リモート比率は20.6%です。

グループ	求人数	USD開示	中央値(USD)	リモート比率
Scraping業務(分類済み)	280	112件(40%)	93,600ドル	47.1%
「Software Engineer」(タイトル一致)	11,823	3,279件(28%)	185,000ドル	20.6%

これは注意深く読む必要があります——これは単純な給与の同一条件比較ではありません(Scraping業務のグループは、開示率がはるかに低い、より小規模で非米国の雇用主に偏っており、しかもTolokaのFreelance求人だけでサンプル全体の5分の1以上を占めています)。また中央値も、Scraping業務が「どれだけの価値があるか」を評価するものではありません。本当に重要な数字は件数です。11,823件対280件は、同じ母集団を同じ手法で見た場合の42倍のギャップです。「Software Engineer」は企業が日常的に採用する職種です。「Scraping Engineer」は、Scrapingを生業とする一部の企業を除けば、実質的にそうではありません。

「Reverse Engineering」も確認しましたが、全体像は変わりません

ScrapingとAPIのリバースエンジニアリングは密接に関連するスキルであるため、コーパス全体を「reverse engineering」「reverse engineer」「reverse-engineer」でも検索しました。1,485件の候補が見つかり、Scraping語句検索の生の件数の5倍近くに上ります。しかしそのほとんどは関連性がありませんでした。901件はファームウェア、マルウェア解析、ハードウェア(チップ、基板、組み込みシステム)に明確に関するもので、たまたま同じ2つの単語を共有しているだけの、まったく別の分野です。さらに256件は、web/API/アプリ固有の用語との共起を要求するより厳密な文脈チェックに失敗しました。たとえば「Endpoint Engineer」は検索には一致しましたが、意味しているのはIT機器管理(APIエンドポイントではなくノートPCなど)です。

フィルタリングの結果、本当にAPIやWebサイトのリバースエンジニアリングによるデータ取得に関するものだったのは、正確に3件でした。企業は2社(Belvo、オープンバンキングのデータプラットフォーム、およびAdthena、競合インテリジェンスの企業)で、いずれも社内でこの種の作業を必要としそうな類の企業です。これら3件は上記の最終カウントに加えています。結論として、「web scraping」とその直接的な同義語は、すでに実質的にすべての本物のシグナルを捉えているということです。リバースエンジニアリングという言葉は、別名の下に隠れたより大きなScraping求人の集団を明らかにするものではありません。

結論

Scrapingは実在し、広く使われている技術スキルです——Crawlora自身のビジネスもそれに依存していますし、企業がその成果物を強く必要としているからこそ、それを販売する業界全体が存在しています。しかし労働市場が示しているのは、それを職業として行う人をわざわざ雇う企業がほとんどないという事実です。190万件の開かれた求人のうち、280件(6,911件に1件)が本当にそれを業務内容として言及しており、2件が実際の職種タイトルとして使用しており、そして「Scraping」を単体の求人職種として最も多く提供している存在——Tolokaの59件——は明示的にFreelanceであり、キャリアではありません。企業が実際にそれを必要とするとき、労働市場の答えは「Scraper担当者を雇う」というより、「これもできるData Scientistを雇う」あるいは「プロジェクト単位で契約者に支払う」に近いものになります——あるいは、この調査全体が異例なほど強く裏付けている選択肢として、パイプラインを自前で構築するのではなく、データそのものを買うという道です。

調査方法(および留意点)

データソース: Crawloraの求人データセットです。Workday、Greenhouse、Lever、Ashby、SmartRecruiters、Workable、Recruitee、Rippling、Personio、Teamtailor、Oracle、UKG、iCIMS、Eightfold、Gem、Pinpointにまたがる、発見済みのすべての企業ボードから開かれた求人をクロールし、さらに単一企業運営の大手テック企業ボード5件(Amazon、Apple、Google、Meta、Tesla)を加えています。スナップショットは2026年8月4日に取得。この時点で開かれた求人は1,935,047件でした。

分類器はヒューリスティックであり、絶対的な真実ではありません。 厳密な語句の一致に加え、2つ以上の技術用語、そしてプライバシー定型文の文脈がないことを要求するアプローチは適合率重視です——6つのトリガー語句のどれも使わずに業務内容を説明している本物のScraping業務求人(たとえば手法の名前を出さずに「競合の価格を毎日収集する」とだけ書かれている求人)を依然として見逃しますし、手作業での絞り込み(Oxylabs/Apify/Infaticaの無関係な全社共通求人を除外する作業)もアルゴリズムではなく判断に基づいています。私たちが自信を持っているのは桁数——200万件近くのうち数百件であり、数千件や数万件ではないという点——であり、280という正確な数字そのものではありません。

給与の数字は例示的なものであり、統計的に厳密なものではありません。 280〜11,823件の求人のうち、開示された値はn=111〜112件にとどまります。給与を開示する求人は、給与透明性法のある米国の管轄区域に偏りがちです——これは誰が開示するかにおける現実の偏りであり、サンプル自体の欠陥ではありません。

**これが測定しているのは企業のATSボード上のフルタイムおよび契約求人です。**Freelanceマーケットプレイス(Upwork、Fiverrなど)の掲載は含まれていません。そして上記の定性的な証拠が示唆するのは、まさにそこにこの業務のかなりの部分が実際には存在しているということです。

採用に頼らず、ScrapingデータをそのままAPIとして取得する

CrawloraはWeb上の何百ものサイトやプラットフォームを正規化されたJSONに変換します——Scrapingチームもプロキシローテーションもアンチボット対応の保守も不要です。毎月2,000クレジット無料、クレジットカード登録も不要です。

Web Scraping APIを見る料金を見る