採用ページの墓場：見つけた求人ボードの3分の1以上が消滅またはブロック済み

「企業採用ページのリスト」というと、一度作れば永遠に使い回せるもの——電話帳のような静的な索引——のように聞こえます。しかし実際は違います。私たちは Crawlora の Jobs データセットの一部として、まさにこの種のリストを自ら維持しており、「これまでに見つけたボードのうち今も存在するのはどれだけか」という問いへの正直な答えは——その3分の1以上はもう存在しない、です。

このデータセットは現在、Greenhouse、Lever、Ashby、Workday、SmartRecruiters、Workable、Recruitee、Rippling、Personio、Teamtailor、Oracle、UKG、iCIMS、Eightfold という14のホスト型採用管理プラットフォームにまたがる17,064件の企業採用ページ・ボードを追跡しており、今日時点で900,907件の求人情報をライブでインデックスしています。この登録簿にあるすべてのボードにはステータスが付与されており、そのステータスこそが本稿の本題です。

見つけたものの3分の1以上が消滅またはロックされている

発見した17,064件のボードすべてを現在のステータスで分類すると、その形はすぐに見て取れます。

アクティブ56.7% · 9,678ブロック20.6% · 3,510消滅15.8% · 2,698空6.8% · 1,157保留0.1% · 21

9,678件のボード（56.7%）はアクティブです。 これは過半数であり、今日私たちがインデックスしている900,907件の求人情報の裏付けとなる数字です。しかし2つの失敗状態——blocked（3,510件、20.6%）と gone（2,698件、15.8%）——を合わせると、**6,208件のボード、登録簿全体の36.4%**になります。このクロールがこれまでに見つけた採用ページ・ボード3件のうち1件以上が、現在ロックアウトされているか、単純にもう存在しないかのどちらかなのです。

ボードが死ぬ2つの異なる方法

「ブロック」と「消滅」は似たように聞こえますが、正反対の失敗モードを表しており、区別する価値があります。相手側の企業について異なることを物語っているからです。

ブロックされたボードはまだ存在しています。ページはそこにあり、企業はおそらく今もそこを通じて採用を続けていますが、相手側の何か——新しいボット検知ベンダー、より厳格なWAFルール、CDN設定の変更——が今クローラーを積極的に拒否しています。多くの場合これはボードがより防御を固めた結果であり、利用が減ったわけではありません。3,510件のボード、登録簿の20.6%がこの状態です。

消滅したボードは別種の失敗です。URLがもはや解決しないか、採用ページではない何かに解決してしまいます。企業が別のATSベンダーに移行し、旧ボードのURLが404を返すようになった。子会社が親会社に統合され、独立したボードが消えた。ドメインが変わった。具体的な原因が何であれ、私たちはもうそのボードを見つけられません、それだけです。2,698件のボード、登録簿の15.8%がこの状態です。

どちらの数字も、背後にある企業が採用を停止したという主張ではありません——多くの gone ボードは、例えば Lever から Workday へ移行し、旧ボードを放置しただけの企業です。しかし、今日取得した「企業採用ページ」の静的なエクスポートは、来四半期に使う頃には測定可能なほど劣化しているということを意味します。

残りの63.5%：まだそこにあり、多くはまだ有用

登録簿の残りにも公平を期す価値があります。active（9,678件）に empty（1,157件）——現在募集があるかどうかにかかわらず到達可能なボード——を加えると、10,835件のボード、発見された全体の63.5%が今もそこにあり正常に機能しています。 empty は崩壊ではありません。企業が採用サイクルの合間にあり、同じATSにとどまり、次回確認しても到達可能な状態にあるだけです。そして周辺での崩壊にもかかわらず、このデータセットは今日も900,907件の求人情報をインデックスしています——求職中の方や競合他社の人員数を追跡している方にとって、実際に重要な数字です。

ボードはどこにあるのか

ボード数は14のプロバイダー間で均等には分布していません。Workday と Greenhouse の2つのプラットフォームだけで、発見したボードの40.3%を占めています。

プロバイダー	ボード数	割合
Workday	3,571	20.9%
Greenhouse	3,314	19.4%
Workable	2,950	17.3%
Personio	1,325	7.8%
Ashby	1,196	7.0%
Teamtailor	1,080	6.3%
Rippling	919	5.4%
SmartRecruiters	891	5.2%
UKG	760	4.5%
Recruitee	710	4.2%
Oracle	272	1.6%
Lever	71	0.4%
iCIMS	4	<0.1%
Eightfold	1	<0.1%

このボード数によるランキングは、プロバイダー別の求人件数とは別の問いです——Workday のボードは巨大なため（単一のエンタープライズボードが数千件の募集を抱えることもある）、ボード数以上に求人件数を支配しています。この偏りについては 求人市場は、量で見れば Workday の市場である で別途取り上げました。2本を合わせて読むと、あるプラットフォームがどれだけのボードを持ち、実際にどれだけの採用がそこを通じて動いているかという、両方の側面が見えてきます。

ご自身でボードを照会する

本稿のすべてのステータスはライブフィルターであり、一度きりのエクスポートではありません。企業登録簿エンドポイントは、上記の5つの値のいずれかを取る status パラメータを受け付けます。

curl --get "https://api.crawlora.net/api/v1/datasets/jobs/companies" \
  -H "x-api-key: $CRAWLORA_API_KEY" \
  --data-urlencode "status=blocked" \
  --data-urlencode "sort=crawled_desc" \
  --data-urlencode "page_size=20"

status=blocked を status=gone、status=active、status=empty に置き換えれば、登録簿の任意の断面を取得できます。求人情報そのものには /datasets/jobs/search を、現在の募集状況をプロバイダー別に集計するには /datasets/jobs/facets を組み合わせてください。パラメータの全リストは Jobs API ドキュメント にあります。

その意味するところ

クロールされた「企業のリスト」——採用ページ、ストアのリスティング、店舗、公開ウェブのクロールに由来するあらゆる登録簿——の上に何かを構築しようとしている人にとって、この教訓は求人に限った話ではありません。発見ベースの登録簿は固定された資産ではなく、生きたものだということです。一度エクスポートして永遠に信頼するのではなく、再クロールと再分類が必要です。私たちは Chrome ウェブストア でも同じ形を見ています。そこでは、到達可能で有用な状態を保つ集団は、これまでにインデックスされた全体のごく一部に過ぎませんでした。採用ページが崩壊する理由はもう少し具体的です——企業がどのATSを運用するか、そもそも公開ボードを維持するかどうかは、どの企業も変更できるし、実際に変更する決定だからです。

17,064件の企業採用ボードを直接照会する

求人情報をライブで検索し、企業登録簿をATSプロバイダーやボードのステータスでフィルターし、プロバイダー別の集計を1つのREST APIから取得できます。毎月2,000の無料クレジット、カード不要。

データセットを探索するJobs API を読む