オープンウェブで発見した32万4,523件のXアカウントを追加。青バッジ保有率は19%から5%に低下

4つ前の調査で、私たちはXユーザーインデックスを、Wikidata、GitHub、スタートアップ創業者、ジャーナリストからシードされた325,553件の公開プロフィールとして説明しました。この数字は、3本目の調査が公開される頃にはすでに古くなっていました——有機的なクロールがキュレーション済み階層を471,437件まで押し上げていたのです。そして7月下旬の4日間で、インデックスは再び跳ね上がり、796,611件になりました。5つ目のキュレーション済みシードリストを加えたからではありません。Common Crawlを発見チャネルとして有効化したからです——著名性リストから出発する代わりに、オープンウェブがすでにリンクし言及している内容を読むことで、検索エンジンがウェブページを見つけるのと同じ方法でXアカウントを見つける手法です。

このチャネルひとつだけで、ほぼ一夜にして324,523件のアカウントが追加されました。これは今やインデックス内で2番目に大きな階層であり、Wikidataのすぐ後ろ、そして他のすべてのソースを合わせたものよりわずかに前に位置します。ここで当然の疑問が生じます。オープンウェブを読んで発見されたXアカウントは、誰がWikidataの項目を持っているかを確認して発見されたXアカウントと同じ姿をしているのか? 答えはノーです。

新しい半分は、古い半分とまったく似ていない

インデックスを二分割してみましょう——324,523件のCommon Crawlプロフィールと、他のすべての階層(Wikidata、GitHub、X検索、フォローグラフ、創業者、ジャーナリスト、その他)からの472,088件のプロフィールを比較し、このデータセットの他の部分が組み立てられている同じシグナルを見比べます。

青バッジ — Common Crawl4.9%

青バッジ — 他の階層18.9%

bioあり — Common Crawl81.4%

bioあり — 他の階層91.8%

これらのギャップはすべて同じ方向を指しています。Common Crawlは、Xのより普通の断面を見つけたのです。認証にお金を払うアカウントは少なく、bioを埋める手間をかけたアカウントも少なく、そしてほぼ半数がフォローバックされるより多くフォローしています——これは注目される側というより、見知らぬ人をフォローする、日常的なソーシャルアカウントの形です。フォロワー10万人を超えるのはわずか1.6%で、キュレーション済み階層の6分の1の割合です。

ひとつの数字だけがこのパターンを破っており、じっくり見る価値があります。Common Crawlアカウントの63.6%は依然として外部リンクを掲載しており、キュレーション済み階層よりわずか13ポイント低いだけです。これは発見手法の偶然ではなく、そのメカニズムそのものです。Common Crawlは、あるアーカイブ済みのウェブページがそのアカウントにリンクしているからXアカウントを見つけます。そして、そうしたページの不均衡に大きな割合が、そのアカウント自身のウェブサイトであり、自らを紹介しているのです。このチャネルは、大きなフォロワー数を持つアカウントには偏っていない一方で、構造的にリンクを持つアカウントには偏っています。

フォロワー数で見た最大のCommon Crawlアカウントは、Netflixのブラジルブランドアカウントである@NetflixBrasilで、3,750万フォロワーを抱えています——この階層が小規模アカウントだけではないことの証拠であると同時に、単に小規模アカウントが数の上で圧倒的多数を占めていることの証拠でもあります。

同じ形状だが、下位でより鋭い

このデータセットの他の部分では、認証はフォロワー数とともに着実に上昇します——これはリーチに比例してスケールする、有料サブスクリプションのシグナルであって、アイデンティティの指標ではありません。この勾配はCommon Crawlの内部でも生き残っていますが、はるかに低い床から始まります。

上位では、両方の母集団が収束します——どちらのグループでもフォロワー10万人以上のアカウントの半数以上が認証済みです。これは、大きなアカウントに無料の認証を与えるXの2023年の方針が、どのシード階層でそのプロフィールが見つかったかを気にしないためです。下位では、両者は大きく乖離します。フォロワー100人未満のアカウントが認証されている確率は、キュレーション済み階層(そこでは「キュレーション済み」という言葉自体が、何らかの著名性や専門的存在感のベースラインをすでに含意しています)から来た場合、ランダムなウェブ言及から浮上した場合と比べて15倍以上高くなります。勾配の形状は同じです。Common Crawlはただ、坂のもっと下から出発しているだけです。

新しいアカウントではない——オープンウェブがまだリンクしていなかっただけ

ウェブ言及を通じてアカウントを見つけるチャネルについての当然の仮説は、それが主に最近のアクティビティ——新しいサイト、新しいリンク、新しいアカウント——を拾っているというものです。しかし実際は違います。

2015年より前に作成78.0%

2015〜2019年に作成16.3%

2020年以降に作成5.8%

Common Crawlアカウントの5件中ほぼ4件が2015年より前に作成されています。これらは古いウェブページ上の古いアカウントです——10年前のコミュニティブログ、企業の「フォローしてね」フッター、フォーラムの署名などです。検索エンジン的なウェブアーカイブのクロールが最終的にこれらを表面化させる一方、著名性優先のシードリスト(Wikidata、GitHub、創業者データベース)がこれらを拾い上げる理由は一度もありませんでした。この階層は新しいユーザーを見つけているのではありません。インデックスの他の部分が捕捉するように作られたことのなかった、古く普通のユーザーを見つけているのです。

これが示すこと、示さないこと

成り立つと考えること: 著名性によるシード付けではなく、オープンウェブ上の言及を通じてアカウントを見つける発見チャネルを追加すると、Xプロフィールインデックスの構成が大きく変わります——低い認証率、薄いbio、少ないメガアカウント、より日常的なフォロー行動——一方で、これらのアカウントの古さそのものは変わりません。このデータセットがすでに記録していたリーチと認証の勾配は、新しい母集団の内部でも再現されます。ただし、より低い床からです。

限界:

• Common Crawlにも、ゼロではない独自の選択バイアスがあります。 これは、たまたまあるアーカイブ済みのウェブページがリンクしたり言及したりしたアカウントを表面化させます——これはウェブサイト、プレス言及、あるいはオンラインのコミュニティ的な存在感を持つアカウントに偏っており、X内部だけで存在してきたアカウントからは離れています。これは「ウェブの他の場所で確立されている」ことの別のサンプルであって、Xのユーザーベースからのランダム抽出ではありません。
• これは4日間隔の2つのスナップショットであり、統制された実験ではありません——同じ期間の「他のすべての階層」の伸びの一部は、Common Crawlの追加だけでなく、既存シードの通常の再クロールによるものですが、これは差分の0.2%未満にとどまります。
• 私たちの過去4つのXに関する調査における325,553件という数字は、これ以前からすでに古い部分集合であり、いまでは現在のインデックスの約41%を占めるにすぎません。それらの具体的なパーセンテージ(青バッジ率、フォロー上限の壁、bioのパターン)は、その母集団に対しては正しく測定されていますが、それが自動的に今日のインデックス全体の真実になるわけではありません。
• 私たちは集計のみを公開しています ——コホートの件数とパーセンテージのみで、上記で名前を挙げた1件の公開アカウントを除き、個別のプロフィールレコードは公開していません。

これは以前の調査を間違いにするものではありません——特定の、検証可能な形で、それらを古くするものです。それらはキュレーション済みの部分集合を描写しており、そのキュレーション済み部分集合自体はほとんど動いていません(その内部比率は、Common Crawl以前のスナップショットとほぼ完全に一致します)。変わったのは、インデックスが今や、誰もシードすることを思いつかなかったアカウント群も含んでいるということであり、重要なあらゆるシグナルにおいて、それらは異なる答えを返すということです。

出典

調査方法

私たちはX usersデータセットにライブで問い合わせ、すべての指標をsource_tier=common-crawlに絞り込み、それをインデックス全体における同じ指標(青バッジ、bio、外部リンクのファセット、フォロワー帯、フォロー/フォロワー比、作成年別の累積合計)と比較しました。この記事の「他のすべての階層」の数字は、各指標についてインデックス全体の合計からCommon Crawlに絞った合計を引いたものであり、別途のクエリではありません——この減算は正確に一致します。すべてのブール型ファセットとフォロワー帯がインデックス全体の合計に足し合わさるためです。整合性チェックとして、フォロワーゼロのアカウント、フォロワー100人未満の認証、フォロワー10万人以上の認証について導出した「他のすべての階層」の数字は、Common Crawl追加前のスナップショット(2026年7月21日記録)とほぼ完全に一致し、Common Crawlが追加された4日間の期間中、キュレーション済み母集団自体はほとんど動いていなかったことを裏付けています。

作成年コホートは、他のXに関する調査と同じ、累積的なcreated_before=YYYY-01-01による差分方式を使用しています。このライブインデックスでは、直接の結合範囲クエリが一貫性を欠くためです。すべての数値は2026年7月25日のクロール時点でライブです。インデックス全体は現在796,611件のプロフィールに達しており、X usersデータセットページに反映されています。

自分の切り口を試したいですか? X usersデータセットはsource_tierで直接問い合わせでき、Twitter/Xのスクレイピング方法ガイドが呼び出しを説明し、料金には無料枠があります。この記事が更新する4つの研究もご覧ください: Xで最も多作な投稿者は機械である、Xの本当のフォロー上限は7,500、ランダムな開発者は著名人より5倍青バッジを持ちやすい、そしてXのbioが明かすもの。この構成変化がXのフォロワー不平等に何をもたらしたか——改善ではなく悪化させた——については、Xのアテンション経済はどの国の富よりも不平等であるをご覧ください。そして、Common Crawlアカウントがキュレーション済みアカウントを実際に上回った、唯一の完全性シグナルについては、Xアカウントが居住地として記載する場所をご覧ください。