Tony Wang4 分で読めますこれまで見てきた公開Xデータセットはすべて著名性に偏っている——私たちのものも例外ではありません
私たちのXデータセットは著名人からシードされており、フォロワー100人未満は19.6%——公表済み研究のアクティブアカウントでは約50%です。
私たち自身のものを含め、公開されているX/Twitterのデータセットのほとんどは、インデックス対象として価値があるとみなした何らかのアカウントリストから出発し、そこから拡張していく形で構築されています。それ自体は妥当なエンジニアリング上の判断です。しかしその結果、出来上がったデータセットはプラットフォームの実際の母集団とはまるで似ていないものになります。誠実であろうとするなら、他人のデータをあげつらうのではなく、自分たちのデータを例にして、そのズレがどれほどのものかを正確に示すべきです。
私たちのシード済みインデックスの姿
より広範なX/Twitter研究が示すもの
2023年の学術サンプル、中央値≈99フォロワー
どちらの数値も、それぞれの構築方法に照らせば内的には一貫しています。私たちのインデックスは、独立してWikidataに掲載されるほど著名であるか、GitHubにXハンドルをリンクするほど技術に明るい人々からシードされています——公人や開発者のアカウントを見つけるといった用途には本当に有用な母集団ですが、「典型的なXアカウントとはどんなものか」を問うには本当に代表性のない母集団です。
一般化する価値がある部分
これは私たち自身のデータセットへの不満ではありません——それはすでにデータセット自身のソースコードのコメントに正直に明記されており、だからこそこの記事を書くのは容易でした。一般化できるポイントはこうです。検索、発見、あるいは「著名人」シードリストによって構築される、あるソーシャルプラットフォームの公開プロフィールデータセットはすべて——TikTokのクリエイターインデックス、LinkedInの企業・プロフィールスクレイプ、Instagramのビジネスディレクトリ、私たちのようなX/Twitterデータセットも含め——構造上フェイム（著名性）バイアスを受け継ぎます。そして「私たちの数値とより広範な母集団推定との実際のギャップはこれです」というふうに明快に述べられることは滅多にありません。
「中央値のアカウントはNフォロワーを持つ」といった数値が、インフルエンサーキャンペーンの規模を見積もる、自分のアカウントをベンチマークする、あるトピックについて語る人々からそのニッチさを判断するなど、意思決定において実際に重要な役割を果たしているなら、最初に問うべきはデータセットの大きさではなく、その数値の出所となったデータセットが何をシードとして構築されたかです。
X/Twitterプロフィールデータセットをクエリする——偏りは最初から開示済み
著名人と開発者のソースからシードされた796,611件の公開プロフィールを、そのことを明記した上で提供します。フォロワー帯、認証状況、bio、アカウント年齢のファセットを構造化JSONで取得できます。
よくある質問
公開されているX/Twitterプロフィールデータセットはプラットフォームを代表していますか。
通常は代表していません。私たちのデータセットはその明確な例です。796,611件のアカウントから成る私たちのデータセットは、Wikidataで著名な人物とGitHubにリンクされたハンドルからシードされているため、フォロワー数ゼロのアカウントはわずか2.4%、100人未満は19.6%です——一方、アクティブなTwitterアカウントに関する公表済みの学術研究では、アクティブアカウントのおよそ半数がフォロワー100人未満とされています（中央値は約99人）。
なぜこのようなことが起きるのですか。
発見、検索、あるいは「著名人」シードリストによって構築されるデータセットは、構造上フェイムバイアスを受け継ぎます——すでに独立して発見可能なアカウントをインデックスする方が簡単だからです。これはX/Twitterデータセットに限った話ではなく、同じパターンはTikTokのクリエイターインデックスや、同じ方法で構築された他のソーシャルプロフィールデータセットにも現れます。
どのように比較したのですか。
アクティブアカウントのフォロワー分布に関する公表済みの第三者研究を、私たち自身のデータセットの明記された数値と並べて引用することで比較しました——これはデータセット間の比較であり、私たち自身が新たに実施した無作為サンプルではありません。