Tony Wang4 Min. LesezeitJeder öffentliche X-Datensatz, den du je gesehen hast, ist zugunsten von Prominenz verzerrt — unserer eingeschlossen
Unser X-Datensatz ist mit relevanten Personen geseedet: nur 19,6 % unter 100 Follower, vs. ~50 % laut Forschung zu aktiven Accounts.
Die meisten öffentlichen X/Twitter-Datensätze — unserer eingeschlossen — werden aufgebaut, indem man mit irgendeiner Liste indexierungswürdiger Accounts startet und von dort aus expandiert. Das ist eine vernünftige technische Entscheidung. Sie bedeutet aber auch, dass der resultierende Datensatz der tatsächlichen Plattform-Population in nichts ähnelt — und das Ehrliche ist, genau zu zeigen, wie stark, anhand unserer eigenen Daten als Beispiel, statt auf den Daten anderer herumzuhacken.
Wie unser geseedeter Index aussieht
Was breitere Forschung zu X/Twitter stattdessen sagt
akademische Stichprobe 2023, Median ≈ 99 Follower
Beide Zahlen sind in sich konsistent mit der Art, wie sie zustande kamen. Unser Index ist geseedet mit Personen, die unabhängig relevant genug sind, um einen Wikidata-Eintrag zu haben, oder technisch versiert genug, um ein X-Handle auf GitHub zu verlinken — eine wirklich nützliche Grundgesamtheit, um z. B. den Account einer öffentlichen Person oder eines Entwicklers zu finden, und eine wirklich unrepräsentative, um zu fragen: „Wie sieht ein typischer X-Account aus?“
Der Teil, der sich verallgemeinern lässt
Das ist keine Beschwerde über unseren eigenen Datensatz — er ist bereits ehrlich in den eigenen Quellcode-Kommentaren dokumentiert, genau deshalb war es leicht, diesen Beitrag zu schreiben. Der verallgemeinerbare Punkt: Jeder öffentliche Profil-Datensatz für eine Social-Plattform, der über Suche, Discovery oder eine „relevante Personen“-Seedliste aufgebaut wird — TikTok-Creator-Indizes, LinkedIn-Firmen-/Profil-Scrapes, Instagram-Business-Verzeichnisse, X/Twitter-Datensätze wie unserer — erbt einen Fame-Bias durch Konstruktion, und selten wird es so klar ausgesprochen wie: „Hier ist die tatsächliche Lücke zwischen unseren Zahlen und einer breiteren Populationsschätzung.“
Wenn eine Zahl wie „der mediane Account hat N Follower“ bei einer Entscheidung echte Arbeit leistet — beim Dimensionieren einer Influencer-Kampagne, beim Benchmarking deines eigenen Accounts, beim Einschätzen, wie nischig ein Thema anhand der Leute ist, die darüber sprechen —, ist die erste Frage, womit der Datensatz geseedet wurde, aus dem diese Zahl stammt, nicht nur, wie groß der Datensatz ist.
Unseren X/Twitter-Profil-Datensatz abfragen — Bias offen dokumentiert
796.611 öffentliche Profile, geseedet aus relevanten Personen und Entwickler-Quellen und als solche dokumentiert. Follower-Bänder, Verifizierung, Bio und Account-Alter-Facetten als strukturiertes JSON.
Häufig gestellte Fragen
Ist ein öffentlicher X/Twitter-Profil-Datensatz repräsentativ für die Plattform?
Meist nicht, und unserer ist ein klares Beispiel. Unser 796.611-Account-Datensatz ist geseedet mit Wikidata-relevanten Personen und GitHub-verlinkten Handles, sodass nur 2,4 % der Accounts null Follower haben und 19,6 % unter 100 — gegenüber veröffentlichter akademischer Forschung zu aktiven Twitter-Accounts, die rund die Hälfte der aktiven Accounts unter 100 Follower ansetzt (Median nahe 99).
Warum passiert das?
Jeder Datensatz, der über Discovery, Suche oder eine «relevante Personen»-Seedliste aufgebaut wird, erbt durch Konstruktion einen Fame-Bias — es ist am einfachsten, Accounts zu indexieren, die bereits unabhängig auffindbar sind. Das ist nicht spezifisch für X/Twitter-Datensätze; dasselbe Muster zeigt sich in TikTok-Creator-Indizes und anderen Social-Profil-Datensätzen, die auf dieselbe Weise gebaut werden.
Wie wurde das verglichen?
Durch Zitieren veröffentlichter Drittforschung zu Follower-Verteilungen aktiver Accounts neben den dokumentierten Zahlen unseres eigenen Datensatzes — ein Cross-Datensatz-Vergleich, keine frische Zufallsstichprobe, die wir selbst gezogen haben.