Costco 2026 scrapen (API & Python)

Am schnellsten scrapst du Costco 2026, indem du eine strukturierte API aufrufst, die normalisiertes JSON für Product-Search, Detail, Availability, Reviews, Categories und nahegelegene Warehouses liefert — statt Costco.coms Seiten selbst zu parsen. Costco.com ist ohne Mitgliedschaft frei durchsuchbar, hat aber keine offene öffentliche API, sitzt hinter Akamais Bot-Management, und durch die Daten zieht sich ein Membership-Signal — manche Produkte und Preise sind Member-only, und Nicht-Mitglieder zahlen auf den Rest einen Aufschlag. Dieser Guide zeigt dir alle drei Ansätze: was jeder liefert, wo DIY scheitert, und die rechtlichen und Zugriffs-Grundlagen.

Warum Costco scrapen?

Costcos Product- und Warehouse-Daten treiben an:

• Pricing Intelligence — nachverfolgen, wie sich der Preis eines Bulk-Items über die Zeit bewegt, inklusive Reduced-Price-Flags.
• Assortment- und Category-Recherche — sehen, was in einer Category geführt wird und wie sich die Counts verschieben.
• Review- und Sentiment-Analyse — Rating-Trends und Review-Text für eine Produktlinie ziehen.
• Availability-Monitoring — Delivery-Schätzungen für ein Produkt in einer bestimmten ZIP oder einem State prüfen, bevor es ausverkauft ist.
• Warehouse- und Market-Coverage-Mapping — die nächstgelegenen physischen Warehouses zu einem Standort finden, für Local-Availability- oder Store-Density-Recherche.

Ist es legal, Costco zu scrapen?

Option 1: DIY in Python (und warum das scheitert)

Costcos Product-Pages rendern aus Server-Side-Daten statt aus einem stabilen öffentlichen JSON-Endpoint, deshalb muss ein DIY-Scraper die gerenderte Seite fetchen und parsen:

import requests
from bs4 import BeautifulSoup

resp = requests.get(
    "https://www.costco.com/p/4000103922",
    headers={"User-Agent": "Mozilla/5.0 (compatible; research-bot/1.0)"},
)
soup = BeautifulSoup(resp.text, "html.parser")
# Price, rating, and availability are embedded in page data, not
# consistently exposed as selectable markup

Es funktioniert in der Demo und geht dann kaputt:

• Akamai-Bot-Management sitzt vor der Seite. Ein routinemäßiger, unauthentifizierter Request wird schnell herausgefordert oder blockiert — naive requests-Calls kommen nicht weit, und ein Browser-basierter Scraper braucht laufende Pflege, während sich die Defense weiterentwickelt.
• Availability und Delivery-Schätzungen sind Location-spezifisch. Dasselbe Produkt liefert je nach Postal Code und State eine andere availability und ein anderes estimated_delivery_date — ein einzelner Page-Fetch gibt dir also nie das vollständige Bild, du brauchst einen Request pro Location.
• Pricing trägt ein Membership-Signal, das du nicht ignorieren kannst. Manche Produkte sind membership_required und nur für eingeloggte Mitglieder bepreist; scrapst du eine Nicht-Mitglieder-Ansicht ohne dieses Flag zu berücksichtigen, bekommst du einen unvollständigen oder irreführenden Preis.
• Keine offizielle Third-Party-API. Costco hat kein Self-Service-Developer-Programm — eine Handvoll Third-Party-Scraping-Services existiert genau deshalb, weil es keine sanktionierte Alternative gibt.

Option 2: No-Code-Tools

Marketplace-Scraper-Actors für Costco existieren und eignen sich für einen einmaligen Pull einer Category oder einer kurzen Produktliste, aber sie erben dieselbe Akamai-Fragilität wie DIY und geben dir kein stabiles, versioniertes Schema, auf dem du eine Pipeline aufbauen kannst.

Option 3: Eine strukturierte Costco-API

Für einen wiederholbaren Workflow liefert Crawloras Costco API normalisiertes JSON für Search, Product-Detail, Availability, Reviews, Categories und Warehouses — kein Page-Parsing oder Bot-Defense-Pflegeaufwand. Suche per Keyword:

curl "https://api.crawlora.net/api/v1/costco/search?query=refrigerator" \
  -H "x-api-key: $CRAWLORA_API_KEY"

Löse dann eine product id auf und hol in Python Detail, Availability und Reviews:

import requests

h = {"x-api-key": "YOUR_API_KEY"}
base = "https://api.crawlora.net/api/v1/costco"

hits = requests.get(f"{base}/search", headers=h, params={"query": "refrigerator"}).json()["data"]["products"]
product_id = hits[0]["id"]

detail = requests.get(f"{base}/product/{product_id}", headers=h).json()["data"]
availability = requests.get(
    f"{base}/product/{product_id}/availability",
    headers=h,
    params={"postal_code": "98134", "state": "WA"},
).json()["data"]
reviews = requests.get(f"{base}/product/{product_id}/reviews", headers=h).json()["data"]

Eine Product-Detail-Response ist normalisiertes JSON (echte Felder — prüfe die docs):

{
  "code": 200,
  "msg": "OK",
  "data": {
    "id": "4000103922",
    "title": "LG 26 cu. ft. Smart Mirror InstaView Counter-Depth MAX French Door Refrigerator with Four Types of Ice",
    "manufacturer": "LG ELECTRONICS USA INC",
    "price": 1399.99,
    "list_price": 1399.99,
    "buyable": true,
    "membership_required": false,
    "rating": 4.44,
    "rating_count": 477
  }
}

Availability ist Postal-Code- und State-spezifisch, mit einer Delivery-Schätzung:

{
  "data": {
    "product_id": "1942114",
    "availability": "INSTOCK",
    "available_for_sale": true,
    "fulfilled_by": "LG",
    "estimated_delivery_date": "2026-08-17T00:00:00"
  }
}

Nahegelegene Warehouses kommen aus einem Latitude/Longitude-Lookup — nützlich, um Online-Availability mit dem nächstgelegenen physischen Store zu koppeln:

curl "https://api.crawlora.net/api/v1/costco/warehouses?latitude=47.6062&longitude=-122.3321" \
  -H "x-api-key: $CRAWLORA_API_KEY"

Speichere eine Zeile pro Produkt pro Pull, gekeyt über die product id, und lauf das nach Zeitplan erneut, um price/list_price-Änderungen und buyable-Flips zu tracken.

Was du sammeln kannst

Öffentliche Product- und Location-Daten: Suchergebnisse (id, url, title, brand, model, categories, rating); volles Product-Detail (title, manufacturer, price, list_price, buyable, membership_required, rating, rating_count); Postal-Code-/State-spezifische Availability (In-Stock-Status, fulfilled_by, Supplier und geschätzte Delivery-Daten); Product-Reviews (title, text, rating, author, recommended-Flag, submission date); Category-Facets per Keyword; und nahegelegene Warehouses per Coordinates (name, address, distance). Nur öffentliche Product-Page-Daten — keine Member-Account-, Order- oder Payment-Informationen.

Grenzen und typische Herausforderungen

• Akamai-Bot-Management auf der Frontend-Seite. Erwarte Challenges bei naiven oder High-Volume-Automated-Requests direkt an costco.com.
• Membership prägt die Daten, nicht nur den Checkout. membership_required und der 5%-Aufschlag für Nicht-Mitglieder auf die meisten Items bedeuten, dass der gescrapte Preis vom finalen Mitgliederpreis abweichen kann — behandle den gelisteten Preis als Referenzpunkt, nicht als garantierten Mitgliederpreis.
• Availability ist an den Standort gebunden. availability/estimated_delivery_date variieren nach Postal Code und State — pull pro Location, wenn du Coverage über mehrere Märkte brauchst.
• Kein Nationwide-Bulk-Export. Es gibt keinen offiziellen Feed für Costcos vollen Katalog; baue Coverage, indem du Search- und Category-Queries iterierst.
• Nur öffentliche Daten. Das ist, was eine Product-Page und ihre Detail-Subpages ohnehin öffentlich zeigen — kein Weg um ein Membership-Login herum oder in Account-Level-Daten hinein.

Wo das eingesetzt wird

• Pricing Intelligence — price/list_price und Reduced-Price-Flags in Bulk- und Appliance-Categories über die Zeit tracken.
• Assortment-Recherche — Category-Counts und Coverage per Keyword messen.
• Local-Availability-Mapping — availability per Postal Code mit Nearby-Warehouse-Lookup koppeln, um regionalen Stock zu modellieren.

Sources

Leg los mit dem Sammeln

Probier es zuerst kostenlos aus: jage eine beliebige öffentliche URL durch den Free Web Scraper oder prüfe mit dem Anti-Bot Checker, ob eine Seite Bots blockiert — ohne Anmeldung.

Teste die Search-, Product- und Availability-Endpoints im Playground, sieh dir das Schema in den API docs an und wirf einen Blick aufs pricing. Für dasselbe Big-Box-Retail-Pattern bei einer anderen Chain, siehe how to scrape Target; für dieselbe Product-Search-zu-Detail-Form auf einem allgemeinen Marketplace, siehe how to scrape Amazon product data. Siehe auch how to choose a web scraping API und is web scraping legal.