WooCommerce robots.txt: Crawl-Steuerung ohne Indexierungs-Fehler

Eine falsch konfigurierte robots.txt kann in WooCommerce-Shops erheblichen SEO-Schaden anrichten – von blockierten Ressourcen bis zu gesperrten Checkout-Seiten. Die Einbettung in die Gesamtstrategie erklärt WooCommerce SEO.

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Sitemap: https://ihr-shop.de/sitemap.xml
# steuert Crawling – nicht die Indexierung

WordPress liefert eine virtuelle robots.txt; sinnvolle Disallows für Funktionspfade plus Sitemap-Verweis genügen.

Kostenlos · ohne Anmeldung · Ergebnis sofort

Was robots.txt in WooCommerce tatsächlich steuert

robots.txt steuert den Crawler-Zugang auf Dateiebene und verhindert, dass Googlebot eine URL überhaupt abruft – das ist grundlegend anders als noindex, das nur die Indexierung einer bereits gecrawlten Seite unterbindet. Welche Seiten per robots.txt erreichbar bleiben müssen und welche Rolle die Sitemap dabei spielt, behandelt WooCommerce Sitemap.

Checkout, Warenkorb und Mein-Konto-Seiten gehören nicht per robots.txt blockiert – die Indexierungssperre erfolgt korrekt über noindex auf Seitenebene. Welche WooCommerce-Seitentypen noindex erhalten sollten und wie die URL-Struktur dabei eine Rolle spielt, erklärt WooCommerce noindex ausführlich.

WordPress-Standard-robots.txt und die WooCommerce-Ergänzungen

WordPress generiert eine dynamische robots.txt unter /robots.txt, solange keine physische Datei im Root-Verzeichnis liegt. Die Standardversion enthält User-agent: * und Disallow: /wp-admin/ – aber keinen WooCommerce-spezifischen Eintrag. Das ist größtenteils korrekt, weil WooCommerce-Seitentypen über das CMS und nicht über separate Verzeichnisse laufen.

Sinnvolle Ergänzungen für WooCommerce-Shops:

• Disallow: /wp-admin/ (Ausnahme: /wp-admin/admin-ajax.php muss crawlbar bleiben – viele Plugins und WooCommerce selbst nutzen diesen Endpunkt für dynamische Inhalte)
• Disallow: /?add-to-cart= – diese Parameter-URLs erzeugen keine eigenständigen Seiteninhalte und belasten das Crawl-Budget
• Disallow: /wp-json/ – die REST-API-Endpunkte sind für Suchmaschinen irrelevant
• Sitemap-Zeile: Sitemap: https://example.com/sitemap_index.xml – damit Googlebot die Sitemap auch ohne GSC-Einreichung kennt

Was in der robots.txt nichts verloren hat

Ein wiederkehrendes Muster: Shops blockieren /wp-content/uploads/ in der robots.txt, weil jemand Produktbilder vor dem Crawling schützen wollte. Resultat: Google kann Produktbilder nicht indexieren, Google Images liefert keinen Traffic, und Produktseiten verlieren potenziell ein Qualitätssignal. Uploads-Verzeichnis gehört crawlbar.

Wer eine Seite aus Google entfernen will, braucht noindex – ein Disallow verhindert nur das Crawling, nicht die Indexierung.

Ebenso problematisch: Blockierungen für /wp-content/themes/ oder /wp-content/plugins/. Googlebot benötigt Zugang zu CSS- und JS-Dateien, um Seiten korrekt zu rendern. Seit dem Mobile-First-Indexing bewertet Google eine Seite so, wie sie für den Nutzer gerendert aussieht – wer die Rendering-Ressourcen blockiert, riskiert, dass Google eine kaputte Seite sieht.

robots.txt prüfen und testen

Google Search Console zeigt unter dem robots.txt-Tester, welche URLs blockiert sind, und warnt bei gesperrten Ressourcen. Nach jeder Änderung lohnt es sich, exemplarische Produkt- und Kategorieseiten durch den URL-Inspektor zu schicken – wie die Google Search Console dabei als Monitoring-Werkzeug dient, zeigt die zugehörige Seite.

Ob die robots.txt als physische Datei im Root oder über ein Plugin verwaltet wird, hat Auswirkungen auf die Zuverlässigkeit im Produktionsbetrieb. Einen Überblick zu Yoast SEO, Rank Math und weiteren Konfigurationsoptionen bietet WooCommerce SEO.

Kostenlos · ohne Anmeldung · Ergebnis sofort