Shopware robots.txt – manuell erstellen, gezielt konfigurieren

Shopware liefert keine robots.txt automatisch aus – die Datei muss manuell im Webroot abgelegt werden. Wie die robots.txt in eine vollständige Shopware SEO-Strategie eingebettet wird, beschreibe ich dort im Zusammenhang.

User-agent: *
Disallow: /checkout
Disallow: /account
Disallow: /widgets/
Sitemap: https://ihr-shop.de/sitemap.xml
# steuert Crawling – NICHT die Indexierung

Die robots.txt sperrt Funktionspfade fürs Crawling und verweist auf die Sitemap – eine indexierte Seite entfernt man aber per noindex.

Kostenlos · ohne Anmeldung · Ergebnis sofort

Warum Shopware keine robots.txt nativ ausliefert

Anders als viele Shop-Systeme generiert Shopware 6 die robots.txt nicht automatisch – sie existiert erst, wenn man sie manuell anlegt. Wie der Verweis auf die Sitemap in dieselbe Datei eingebettet wird, steht weiter unten.

Das ist kein Konfigurationsfehler, sondern ein bewusster Architekturansatz: Shopware überlässt dem Betreiber die vollständige Kontrolle über die Crawling-Direktiven. Das setzt voraus, dass diese Kontrolle auch aktiv ausgeübt wird.

Welche Bereiche in Shopware per Disallow blockiert werden sollten

Nicht jeder Pfad in Shopware soll gecrawlt werden. Sinnvolle Disallow-Regeln betreffen vor allem:

• /admin/ – Backend-Bereich, der für Crawler nie relevant ist
• /checkout/ – Warenkorbschritte und Bestellprozesse haben kein SEO-Potenzial
• /account/ – Login-Bereiche und persönliche Kontoseiten
• /search? – interne Suchergebnis-URLs mit Query-Parametern, die keinen eigenständigen Inhalt liefern
• /widgets/ – AJAX-Endpunkte, die Shopware für dynamische Inhalte nutzt

Filter-Pfade pauschal per Disallow zu sperren ist ein Fehler: Ein blockierter Pfad kann das noindex-Meta-Tag nicht an Google übermitteln, weil die Seite nicht gecrawlt wird. Die richtige Steuerung von Filter-URLs läuft über Meta-Robots-Tags und Canonical-Logik, nicht über die robots.txt.

robots.txt und Meta-Robots: was zusammengehört und was nicht

Die robots.txt steuert, ob Googlebot eine URL überhaupt besucht; das noindex-Meta-Tag steuert, ob eine gecrawlte Seite in den Index aufgenommen wird. Beide Mechanismen sind nicht substituierbar – eine per robots.txt blockierte Seite kann kein noindex kommunizieren. Die Abgrenzung beider Instrumente führe ich in der Shopware-SEO-Übersicht aus.

Zwei verschiedene Signale: Crawling steuert die robots.txt, die Indexierung das noindex-Meta-Tag.

In der Praxis blockiert die robots.txt in Shopware technisch irrelevante Bereiche wie Admin und Checkout; Meta-Robots-Tags steuern inhaltliche Entscheidungen wie Filter-Kombinationen oder Paginierungsseiten. Wer beides verwechselt, baut eine Steuerung, die in Teilen nicht greift.

Sitemap-Verweis in der robots.txt

Die robots.txt ist der direkteste Weg, Googlebot auf die sitemap.xml hinzuweisen – ohne Umweg über die Google Search Console. Shopware generiert die sitemap.xml über den Scheduler oder bin/console sitemap:generate.

Sitemap: https://example.com/sitemap.xml

Bei Shopware-Shops mit mehreren Verkaufskanälen sollte jede Domain-robots.txt auf die zugehörige Kanal-Sitemap verweisen. Welche Inhalte Shopware in der Sitemap ausliefert, hängt am Verkaufskanal: jeder Kanal bekommt eine eigene Datei mit den URLs seiner Domain.

robots.txt analysieren lassen

Ich bin Andrea Papa und prüfe im Erstgespräch konkret, ob Ihre Shopware-Installation eine robots.txt hat, welche Pfade korrekt blockiert sind und ob der Sitemap-Verweis gesetzt ist. Für eine vollständige technische Einschätzung stehe ich über die Shopware SEO-Beratung zur Verfügung.

Kostenlos · ohne Anmeldung · Ergebnis sofort