robots.txt: Legen Sie fest, was Suchmaschinen crawlen dürfen

Dein Webshop wird von weit mehr Besuchern aufgerufen als nur von deinen Kunden. Google, Bing, Preisvergleichsdienste, KI-Roboter und eine Vielzahl anderer Programme durchsuchen deine Seiten automatisch. Die Datei „robots.txt“ ist sozusagen der kleine Zettel, den Sie für sie an die Tür hängen: Hier steht, welche Bereiche des Shops sie sich ansehen dürfen und welche sie meiden sollen.

Shoporama erstellt und pflegt deine robots.txt automatisch, sodass du nichts tun musst, um einen guten Start zu haben. Wenn du zusätzliche Kontrolle haben möchtest, kannst du eigene Zeilen hinzufügen. Hier findest du eine vollständige Anleitung: Was die Datei bewirkt, was standardmäßig darin steht, wie du sie bearbeitest und welche Fehler du vermeiden solltest.

Was ist robots.txt?

robots.txt ist eine ganz normale Textdatei, die sich im Stammverzeichnis deiner Domain befindet. Du kannst deine eigene Datei einsehen, indem du /robots.txt hinter die Adresse deines Shops im Browser eingibst, also zum Beispiel https://dinshop.dk/robots.txt. Probiere es aus, während du weiterliest – so kannst du den folgenden Beispielen leichter folgen.

Die Datei enthält Zeilen in einem sehr einfachen Format. Ein Roboter liest die Datei, bevor er mit dem Abrufen von Seiten beginnt, und hält sich an die darin enthaltenen Anweisungen. Die wichtigsten Begriffe in der Datei sind:

• User-agent: Für wen die Regeln gelten. Ein Sternchen bedeutet „alle Roboter“.
• Disallow: Ein Pfad, den der Roboter nicht abrufen darf.
• Allow: eine Ausnahme, d. h. ein Pfad, den der Roboter abrufen darf, auch wenn ein übergeordneter Pfad gesperrt ist.
• Sitemap: Ein Verweis auf Ihre Sitemap, also die Liste aller Seiten, die gefunden werden sollen.

Eines muss man von Anfang an verstehen: „robots.txt“ ist eine höfliche Bitte, keine Sperre. Die Datei ist öffentlich und kann von jedem gelesen werden. Die großen Suchmaschinen respektieren sie, aber sie hindert niemanden daran, eine Seite manuell zu öffnen. Schreiben Sie daher niemals etwas in die robots.txt, das Fremde nicht sehen sollen, und nutzen Sie sie niemals zum Schutz sensibler Inhalte.

So sieht deine robots.txt standardmäßig aus

Wenn du nichts geändert hast, sieht deine robots.txt in Shoporama wie folgt aus, nur mit deiner eigenen Domain in der Sitemap-Zeile:

User-agent: *
Sitemap: https://dinshop.dk/sitemap.xml
Disallow: /basket$
Disallow: /address
Disallow: /payment
Disallow: /shipping
Disallow: /approve
Disallow: /thanks
Disallow: /order
Disallow: /download-file
Disallow: /product_review

# Powered by Shoporama

Im Klartext heißt das: „Liebe Roboter, hier ist die Liste meiner Seiten. Bitte stöbert nicht im Warenkorb, im Adressformular, bei der Versandauswahl, bei der Bezahlung, auf der Bestätigungsseite, auf der Quittungsseite, auf den Bestellseiten, beim Dateidownload und bei den Produktbewertungen herum.“

Es gibt zwei gute Gründe, warum gerade diese Seiten gesperrt sind. Erstens machen sie in einem Suchergebnis keinen Sinn. Niemandem nützt es, direkt von Google in einen leeren Warenkorb zu gelangen. Zweitens verbringen Roboter nur eine begrenzte Zeit in deinem Shop – das nennt man Crawl-Budget. Jedes Mal, wenn ein Crawler eine Seite abruft, die nicht in den Suchergebnissen erscheinen soll, ist das Zeit, die er nicht für Ihre Produkte und Kategorien aufwendet. Mit anderen Worten: Diese Zeilen tragen dazu bei, dass Ihre tatsächlich verkaufsfördernden Seiten schneller entdeckt werden.

Die Zeile mit „Sitemap“ verweist auf Ihre Sitemap, die Shoporama automatisch anhand Ihrer Produkte, Kategorien, Seiten, Landingpages und Blogbeiträge generiert. Sie müssen diese nicht selbst pflegen und auch nicht manuell zur robots.txt hinzufügen.

Die Zeilen, die Shoporama selbst einfügt, kannst du nicht löschen. Das ist absichtlich so. Denn genau diese Art von Fehlern ist am teuersten zu beheben, und die Standardregeln passen für so gut wie alle Webshops.

So bearbeitest du deine robots.txt

1. Gehe im Menü auf der linken Seite des Admin-Bereichs zu „Konto“, „Webshop“ und „robots.txt “.
2. Du gelangst zur Seite „Robots.txt “ mit dem Feld „robots.txt anpassen“.
3. Gib deine zusätzlichen Zeilen in das Feld „Zusätzliche Regeln“ ein. Eine Regel pro Zeile.
4. Klicken Sie auf „Speichern“.
5. Öffne https://dinshop.dk/robots.txt im Browser und überprüfe, ob das Ergebnis deinen Erwartungen entspricht.

Die Änderung wird sofort wirksam. Es gibt keine Wartezeit und keinen Cache, den du leeren musst. Unten auf der Seite im Admin-Bereich befindet sich ein kleines Hilfefeld mit Beispielen für Regeln, die du hinzufügen kannst.

Beachte, dass das Feld aus gutem Grund „Zusätzliche Regeln“ heißt: Was du eingibst, wird den eigenen Zeilen von Shoporama hinzugefügt, nicht an deren Stelle gesetzt. Deine Zeilen werden direkt nach „User-agent: *“ und vor der Sitemap-Zeile sowie den Standardregeln eingefügt.

Das Feld gilt jeweils für einen Webshop. Wenn du mehrere Shops im selben Konto hast, musst du die Einstellung in jedem einzelnen Shop vornehmen. Der Inhalt wird jedoch übernommen, wenn ein Shop kopiert wird.

Regeln, die für einen Webshop sinnvoll sind

Die meisten Webshops müssen in diesem Feld überhaupt nichts eingeben. Die Standardeinstellung ist gut. Es gibt jedoch einige Situationen, in denen eine zusätzliche Zeile sinnvoll ist.

Interne Seiten, die niemand bei Google finden soll

Wenn du Seiten hast, die nur für den internen Gebrauch bestimmt sind, eine vorübergehende Testseite oder eine Kampagnenseite, die nur über einen direkten Link aus deinem Newsletter erreichbar sein soll, kannst du diese ausschließen:

Disallow: /interne-Seite/
Disallow: /temp/
Disallow: /nur-Newsletter/

Ein Pfad ohne abschließenden Schrägstrich passt auf alles, was damit beginnt. „Disallow: /temp“ schließt also sowohl „/temp“, „/temp/test“ als auch „/temperatur“ aus. Seien Sie daher etwas vorsichtig, wo Sie den Schrägstrich setzen.

Gefilterte und sortierte Ansichten

Wenn dein Theme Filter oder Sortierfunktionen enthält, die viele Varianten derselben Kategorieseite erzeugen, kann es sinnvoll sein, diese Varianten auszuschließen, damit die Crawler ihre Zeit auf die eigentliche Kategorie konzentrieren. Ob dies relevant ist, hängt ganz davon ab, wie Ihr Theme aufgebaut ist. Sehen Sie sich daher zunächst Ihre eigenen URLs an oder lesen Sie mehr über die Filterung in Ihrem Webshop.

Eine spezielle Ausnahme

Wenn du Zugriff auf etwas gewähren möchtest, das sich ansonsten unter einem gesperrten Pfad befindet, kannst du „Allow“ verwenden. Eine präzisere Regel hat Vorrang vor einer weniger präzisen, unabhängig davon, in welcher Reihenfolge sie stehen:

Disallow: /interne-Seite/
Allow: /interne-Seite/Anleitung

Was du NICHT blockieren solltest

• Deine Produkte und Kategorien. Denn davon lebst du, dass sie gefunden werden.
• Bilder, CSS und JavaScript. Google rendert deine Seiten wie ein echter Browser. Wenn du die Design-Dateien blockierst, sieht Google eine fehlerhafte Seite und bewertet sie entsprechend, nicht zuletzt auf Mobilgeräten.
• Deine Sitemap. Die müssen die Robots abrufen können.

Der Unterschied zwischen robots.txt und noindex

Das ist der Punkt, an dem die meisten ins Straucheln geraten, daher lohnt es sich, diesen Abschnitt zweimal zu lesen. Die beiden Begriffe klingen ähnlich, bewirken aber etwas völlig Unterschiedliches:

• robots.txt besagt: „Du darfst diese Seite nicht abrufen “.
• „noindex“ besagt: „Du darfst die Seite gerne abrufen, aber du darfst sie nicht in den Suchergebnissen anzeigen.“

Die wichtige Konsequenz: Wenn du eine Seite in „robots.txt“ blockierst, kann Google sie nicht abrufen und somit auch nicht erkennen, dass dort „noindex“ steht. Verfügt die Seite bereits über externe Links, kann es vorkommen, dass Google die Adresse dennoch in den Suchergebnissen anzeigt – allerdings ohne Titel und Beschreibung. Das Ergebnis ist eine leere, unansehnliche Zeile bei Google statt gar nichts.

Faustregel: Wenn du eine Seite aus Google heraushalten willst, verwende „noindex“ und blockiere sie nicht in der robots.txt. Wenn du den Crawlern lediglich Zeit sparen willst, indem sie nichts indizieren, was ohnehin nie in den Suchergebnissen erscheinen soll, dann verwende die robots.txt.

In Shoporama setzen Sie „noindex“ über das Kontrollkästchen „noindex, follow“ aktivieren. Diese Option ist für Produkte, Kategorien, Seiten, Landingpages und Blogbeiträge verfügbar. Lesen Sie die vollständige Anleitung unter „noindex für eine Seite, ein Produkt oder eine Kategorie festlegen“.

Shoporama setzt übrigens selbst „noindex“ auf den Seiten, bei denen dies naheliegend ist, darunter Warenkorb, Adresse, Versand, Bezahlung, die Quittungsseite und die Seite mit den Suchergebnissen. Alle neueren Themes zeigen dies an. Wenn du ein älteres oder maßgeschneidertes Theme verwendest, lohnt es sich, deinen Theme-Entwickler bitten zu lassen, zu überprüfen, ob der Meta-Tag tatsächlich vorhanden ist.

Die klassischen Fehler

• „Disallow: /“ einzugeben. Der eine Schrägstrich sperrt den gesamten Shop für Suchmaschinen. Das ist der kostspieligste Tippfehler in der gesamten Branche. Wenn dein Traffic von Google innerhalb weniger Wochen verschwindet, solltest du hier zuerst nachsehen.
• Eine Seite zu blockieren, um sie aus Google zu entfernen. Das funktioniert nicht. Verwende „noindex“, wie oben beschrieben.
• Eine „User-Agent“-Zeile mitten im Feld einzugeben. Deine Zeilen werden in die Gruppe eingefügt, die für alle Robots gilt. Wenn du mitten im Feld eine neue Gruppe beginnst, landen die Standardregeln von Shoporama stattdessen in der neuen Gruppe, und dann gelten sie plötzlich nicht mehr für alle. Wenn du Regeln für einen bestimmten Roboter benötigst, kontaktiere uns bitte zuerst unter support@shoporama.dk.
• Die Verwendung von robots.txt als Sicherheitsmaßnahme. Die Datei ist öffentlich einsehbar. Wenn du „Disallow: /geheimer-Ordner/“ schreibst, hast du gerade der ganzen Welt mitgeteilt, dass dieser Ordner existiert.
• Das Blockieren von Design-Dateien. Ohne CSS und JavaScript wertet Google deine Seite als fehlerhaft ein.
• Vergessen, nach dem Speichern nachzuschauen. Öffne immer /robots.txt im Browser, nachdem du die Datei gespeichert hast. Das dauert fünf Sekunden.
• Zu glauben, dass es bei Google sofort funktioniert. Die Datei wird zwar sofort geändert, aber es kann Tage oder Wochen dauern, bis Google sie erneut abgerufen und deinen Shop vollständig gecrawlt hat.
• Groß- und Kleinschreibung. Bei den Begriffen „Disallow“ und „Allow“ spielt die Groß- undKleinschreibung keine Rolle, bei den Pfaden jedoch schon. /Angebote und /angebote sind zwei verschiedene Dinge.

Demo-Shops und shoporama.dk-Adressen

Wenn dein Shop noch ein Demoshop ist, geschlossen ist oder sich unter einer temporären Adresse auf shoporama.dk befindet, stellt Shoporama automatisch eine robots.txt bereit, die wie folgt lautet:

User-agent: *
Disallow: /

# Powered by Shoporama

Das ist beabsichtigt und für dich von Vorteil. Ein Shop, der sich noch im Aufbau befindet, soll nicht bei Google erscheinen, und deine vorübergehende Adresse soll später nicht mit deiner eigentlichen Domain konkurrieren. In dieser Situation hat das Feld „Zusätzliche Regeln“ keine Auswirkung, da die gesamte Datei ersetzt wird.

Sobald der Shop auf deiner eigenen Domain live ist, wechselt die Datei automatisch zur normalen Version mit Sitemap und Standardregeln. Wenn du noch nicht auf deine eigene Domain umgezogen bist, lies den Artikel „Deinen Shop auf eine eigene Domain umziehen“. Wenn du einen bestehenden Shop zu Shoporama umziehst, sind „Vermeide den Verlust von Google-Rankings beim Umzug “ und „Der große Leitfaden zu Weiterleitungen “ die beiden Artikel, die du zuerst lesen solltest.

Für technisch Versierte

• Die Datei wird bei jedem Aufruf generiert und als „text/plain“ mit UTF-8 ausgeliefert. Sie wird von Shoporama nicht zwischengespeichert, sodass eine Änderung sofort sichtbar ist.
• Die Reihenfolge in der fertigen Datei ist: User-agent: *, danach dein Inhalt aus dem Feld „Zusätzliche Regeln“, dann die Sitemap-Zeile und schließlich die Standardregeln von Shoporama.
• Die Standardregel „Disallow: /basket$“ verwendet das Dollarzeichen als „hier endet“. Sie betrifft also nur die Warenkorbseite selbst, nicht Adressen, die damit beginnen.
• Google und Bing lösen Konflikte zwischen „Allow“ und „Disallow“ so, dass die spezifischere Regel Vorrang hat, nicht anhand der Reihenfolge in der Datei. Bei gleich langen Regeln hat „Allow“ Vorrang.
• Die Sitemap befindet sich unter /sitemap.xml und wird automatisch in mehrere Dateien mit einem Index aufgeteilt, wenn der Shop sehr viele URLs enthält.
• Das Feld kann auch über die Shoporama-API zusammen mit den übrigen Webshop-Einstellungen gelesen und geschrieben werden, falls du es über deine eigenen Tools steuern möchtest.

Häufig gestellte Fragen

Ich habe meine robots.txt noch nie bearbeitet. Ist mein Shop dann falsch eingerichtet?

Nein. Shoporama erstellt die Datei für dich, und der Standardinhalt passt für die allermeisten Webshops. Das Feld „Zusätzliche Regeln“ ist für Fälle gedacht, in denen du etwas ganz Bestimmtes hast, das du von Suchmaschinen fernhalten möchtest. Wenn du dir unsicher bist, lass das Feld leer.

Wie kann ich feststellen, ob meine Änderung übernommen wurde?

Öffne https://dinshop.dk/robots.txt im Browser und aktualisiere die Seite. Die Änderung ist sofort sichtbar, da die Datei nicht zwischengespeichert wird. Wenn du immer noch die alte Version siehst, liegt das am Cache deines Browsers. Versuche es daher mit einem harten Neuladen oder einem Inkognito-Fenster.

Google zeigt immer noch eine Seite an, die ich gesperrt habe. Was soll ich tun?

Das ist die klassische Falle. Eine Sperre in der robots.txt verhindert, dass Google die Seite abruft, nicht jedoch, dass die Adresse angezeigt wird. Entferne die Sperre im Feld „Zusätzliche Regeln“, setze stattdessen „noindex“ für die Seite und warte, bis Google sie erneut abgerufen hat. Dann verschwindet sie von selbst.

Kann ich Regeln erstellen, die nur für eine bestimmte Suchmaschine gelten?

Das solltest du in diesem Feld nicht tun, da deine Zeilen in die Gruppe eingefügt werden, die für alle Robots gilt. Wenn du deine eigene User-Agent-Zeile eingibst, werden die Standardregeln von Shoporama in die neue Gruppe verschoben. Wenn du einen konkreten Bedarf hast, schreibe bitte an support@shoporama.dk, dann finden wir gemeinsam eine Lösung.

Ich habe mehrere Webshops. Muss ich das in allen gleich machen?

Ja, das Feld gehört zum jeweiligen Webshop, du musst also jeden Shop einzeln aufrufen. Wenn du einen neuen Shop durch Kopieren eines bestehenden erstellst, wird der Inhalt des Feldes in die Kopie übernommen, sodass du dir diesen Schritt sparen kannst.

Kann ich Bestell- und Bestätigungsseiten davor schützen, bei Google zu erscheinen?

Diese sind standardmäßig bereits ausgeschlossen. Warenkorb, Adresse, Versand, Zahlung und die Bestätigungsseite verfügen über eine „Disallow“-Zeile, und Shoporama versieht sie gleichzeitig mit dem Attribut „noindex“. Die Bestellseiten verfügen über eine „Disallow“-Zeile. Du musst nichts tun. Denk nur daran, dass „robots.txt“ an sich niemals einen Datenschutz darstellt. Die Datei ist öffentlich und kann von jedem eingesehen werden.

Kann ich mit diesem Eintrag meinen Traffic von Google ruinieren?

Ja, wenn du „Disallow: /“ einträgst. Damit forderst du alle Suchmaschinen auf, den gesamten Shop zu meiden, und im Laufe einiger Wochen sinkt deine Sichtbarkeit. Deshalb: Schau dir nach dem Speichern immer die Datei „/robots.txt“ im Browser an und vergewissere dich, dass kein einzelner Schrägstrich darin steht.

Unser Shop ist nur für Geschäftskunden bestimmt und erfordert eine Anmeldung. Müssen wir alles blockieren?

Nein, das ist selten notwendig. Inhalte hinter dem Login können die Robots ohnehin nicht abrufen, und eine Sperrung des gesamten Shops bedeutet auch, dass die Startseite und eventuelle öffentlich zugängliche Informationsseiten aus Google verschwinden. Wenn Sie den Shop vollständig aus den Suchergebnissen entfernen möchten, kontaktieren Sie uns bitte, damit wir die richtige Lösung für Ihre Konfiguration finden können.

Kann ich die Zeilen entfernen, die Shoporama selbst einfügt?

Nein, diese werden immer hinzugefügt. Sie betreffen den Warenkorb, den Checkout, Bestellseiten, Dateidownloads und Produktbewertungen – also Seiten, die niemals in den Suchergebnissen erscheinen sollen. Falls du einen ganz besonderen Grund hast, eine dieser Seiten crawlen zu lassen, schreibe bitte an support@shoporama.dk.

Muss ich meine Sitemap selbst in das Feld einfügen?

Nein. Shoporama fügt automatisch eine Sitemap-Zeile ein, die auf /sitemap.xml auf deiner eigenen Domain verweist, und die Sitemap wird für dich auf dem neuesten Stand gehalten. Wenn du selbst eine Zeile hinzufügst, wird dieselbe Sitemap einfach zweimal aufgeführt.

Wenn du Fragen zu einer bestimmten Regel hast oder möchtest, dass wir deine robots.txt-Datei überprüfen, kannst du dich gerne an support@shoporama.dk wenden.