robots.txt-Generator
Die robots.txt teilt Google und anderen Crawlern mit, welche Bereiche deiner Website sie besuchen dürfen. Wähle eine Vorlage, passe die Regeln pro Crawler an, füge deine Sitemap hinzu und lade die Datei herunter. Das Tool warnt vor typischen Fehlern, etwa wenn du versehentlich die ganze Seite sperrst.
Zu 100 % in deinem Browser verarbeitet
Die robots.txt ist eine freiwillige Bitte: Anständige Crawler befolgen sie, sie schützt aber keine privaten Informationen. Lade sie in das Stammverzeichnis deiner Domain hoch (deineseite.de/robots.txt).
Ctrl + Enter ausführenCtrl + C Ergebnis kopieren
So funktioniert es
- 1Wähle eine Vorlage: alles erlauben, alles blockieren, WordPress oder KI blockieren.
- 2Passe erlaubte und gesperrte Pfade für jeden Crawler an.
- 3Füge die vollständige Adresse deiner Sitemap hinzu.
- 4Lade die Datei herunter und lege sie im Stammverzeichnis deiner Domain ab.
Anwendungsfälle
- Den Admin-Bereich oder interne Suchseiten aus dem Index heraushalten.
- KI-Crawler daran hindern, deine Inhalte für das Training zu nutzen.
- Die Sitemap angeben, damit Suchmaschinen deine Seiten finden.
- Eine alte robots.txt vor dem Start einer neuen Website prüfen.
Häufig gestellte Fragen
Wohin lade ich die robots.txt hoch?
In das Stammverzeichnis der Domain, sodass sie unter deineseite.de/robots.txt erreichbar ist. Eine robots.txt in einem Unterordner ist ungültig.
Versteckt die robots.txt Seiten vor Google?
Nicht ganz: Sie bittet Crawler, die Seiten nicht zu besuchen, doch eine gesperrte Seite kann trotzdem erscheinen, wenn andere darauf verlinken. Zum Ausschließen nutzt du das noindex-Tag.
Schützt sie private Informationen?
Nein. Sie ist eine freiwillige Bitte und für jeden lesbar. Schütze sensible Daten mit einem Passwort, nicht mit der robots.txt.
Welche KI-Crawler kann ich blockieren?
Die Vorlage enthält die bekanntesten, etwa GPTBot, ClaudeBot, CCBot und Google-Extended. Nur Crawler, die den Standard respektieren, halten sich daran.