Robots.txt-Generator

Sie können mit einer Vorlage für Ihre Plattform starten oder die Datei von Grund auf aufbauen. Danach definieren Sie Allow- und Disallow-Regeln, legen bei Bedarf spezifische User-Agents fest und ergänzen die Sitemap-URL. Am Ende prüfen Sie die Ausgabe und laden die fertige robots.txt herunter.

Mit Disallow verhindern Sie das Crawling bestimmter Pfade, zum Beispiel eines Admin-Bereichs. Allow erlaubt einzelne Pfade ausdrücklich und ist hilfreich, wenn Sie innerhalb einer allgemein blockierten Struktur Ausnahmen brauchen. Beide Regeln zusammen geben Ihnen präzisere Kontrolle über das Crawling.

Prüfen Sie zuerst mit dem eingebauten Tester, ob konkrete URLs erlaubt oder blockiert sind. Danach laden Sie die Datei ins Root-Verzeichnis Ihrer Website hoch und testen die finale Version zusätzlich in der Google Search Console. So sehen Sie früh, ob Regeln unbeabsichtigte Bereiche treffen.

Mit `*` erfassen Sie variable Zeichenfolgen, mit `$` markieren Sie das Ende einer URL. Damit lassen sich zum Beispiel alle PDF-Dateien oder parameterbasierte URLs gezielt steuern. Der Generator hilft Ihnen dabei, diese Muster sauber und nachvollziehbar zu formulieren.

Für die meisten Websites reicht `*`, also eine Regel für alle Crawler. Spezifische Bots wie Googlebot oder Bingbot sind nur dann sinnvoll, wenn Sie bewusst abweichende Regeln je Suchmaschine brauchen. Je einfacher die Datei bleibt, desto leichter lässt sie sich warten.

Nur wenn Bot-Traffic Ihren Server spürbar belastet. Die meisten Websites brauchen keinen Crawl Delay. Wenn Sie ihn einsetzen, starten Sie mit einem vorsichtigen Wert, weil zu strenge Einstellungen das Crawling und damit die Indexierung unnötig ausbremsen können.