Robots.txt Generator

Mit diesem kostenlosen Online-Tool können Sie eine optimale robots.txt Datei für Ihre Website erstellen. Die robots.txt Datei gibt Suchmaschinen und anderen Web-Crawlern Anweisungen, welche Bereiche Ihrer Website gecrawlt und indexiert werden dürfen und welche nicht.

User-Agent Regeln

User-Agent

* = Alle Bots, oder spezifischen Bot-Namen eingeben

Disallow (Verbieten)

Eine Regel pro Zeile. Leer lassen, um alles zu erlauben.

Allow (Erlauben)

Eine Regel pro Zeile. Überschreibt Disallow-Regeln.

Zusätzliche Einstellungen

Sitemap URL

Die URL zu Ihrer XML-Sitemap.

Crawl-Delay

Wartezeit in Sekunden zwischen Anfragen (nicht von Google unterstützt).

Host-Direktive (für Yandex)

Bevorzugte Domain-Version (nur von Yandex unterstützt).

Vorschau

Generierte robots.txt

Was ist eine robots.txt Datei?

Die robots.txt Datei ist eine Textdatei, die im Stammverzeichnis Ihrer Website platziert wird und Anweisungen für Web-Crawler (wie Suchmaschinen-Bots) enthält. Sie folgt dem Robots Exclusion Protocol und gibt an, welche Teile Ihrer Website gecrawlt werden dürfen und welche nicht.

Warum ist robots.txt wichtig?

Eine korrekt konfigurierte robots.txt Datei hilft Ihnen:

Crawl-Budget zu optimieren: Verhindern Sie, dass Suchmaschinen Zeit mit unwichtigen Seiten verschwenden.
Sensible Bereiche zu schützen: Verhindern Sie die Indexierung von Admin-Bereichen, internen Suchseiten oder temporären Inhalten.
Duplicate Content zu vermeiden: Blockieren Sie verschiedene Versionen derselben Inhalte.
Server-Last zu reduzieren: Kontrollieren Sie, wie intensiv Ihre Website gecrawlt wird.

Wichtige Komponenten einer robots.txt Datei

User-agent

Gibt an, für welchen Bot die folgenden Regeln gelten:

User-agent: * - Gilt für alle Bots
User-agent: Googlebot - Gilt nur für Google
User-agent: Bingbot - Gilt nur für Bing

Disallow

Gibt an, welche Pfade nicht gecrawlt werden sollen:

Disallow: /admin/ - Blockiert den /admin/ Ordner
Disallow: /private/ - Blockiert den /private/ Ordner
Disallow: (leer) - Erlaubt alles
Disallow: / - Blockiert die gesamte Website

Allow

Gibt an, welche Pfade gecrawlt werden dürfen (überschreibt Disallow-Regeln):

Allow: /public/ - Erlaubt den /public/ Ordner, auch wenn ein übergeordneter Ordner blockiert ist

Sitemap

Gibt den Standort Ihrer XML-Sitemap an:

Sitemap: https://www.example.com/sitemap.xml

Crawl-delay

Gibt an, wie viele Sekunden ein Bot zwischen Anfragen warten soll (nicht von allen Suchmaschinen unterstützt):

Crawl-delay: 10 - Bot soll 10 Sekunden zwischen Anfragen warten

Best Practices für robots.txt

Testen Sie Ihre robots.txt: Nutzen Sie die Testwerkzeuge in der Google Search Console oder Bing Webmaster Tools.
Seien Sie spezifisch: Blockieren Sie nur, was wirklich nicht gecrawlt werden soll.
Beachten Sie die Syntax: Fehler können dazu führen, dass Ihre gesamte Website blockiert oder vollständig gecrawlt wird.
Verwenden Sie relative Pfade: Beginnen Sie Pfade mit einem Schrägstrich (/).
Beachten Sie die Groß-/Kleinschreibung: URLs in der robots.txt sind case-sensitive.
Vergessen Sie nicht die Sitemap: Fügen Sie immer einen Verweis auf Ihre XML-Sitemap hinzu.

Wichtig: Die robots.txt Datei ist keine Sicherheitsmaßnahme! Sie verhindert nicht, dass Ihre Inhalte zugänglich sind, sondern gibt nur Anweisungen an gutartige Bots. Sensible Inhalte sollten immer durch Passwörter oder andere Sicherheitsmaßnahmen geschützt werden.

Tipp: Platzieren Sie die generierte robots.txt Datei im Stammverzeichnis Ihrer Website (neben Ihrer index.html oder index.php). Die Datei muss direkt unter www.example.com/robots.txt erreichbar sein.