Robots.txt Generator: Crawler von Google und Bing gezielt steuern

Ein Irrtum, der uns regelmäßig begegnet

„Wir haben die Seite mit Disallow gesperrt, trotzdem taucht sie bei Google auf." Diesen Satz hören wir öfter, als man denkt. Der Denkfehler dahinter: Viele gehen davon aus, dass Disallow in der robots.txt dasselbe bewirkt wie noindex. Das stimmt nicht. Ein Disallow verhindert nur, dass der Crawler die Seite besucht und ihren Inhalt liest. Verweisen andere Seiten mit einem Link auf diese URL, kann Google sie trotzdem in den Index aufnehmen, nur eben ohne Titel und Beschreibung, meist als nackte URL im Suchergebnis.

Wer eine Seite wirklich aus dem Index fernhalten will, braucht ein meta name="robots" content="noindex" auf der Seite selbst oder einen entsprechenden HTTP-Header. Und genau das setzt voraus, dass die Seite crawlbar bleibt, denn sonst sieht Google das Noindex-Signal gar nicht erst. Disallow und Noindex schließen sich in der Praxis also fast aus, wenn Sie eine Seite konsequent aus der Suche entfernen wollen.

Was die Datei überhaupt macht

Die robots.txt liegt im Wurzelverzeichnis Ihrer Domain, abrufbar unter https://ihre-domain.de/robots.txt, und folgt dem Robots Exclusion Standard. Bevor ein Crawler Ihre Seite durchforstet, schaut er zuerst hier nach, welche Bereiche er anfassen darf und welche nicht.

Syntax, die Sie kennen sollten

• User-agent: legt fest, für welchen Bot die folgende Regel gilt. * steht für alle. Konkrete Beispiele sind Googlebot, Bingbot, DuckDuckBot oder GPTBot.
• Disallow: Pfad, der nicht gecrawlt werden soll. Disallow: /admin/ sperrt alles unterhalb von /admin/.
• Allow: Ausnahme innerhalb eines gesperrten Bereichs, etwa wenn ein Verzeichnis dicht ist, eine einzelne Datei darin aber zugänglich bleiben soll.
• Sitemap: Verweis auf Ihre XML-Sitemap.
• Crawl-delay: Wartezeit zwischen Requests in Sekunden. Google ignoriert dieses Feld inzwischen, Bing und Yandex befolgen es weiterhin.

Wo die Datei in der Praxis zum Einsatz kommt

Admin- und Backend-Bereiche

/admin/, /wp-admin/, /login: Diese Pfade sollen nicht im Index landen. Wichtig zu wissen: Ein Disallow ist kein Zugriffsschutz. Die URL bleibt öffentlich erreichbar, jeder mit dem Link kommt weiterhin hin. Sensible Bereiche gehören konsequent hinter ein echtes Login.

Facettennavigation und Filter

Online-Shops erzeugen über Filterkombinationen (?color=rot&size=M) oft tausende URL-Varianten mit fast identischem Inhalt. Diese blähen den Index auf und nehmen Ihren eigentlichen Kategorieseiten die Sichtbarkeit weg. Blockieren Sie solche Muster oder setzen Sie noindex direkt auf den Filterseiten.

Staging-Server

Eine versehentlich indexierte Testumgebung sorgt für Duplicate Content und für die falsche Domain in den Suchergebnissen. Die schnelle Komplettsperre lautet User-agent: * gefolgt von Disallow: /. Denken Sie aber daran, diese Sperre vor dem Go-Live wieder zu entfernen, das wird gern vergessen.

Besondere User-Agents

• Googlebot-Image: zuständig für den Google-Bilderindex.
• Mediapartners-Google: der AdSense-Crawler. Nicht sperren, wenn Sie Anzeigen ausliefern wollen.
• GPTBot, ClaudeBot, PerplexityBot, CCBot: KI-Crawler, die Inhalte für Trainingsdaten oder Antwortgenerierung sammeln. Manche Betreiber sperren diese bewusst.
• AhrefsBot, SemrushBot, MJ12bot: SEO-Tool-Crawler, die bei hoher Frequenz den Server spürbar belasten können.

Was Sie sonst noch beachten sollten

1. Halten Sie die Datei schlank. Google liest ohnehin nur die ersten 500 KiB.
2. Testen Sie neue Regeln vor dem Deploy, etwa mit einem robots.txt-Tester.
3. Case-Sensitivity beachten: /Admin/ ist auf den meisten Servern nicht dasselbe wie /admin/.
4. Referenzieren Sie die Sitemap, auch wenn Sie sie zusätzlich in der Search Console eingereicht haben.
5. Blockieren Sie niemals CSS- oder JS-Dateien, die Google zum Rendern der Seite braucht.

Datenschutz

Ihre Konfiguration entsteht ausschließlich im Browser. Es werden keine Daten an unseren Server übertragen.