Was macht die robots.txt?
Die robots.txt ist eine Textdatei im Hauptverzeichnis Ihrer Domain. Sie gibt Webcrawlern (wie dem Googlebot) Anweisungen, welche Bereiche der Seite sie besuchen dürfen und welche nicht.
Wichtige Befehle:
- User-agent: Für welchen Bot gilt die Regel? (
*= alle). - Disallow: Verzeichnis oder Datei, die nicht gecrawlt werden soll (z.B.
/admin/). - Allow: Ausnahme von einem Disallow.
- Sitemap: Verweis auf die XML-Sitemap.