robots.txt vorhanden
Ohne robots.txt fehlt eine zentrale Steuerung für Bots.
Das Thema dieser Seite: Die robots.txt ist das erste Steuerungsinstrument für Crawler und muss erreichbar sowie technisch sauber sein.
Inhalt
Inhaltsverzeichnis
Klicke auf einen Abschnitt, um direkt dorthin zu springen.
Check
Der Check ruft /robots.txt ab, bewertet den Statuscode und
prüft, ob eine verwertbare robots.txt ausgeliefert wird.
| Prüfpunkt | Bedeutung | Bewertung |
|---|---|---|
| Status 200, Inhalt lesbar | robots.txt erreichbar und nutzbar | OK |
| Status 403/401 | Robots blockiert oder geschützt | Warnung |
| Status 404/5xx | Datei fehlt oder Serverfehler | Kritisch |
Kontext & Problemraum
Fehlende robots.txt tritt häufig nach Relaunches, bei neuen Domains oder bei Staging-Umgebungen auf.
| Situation | Symptom | Risiko |
|---|---|---|
| Neuer Launch | robots.txt fehlt | Kein zentraler Crawler-Hinweis |
| Staging kopiert | robots blockiert produktiv | Indexierung bleibt aus |
| CDN/Firewall | 403 auf /robots.txt | Robots nicht erreichbar |
Entscheidungslogik
| Wenn | Dann | Empfehlung |
|---|---|---|
| robots.txt vorhanden | Grundsteuerung möglich | Regeln regelmäßig prüfen |
| robots.txt fehlt | Keine Steuerung | Minimaldatei anlegen |
| robots.txt blockiert | Kein Zugriff | Firewall/ACL anpassen |
Erklärende Details
Die Datei muss im Root liegen und als Text ausgeliefert werden. Auch leere Dateien werden von Crawlern gelesen, liefern aber keine Hinweise.
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml| Detail | Warum relevant | Hinweis |
|---|---|---|
| Pfad /robots.txt | Nur Root wird gelesen | Keine Unterordner-Variante |
| Content-Type | Parser erwartet Text | text/plain ausliefern |
| Sitemap-Zeile | Schneller Sitemap-Fund | Absolute URL verwenden |
Risiken, Grenzen & Einschränkungen
| Grenze | Woran erkennbar | Was tun |
|---|---|---|
| robots.txt erlaubt alles | Keine Regeln enthalten | Gezielte Regeln ergänzen |
| Legacy-Regeln | Disallow für alte Pfade | Regeln aktualisieren |
| Subdomains | robots.txt gilt nicht dort | Eigene Datei je Subdomain |
Interne Links
Weiterführende Checks
Nächste Schritte für Crawling & Indexierung.
Zurück zur ÜbersichtSitemap erreichbar
Stellt sicher, dass die Sitemap gefunden werden kann.
Sitemap in robots.txt
Verknüpft die Sitemap direkt im robots.txt.
Seite nicht gesperrt
Prüft, ob wichtige URLs zugelassen sind.