Ratgeber: Eine robots.txt-Regel anhand des längsten passenden Pfads untersuchen

Die Reihenfolge der Zeilen erklärt nicht jeden Konflikt

Eine robots.txt enthält eine breite Sperre und eine genauere Freigabe für einen Unterpfad. Wer nur die zuletzt gelesene Zeile betrachtet, kann die Wirkung falsch einschätzen. Googles Dokumentation beschreibt, dass bei passenden Regeln die spezifischere Pfadregel maßgeblich ist; bei gleich spezifischem Konflikt wird die weniger restriktive Regel verwendet. Zuerst muss außerdem die passende User-Agent-Gruppe bestimmt werden.

Eine konkrete Adresse durchgehen

Wähle einen echten unkritischen Pfad und schreibe die dazu passenden Regeln nebeneinander. Prüfe ihre Schreibweise und den relevanten längsten Bezug. Beachte Groß- und Kleinschreibung sowie eventuelle Platzhalter. Ein ähnlich aussehender Unterordner muss nicht dieselbe Regel treffen. Ändere nicht sofort die ganze Datei, wenn zunächst nur ein einzelner Abruf ungeklärt ist. Eine kleine Testdatei außerhalb des produktiven Regelwerks kann den Fall verständlicher machen.

Absicht und tatsächliche Wirkung vergleichen

Prüfe nach einer bewusst vorbereiteten Änderung den betroffenen Pfad und wichtige Nachbarpfade. Dokumentiere, welcher Crawler und welche Gruppe gemeint waren. Die Regeln sind keine Zugriffskontrolle für private Inhalte. Auch eine technisch erlaubte Adresse wird nicht automatisch indexiert. Der Nutzen der Untersuchung liegt in einer erklärbaren Crawlentscheidung für den konkreten Fall, nicht in einer pauschalen Zusage über alle Bots oder alle Suchergebnisse.