Ratgeber: Bei einer Crawlregel die Schreibweise des URL-Pfads genau übernehmen

Ähnliche Zeichenfolgen müssen nicht dasselbe Ziel sein

Ein Regelentwurf enthält einen Pfad mit großem Anfangsbuchstaben, die tatsächliche Seite wird jedoch kleingeschrieben aufgerufen. Google dokumentiert Pfadwerte in robots.txt als abhängig von Groß- und Kleinschreibung. Beim Prüfen eigener Regeln sollte deshalb die reale Adresse maßgeblich sein. Die folgende Übung betrachtet eine konkrete Abweichung und behauptet keine vollständige automatische Prüfung aller Regelkombinationen.

Eine kleine Gegenüberstellung anlegen

Kopiere den tatsächlich beobachteten Pfad und schreibe den vorgesehenen Regelwert daneben. Vergleiche Buchstaben, Schrägstriche und die genaue Reichweite. Prüfe außerdem, ob unterschiedliche Schreibweisen auf dem eigenen Server verschiedene Inhalte oder Weiterleitungen ergeben. Ein Browser, der am Ende dieselbe Seite zeigt, erklärt noch nicht jeden Zwischenschritt. Bewahre die ursprüngliche Regeldatei vor einer Änderung auf und notiere, welche einzelne Adresse damit erfasst werden soll. Vermeide einen unnötig breiten Ersatz für eine kleine Schreibfehlerkorrektur.

Nicht nur auf die Textähnlichkeit vertrauen

Prüfe den korrigierten Entwurf mit einem geeigneten Regeltest und kontrolliere die tatsächliche Datei nach Veröffentlichung. Andere erlaubende oder sperrende Regeln können für die Bewertung ebenfalls wichtig sein. Dokumentiere deshalb nicht bloß „Pfad sieht richtig aus“, sondern das getestete Ziel und Ergebnis. Wenn die Wirkung ungeklärt bleibt, erweitere die Sperre nicht auf Verdacht. Eine passende Crawlregel ist keine Zugangssicherung und keine Garantie für das Verschwinden einer Adresse aus Suchergebnissen. Sie beschreibt, welche Abrufe der angesprochene Crawler unter den betreffenden Regeln vornehmen darf.