Ratgeber: robots.txt für Hauptdomain und Subdomain getrennt prüfen

Eine Datei gilt nicht für jeden Nachbarn

Eine Website kann Hauptdomain, www-Adresse und weitere Subdomains verwenden. Google beschreibt den Geltungsbereich einer robots.txt anhand von Host, Protokoll und Port. Eine Datei auf einem Host steuert daher nicht automatisch sämtliche anderen Adressen desselben Projekts. Für die eigene Kontrolle empfehlen wir eine kleine Liste tatsächlich genutzter Einstiegspunkte. Das ist eine technische Bestandsprüfung und keine Aufforderung, Domains oder DNS-Einträge zu verändern.

Den vollständigen Ursprung festhalten

Notiere für jeden benötigten Ursprung die tatsächlich verwendete HTTPS-Adresse. Öffne die zugehörige robots.txt direkt am Wurzelpfad und prüfe Antwort sowie Inhalt. Verwechsle eine Datei in einem Unterordner nicht mit der maßgeblichen Datei für den Host. Dokumentiere Weiterleitungen und endgültige Ziele getrennt. Wenn ein Host absichtlich nicht öffentlich betrieben wird, gehört diese Entscheidung ebenfalls in die Bestandsnotiz. Eine Namensähnlichkeit allein beweist keinen gemeinsamen Regelstand.

Änderungen auf den betroffenen Bereich begrenzen

Vergleiche die gefundenen Regeln mit der beabsichtigten Nutzung des jeweiligen Hosts. Eine Abweichung sollte an der zuständigen Konfiguration mit Rückweg geprüft werden. Kopiere nicht ungeprüft die strengste oder offenste Datei auf alle anderen Adressen. Kontrolliere nach einer Änderung dieselben konkreten Aufrufe erneut. Crawlregeln schützen außerdem keine vertraulichen Daten vor unberechtigtem Zugriff. Der Erfolg dieser Übung besteht in einem nachvollziehbaren Regelstand je tatsächlichem Ursprung, nicht in einer pauschalen Aussage, dass alle Suchmaschinen jedes Angebot gleich behandeln.