Website-Crawler: Ein erreichtes Seitenlimit als Grenze der Stichprobe dokumentieren

Ein begrenzter Lauf beschreibt einen Ausschnitt

Der Website-Crawler prüft eigene öffentliche Seiten innerhalb derselben Domain und begrenzt unter anderem die Seitenzahl. Wenn ein Lauf das gewählte Limit erreicht, ist das kein Beleg dafür, dass alle Seiten der Website geprüft wurden. Gerade größere Magazine oder Shops brauchen deshalb eine klare Beschreibung des Prüfumfangs. Die vorhandene Begrenzung dient einem überschaubaren Abruf und sollte nicht als vollständige Bestandsaufnahme ausgegeben werden.

Erwartete Seiten vorab notieren

Schreibe für einen kleinen Prüflauf einige wichtige Adressen auf: Startseite, Kontakt, eine aktuelle Anleitung und eine ältere Unterseite. Starte mit einer passenden öffentlichen Adresse und dem verfügbaren Seitenlimit. Vergleiche anschließend, welche der erwarteten Seiten im Ergebnis vorkommen. Eine fehlende Seite kann außerhalb des erreichten Ausschnitts liegen oder über die untersuchten Links nicht gefunden worden sein. Aus ihrem Fehlen folgt nicht unmittelbar ein HTTP-Fehler oder ein Indexierungsproblem.

Den nächsten Test gezielt wählen

Prüfe eine fehlende wichtige Adresse separat und untersuche ihren internen Zugangsweg. Halte Startadresse, Limit, Zeitpunkt und tatsächlich geprüfte URLs fest. Wenn du einen weiteren Lauf startest, kennzeichne ihn als eigene Stichprobe, statt die Ergebnisse ohne Herkunft zusammenzuwerfen. Der Crawler entfernt außerdem Suchparameter und Fragmente; spezielle Zustände einer Anwendung können dadurch außerhalb seiner vereinfachten Prüfung liegen. Eine vollständige Liste aus deinem CMS kann beim Abgleich helfen. Die Schlussfolgerung sollte genau zum Beleg passen: bestimmte Seiten wurden geprüft, andere bleiben noch offen.