Website-Crawler: mit fünf wichtigen Seiten beginnen

Mehr als eine einzelne URL

Ein Website-Crawler folgt Links im vorgesehenen Umfang und sammelt technische Hinweise. So kannst du erkennen, ob wichtige Seiten miteinander verbunden sind und welche Ziele Fehler liefern. Verwende ihn für deine eigene öffentliche Website oder mit entsprechender Berechtigung. Ein Crawl ist kein verdeckter Zugang zu privaten Bereichen.

Den Umfang klein halten

Öffne den Website-Crawler und wähle deine Startadresse. Beginne mit einem überschaubaren Umfang. Notiere vorab fünf wichtige URLs: Startseite, Angebot, Kontakt, ein Ratgeber und eine zentrale Kategorie. Vergleiche anschließend, ob diese Seiten tatsächlich erreichbar und über Links auffindbar sind. Verwechsle eine im Bericht fehlende URL nicht sofort mit einer gelöschten Seite; sie kann außerhalb des gewählten Umfangs liegen.

Befunde als Gruppen lesen

Mehrere falsche Bildpfade können aus derselben Vorlage stammen. Zehn ähnliche Fehler sind dann möglicherweise mit einer Änderung lösbar. Ordne die Ergebnisse nach Ursache, nicht nur nach Anzahl. Prüfe den betroffenen Seitentyp im Browser. Bei einem Canonical-Hinweis vergleichst du bevorzugte Adresse, sichtbaren Inhalt und interne Verlinkung.

Nach dem Eingriff wieder vergleichen

Sichere den vorherigen Bericht. Prüfe nach der Änderung denselben Umfang erneut. Ein kleiner vergleichbarer Crawl zeigt Veränderungen klarer als zwei zufällig unterschiedliche Stichproben. Die Auswertung kann Probleme sichtbar machen, entscheidet aber nicht, welche Seiten eine Suchmaschine tatsächlich indexiert. Dafür sind die bestätigten Webmaster-Konten und ihre URL-Berichte die passende Ergänzung.