Woher nimmt der Report Crawl die Links?

Der Report Crawl beginnt auf der in der Lizenz angegebenen Seite – das ist in der Regel die Startseite der Domain. Von dort aus erstellt das System eine interne Liste aller internen Links, die auf der Website gefunden werden können. Links, die zuerst gefunden werden, werden als erstes geprüft (First In First Out).

Diese Linkliste wird anschließend der Reihenfolge nach abgearbeitet. Bei jedem weiteren Seitenaufruf im Crawl-Prozess werden neue Links entdeckt und zur Liste hinzugefügt. So wächst die Linkliste mit jedem weiteren Crawl-Schritt, bis entweder alle erreichbaren Links erfasst wurden oder das im Crawl definierte Limit erreicht ist.

Über die Report-Einstellungen im Dashboard gibt es die Möglichkeit zu steuern, welche Seiten geprüft werden. Besondere Priorität haben dabei Sitemaps oder bestimmte Links, die im Report explizit eingetragen wurden und regelmäßig geprüft werden sollen. Diese werden unabhängig von der Reihenfolge in der Linkliste bevorzugt behandelt und zuerst gecrawlt.

Weitere Artikel zu ähnlichen Themen:

wie kann man sich seine Unterseiten / Seiten filtern, das die Seiten mit dem meisten traffic im Report angezeigt werden?

Wie lässt sich eine Seite vom Scan durch Eye-Able® Report ausnehmen?