Eine praktische Crawl-Budget-Checkliste für grosse Websites

Die üblichen Verdächtigen sind facettierte Navigation, bei der jede Filterkombination eine crawlbare URL ist, Session- und Tracking-Parameter, die unendliche Varianten derselben Seite erzeugen, paginierte Archive, die sich über hunderte Seiten ziehen, und dünne oder doppelte Seiten, die existieren, aber nichts beitragen.

Ziehen Sie eine Stichprobe der Serverlogs und schauen Sie, was der Crawler tatsächlich abgerufen hat. Wenn ein grosser Teil der Crawls auf Parameter-URLs und Filterkombinationen trifft, ist das Budget, das nicht auf Ihre Inhalte verwendet wird.

Straffen Sie die interne Verlinkung, damit die wichtigen Seiten mit den wenigsten Klicks am leichtesten erreichbar sind. Eine Suchmaschine crawlt, was verlinkt ist, also ist die Linkstruktur der Haupthebel.

Kontrollieren Sie Parameter- und Filter-URLs. Nutzen Sie Canonical-Tags, um Varianten auf die saubere URL zu verweisen, robots-Regeln, um das Crawlen offensichtlich unendlicher Räume zu stoppen, und noindex, wo eine Seite für Nutzer existieren soll, aber nicht für die Suche.

Halten Sie die Sitemap auf kanonische, indexierbare Seiten begrenzt. Eine Sitemap voller Weiterleitungen, noindex-Seiten und 404 kostet den Crawler Zeit und senkt das Vertrauen in die Datei.

Eine langsame Website wird vorsichtig gecrawlt. Ebenso eine, die viele 5xx-Fehler oder lange Weiterleitungsketten zurückgibt. Serverantwortzeit und Fehlerrate beeinflussen direkt, wie aggressiv eine Website gecrawlt wird.

Beschneiden oder bündeln Sie dünne Seiten. Jede Seite, die nie ranken wird, ist eine Seite, die der Crawler trotzdem berücksichtigen muss.

Verfolgen Sie über die Zeit die entdeckten Seiten gegen die Seiten, die eine Indexierung wert sind. Ist die Lücke gross und wächst sie, wird Crawl-Budget verschwendet. Semantyra meldet beide Zahlen aus einem Crawl, zusammen mit den Problemen bei verwaisten und dünnen Seiten, die den Unterschied meist erklären.