Una checklist pratica del crawl budget per siti grandi

I soliti colpevoli sono la navigazione a faccette, dove ogni combinazione di filtri è un URL scansionabile, i parametri di sessione e tracciamento che creano infinite varianti della stessa pagina, gli archivi paginati che vanno avanti per centinaia di pagine, e le pagine sottili o duplicate che esistono ma non aggiungono nulla.

Prendi un campione dei log del server e guarda cosa ha davvero scaricato il crawler. Se una grande quota delle scansioni colpisce URL con parametri e combinazioni di filtri, quello è budget non speso sui tuoi contenuti.

Rafforza il collegamento interno così le pagine che contano sono le più facili da raggiungere nel minor numero di clic. Un motore di ricerca scansiona ciò che è collegato, quindi la struttura dei link è la leva principale.

Controlla gli URL con parametri e filtri. Usa i tag canonical per puntare le varianti all URL pulito, le regole robots per fermare la scansione di spazi palesemente infiniti, e il noindex dove una pagina deve esistere per gli utenti ma non per la ricerca.

Tieni la sitemap limitata alle pagine canoniche e indicizzabili. Una sitemap piena di redirect, pagine noindex e 404 fa perdere tempo al crawler e abbassa la fiducia nel file.

Un sito lento viene scansionato con cautela. Lo stesso vale per uno che restituisce molti errori 5xx o lunghe catene di redirect. Il tempo di risposta del server e il tasso di errore influenzano direttamente quanto aggressivamente un sito viene scansionato.

Elimina o consolida le pagine sottili. Ogni pagina che non si posizionerà mai è una pagina che il crawler deve comunque considerare.

Traccia nel tempo le pagine scoperte rispetto alle pagine che vale la pena indicizzare. Se il divario è grande e in crescita, il crawl budget si sta sprecando. Semantyra riporta entrambi i numeri da una scansione, insieme ai problemi di pagine orfane e sottili che di solito spiegano la differenza.