Crawl budget: che cos’è e perchè è importante.

La buona abitudine di creare siti dalla struttura lineare e dalla navigabilità estrema, è una best practice che che ha molteplici vantaggi. Come web designer creo siti web facili da navigare in modo da avvantaggiare i visitatori nel raggiungimento delle pagine che intendono visitare, come consulente SEO ad Udine invece vado a razionalizzare i percorsi di navigazione di un sito in modo da andare ad ottimizzare il crawl budget di Google.

Di crawl budget ho già parlato in questo post dove di parlava di interlinking evoluto. In questo post invece nello specifico andrò a spiegare che cos’è e perchè i webmaster dei siti dovrebbero puntare ad ottimizzarlo.

Che cos’è il crawl budget

Il crawl budget ci indica come e con che frequenza Googlebot (il crawler di Google) scansiona le pagine del nostro sito. Possiamo farci un’idea del crawl budget del nostro sito attraverso le statistiche di scansione della Google Search Console (ex webmaster tools). Nello specifico il crawl budget ci dice quante pagine vengono scaricate giornalmente dal Googlebot, quanti sono i kylobyte scaricati (tra html, css, immagini, js…) e quanto ci mette il nostro server a scaricare questi file.

Le metriche del crawl budget

Andiamo quindi a vedere come leggere i tre dati che compongono il crawl budget per eventualmente andare a mettere in pratica tecniche atte a migliorare il crawl budget.

Il numero di pagine sottoposte a scansione giornalmente è come potete brillantemente immaginare, il numero delle pagine che ogni giorno Googlebot analizza. Questo numero dovrebbe essere almeno essere pari al numero delle pagine presenti sul vostro sito. Se il numero invece è nettamente superiore alle pagine presenti nel sito, questo vuol dire che Googlebot “passa” per il vostro sito più volte al giorno in quanto lo apprezza particolarmente. Viceversa se il numero di pagine scansionate è nettamente inferiore al numero di pagine nel sito allora vuol dire che agli occhi di Google in vostro sito non risulta particolarmente interessante.

I Kilobyte scaricati giornalmente è il peso medio delle pagine scaricate ogni giorno dal crawler. Come potete immaginare è opportuno mantenere questo valore il più basso possibile.

Il tempo trascorso per il download di una pagina, allo stesso modo dovrebbe essere il più basso possibile in quanto è il tempo che il vostro webserver impiega a offrire al bot una pagina richiesta. I valori auspicabili in questo senso dovrebbero essere tra il secondo ed il mezzo secondo.

Come ottimizzare il crawl budget

A questo punto parliamo di come ottimizzare il crawl budget affinchè il Googlebot passi a scansionare le pagine del nostro sito con maggiore frequenza.

1. Più il nostro sito ottiene backlink di qualità maggiore sarà la frequenza con cui Googlebot passerà a trovarci. In altre parole pensate alla vostra linkbuilding come un elemento chiave per aumentare il crawl rate.
2. Verificate che il vostro server abbia un buon tempo di risposta e sia in grado di gestire il carico di lavoro connesso ai passaggi del Googlebot. Migliori saranno queste performance, maggiore sarà il numero di file che il vostro server potrà sottoporre all’attenzione di Google.
3. Aggiornate i vostri contenuti con frequenza. Più Googlebot troverà contenuti aggiornati/nuovi più breve sarà il lasso di tempo che vi separerà dalla successiva scansione.
4. Infine mantenete le vostre pagine leggere. Potete capire come fare leggendo il post su come velocizzare un sito in WordPress.