Crawl Budget: che cos’è e come ottimizzarlo

  • 12 Agosto 2018
Home » News Web Design e Seo » Crawl Budget: che cos’è e come ottimizzarlo
Si parla di:

crawl-budget-come-ottimizzare

L’attività di un consulente SEO tecnico non consiste solo nell’ottimizzare le pagine che compongono un sito con le giuste keywords posizionate nell’opportuna posizione, ma riguarda l’agevolazione del processo di scansione delle pagine da parte dei crawler di Google. Questa necessità si concretizza in tutta una serie di operazioni tecniche tra cui l’ottimizzazione del crawl budget.

Che cos’è il crawl budget

Prima di vedere come si ottimizza il crawl budget è importante capire che cos’è. Il concetto di crawl budget è connesso a quello di crawler. Esistono diversi tipi di crawler: i crawler dei motori di ricerca, i crawler dei webservices ed i crawler degli hacker. Il crawl budget si riferisce ai crawler dei motori di ricerca.

Per crawl budget si intende il numero di volte in cui il crawler (o spider o robot) di un motore di ricerca raggiunge il tuo sito web durante un determinato periodo di tempo. Non esiste un limite universale per quanto riguarda il numero di pagine e la frequenza di scansione.

E’ giusto dire che il crawl budget non è un fattore di ranking anche se molto importante a livello SEO. Perchè quindi dobbiamo preoccuparci del crawl budget? Perchè ovviamente vogliamo che lo spider di Google rilevi quelle che sono le pagine più importati del nostro sito nonchè i nuovi contenuti. Più elevato (e più ottimizzato) è il crawl budget, più velocemente questo accacrà.

L’ottimizzazione del crawl budget è particolarmente utile quando gestiamo ecommerce o blog di grandi dimensioni.

E’ possibile vedere l’andamento del crawl budget da Search Consolle/Statistiche di scansione da cui è possibile conoscere:

  1. Pagine sottoposte a scansione giornalmente
  2. Kilobyte scaricati giornalmente
  3. Tempo trascorso per il download di una pagina (in millisecondi)
statistiche-di-scansione-search-console

La schermata Statistiche di Scansione di Google Search Console

Secondo quanto dichiarato da Google per determinare il crawl budget di un sito vengono presi in considerazione due fattori:

  1. Popularità: le pagine più popolari vengono scansionate più frequentemente. Il concetto di Popularity è legato al concetto di PageRank. Matt Cuts nel 2010 infatti dichiarava “Il numero di pagine che sottoponiamo a scansione è approssimativamente proporzionale al tuo PageRank”
  2. Informazioni non aggiornate: Google non vuole che le informazioni contenute nelle pagine web diventino obsolete. Per i webmaster ciò significa che se il contenuto di una pagina viene aggiornato spesso, Google tenta di eseguire la scansione della pagina più frequentemente.

Come ottimizzare il crawl budget

Dopo aver capito che cos’è il crawl budget, vediamo come ottimizzarlo attraverso alcuni passaggi fondamentali e sempre validi.

  1. Evita le catene di redirect. Se sul tuo sito è presente un numero irragionevole di reindirizzamenti 301 e 302 uno dietro l’altro, gli spider di ricerca smetteranno di seguire i reindirizzamenti a un certo punto e la pagina di destinazione potrebbe non essere sottoposta a scansione. Inoltre, ogni URL reindirizzato è uno spreco di una “unità” del crawl budget Assicurati di utilizzare i reindirizzamenti non più di due volte di seguito e solo quando è assolutamente necessario.
  2. Gestisci le ulr con parametri. I più popolari CMS generano molti URL dinamici che di fatto portano a una stessa pagina. Di default, i robot del motore di ricerca considerano questi URL come pagine separate. Di conseguenza, potresti perdere sia il budget destinato all’indicizzazione che, potenzialmente, avere problemi di duplicazione dei contenuti. Se il motore del tuo sito web o CMS aggiunge parametri agli URL che non influenzano il contenuto delle pagine, assicurati di consentire a Googlebot di conoscerli aggiungendo questi parametri nel tuo account Google Search Console, sotto Scansione -> Parametri URL.
  3. Correggi gli errori di stato HTTP. Qualsiasi URL che Google recupera, inclusi CSS e Java Script, consuma una unità del budget di ricerca per indicizzazione. Non è opportuno pertanto sprecarlo in errori 404 o 503. Prenditi un momento per testare il sito per trovare eventuali link non funzionanti o errori del server e risolverli appena possibile.
  4. Sitemap XML aggiornata ed in ordine. Le sitemap XML sono importanti per la corretta scansione del sito web. Comunicano ai motori di ricerca l’organizzazione dei contenuti e consentono ai robot di ricerca di scoprire nuovi contenuti più rapidamente. La tua sitemap XML dovrebbe essere regolarmente aggiornata e libera da “rifiuti” (pagine 4xx, pagine non canoniche, URL che reindirizzano ad altre pagine e pagine che sono bloccate dall’indicizzazione).
  5. Cura la struttura del sito ed il cross linking interno. Sebbene il crosslinking interno non abbia una correlazione diretta con il budget di ricerca per indicizzazione, la struttura del sito è ancora un fattore importante per rendere i tuoi contenuti rilevabili dai robot di ricerca. Un sito web logico con un struttura ad albero, ha molti vantaggi, come l’esperienza utente e il tempo che i visitatori trascorrono sul tuo sito e una migliore scansione è sicuramente uno di questi. In generale, tenete le aree importanti del sito a non più di 3 click di distanza da qualsiasi pagina (soprattutto l’home page). Includi le pagine e le categorie più importanti nel menu o nel footer del sito. Per siti più grandi, come blog e siti di e-commerce, le sezioni con post / prodotti correlati e post / prodotti in primo piano possono essere di grande aiuto nel mettere le pagine di destinazione il più possibile in superficie possivbile – sia per gli utenti che per i robot dei motori di ricerca.

Crawl budget: come ottimizzarlo con SEOZoom

Una funzione in particolare di SEOZoom vi aiuta ad ottimizzare il vostro crawl budget. Si tratta della funzione Pagine Peggiori. La funzione vi consente di scoprire quali sono le pagine che non sono posizionate per nemmeno una parola chiave. Valuterete quindi di caso in caso, a seconda di quanto sia strategica la pagina considerata, se attuare un pesante lavoro di revisione ed ottimizzazione della pagina oppure se renderla non indicizzabile attraverso l’attributo noindex.

Laura Musig SEO UdineLaura Musig

Web Designer e SEO Freelance a Udine o se preferite web designer SEO. Nel 2001 decisi di sezionare un sito web per vedere cosa c’era dentro, da allora creo e gestisco siti web. Lettrice onnivora, con un fisiologico bisogno di scrivere e di ballare.

Come diventare SEO:


Corso SEO

Ho inoltre raccolto le risorse più utili di questo blog per aiutare chi sta cercando di capire come si diventa SEO Specialist:

SEOZoom

Blog SEO e ultime news

In questa sezione propongo periodicamente approfondimenti a tema SEO e web marketing. Segnalo anche gli ultimi lavori di creazione siti web ad Udine e di posizionamento sui motori di ricerca. 

Perchè non leggi anche questi post?

Leggi tutti i post dal mio blog seo