Molti non addetti ai lavori si staranno domandando cosa sia il crawl budget e quale sia la sua funzione nel mondo del SEO. Bisogna innanzitutto spiegare che quando le pagine web vengono messe online verranno con una certa frequenza scansionate da Google e dai suoi bot per poter essere indicizzate e creare il ranking dei risultati di ricerca. Detto questo bisogna tenere sempre presente che Googlebot è stato progettato come una sorta di utente medio del web che verifica la user experience del nostro sito al fine di classificarla.
Uno dei primi parametri verificati è sicuramente la velocità di scansione, ovvero lo spider di Google ha un limite di tempo nello scansionare il sito, entro il quale se trova le informazioni chiare che cerca premierà il nostro sito, altrimenti lo penalizzerà nel ranking. C’è infatti un limite di numero di connessioni simultanee che Googlebot può utilizzare nella scansione del sito, nel tempo di recupero dei dati e altro. La velocità può aumentare o diminuire in base a determinati fattori come lo stato della ricerca e il limite impostato nella search console.
Un’importante aspetto da tenere in considerazione è che se c’è domanda da parte dell’indicizzazione, anche nel caso il limite di velocità non venga raggiunto, l’attività di Googlebot rimarrà bassa. I fattori che ne determinano la domanda sono la popolarità, ovvero i siti più popolari vengono scansionati più spesso, e l’aggiornamento, ovvero googlebot impedisce che gli url diventino vecchi nell’indice. A questo punto possiamo definire il crawl budget come il numero di url che Googlebot può e vuole scansionare.
Ci sono vari fattori che influenzano il crawl budget, come il faced navigation e le sessioni di identificazione, i contenuti che si trovano online duplicati, le pagine di errore, quelle hackerate, gli spazi e i proxy, e infine i contenuti di bassa qualità e ciò che è considerato spam. Sprecare risorse del server su pagine con questo tipo di errori fa sì che il crawl budget diminuisca e renda meno efficiente la nostra indicizzazione.
