Crawl Budget: cos’è e come ottimizzarlo al meglio
Il Crawl Budget è un termine, ormai piuttosto comune, per indicare le risorse impiegate da Google per la scansione di un sito web.
Se le tue pagine non vengono scansionate e conseguentemente indicizzate da Google, non sarai in grado di posizionarti ed apparire tra i primi risultati di ricerca nella SERP.
Il budget di scansione può diventare un fattore chiave che devi assolutamente ottimizzare se vuoi migliorare il posizionamento organico del tuo sito web.
“definiamo il budget di scansione come il numero di URL che Googlebot può e vuole sottoporre a scansione.” – fonte: Google
Ma cosa bisogna fare per semplificare la scansione del tuo sito internet da parte degli spider? E quali sono i parametri che Google utilizza per valutare il Crawl budget necessario per scandagliare le pagine del tuo sito?
In primo luogo, Google assegna il Crawl Budget ad un sito in base a 2 fattori:
- Crawl Rate Limit, limite di scansione: durante l’analisi delle pagine, Googlebot genera un numero massimo di richieste di connessione parallele in modo tale da non “stressare” troppo il server. Il valore di questo limite diminuisce quando la scansione avviene in maniera lenta o presenta errori. Siti con grandi quantità di url, sopratutto se non hanno una struttura gerarchica ben organizzata, vengono scansionati più lentamente ed hanno necessità dell’impiego di maggiori risorse.
- Crawl Demand, richiesta di scansione: ovvero la frequenza di scansioni a cui viene sottoposto un sito web. Gli url più popolari ed i siti con meno di qualche migliaio di url sono tendenzialmente sottoposti a scansioni più frequenti.
Come ottimizzarlo?
Adesso che è chiaro cosa sia il Crawl Budget, vediamo come fare per ottimizzarlo.
Google mette a disposizione una risorsa per monitorare il budget di scansione del tuo sito: Google Search Console. Attraverso questo strumento sarai in grado di analizzare nel dettaglio lo stato di indicizzazione del tuo sito o potrai richiedere l’indicizzazione a Google nel caso in cui non fosse ancora stato fatto. Quest’ultima, non ti garantisce che la pagina verrà sicuramente indicizzata ma potrebbe velocizzare il processo.
Ciò che è importante comprendere è che per ottimizzare il budget di scansione devi migliorare i contenuti sul tuo sito web.
Allo stesso tempo un contenuto originale e ben scritto potrebbe apparire su Google Discover ed portare ad un aumento considerevole di traffico.
Per fare questo, puoi seguire delle linee guide che aumenteranno le possibilità di considerazione del tuo sito da parte del colosso di Mountain View.
- Pubblicare spesso ed aggiornare accuratamente contenuti vecchi richiama l’attenzione di Google.
- Porre attenzione alla rapidità del sito nella risposta. Snellisci ed ottimizza i tuoi contenuti, questo migliorerà l’esperienza dell’utente e aumenterà le probabilità di ottenere scansioni più frequenti.
- Produrre contenuti di qualità ed originali evitando di copiare testi ripresi da altre parti.
- Altro aspetto decisivo riguarda i collegamenti ipertestuali. Inserisci link sia interni che esterni; Google riserva una maggiore considerazione alle pagine che contengono link (purchè inseriti nel modo corretto), e poni particolare attenzione al fatto che siano tutti funzionanti e non rimandino a pagine inesistenti. Nel caso in cui questi collegamenti ipertestuali rimandino a siti esterni al tuo, ricordati di inserire, l’attributo “no follow” in modo da non trasferire “trust” al sito di destinazione.
- Assicurati di avere una Sitemap organizzata ed aggiornata. Se le pagine del tuo sito sono collegate in modo corretto, Googlebot sarà facilitato nel trovare i contenuti.
- Infine, niente spam!
Esiste un metodo molto efficace per valutare le scansioni di Googlebot sul tuo sito: il file di log, ovvero il file di registro che contiene tutte le informazioni relative agli accessi ed al contenuto visualizzato.
Puoi trovare questo file accedendo al tuo spazio host tramite pannello di controllo (cPanel o Plesk) oppure tramite FTP.
Una volta trovato devi analizzarlo con molta attenzione perchè contiene informazioni utilizzi per ottimizzare il crawl budget SEO.
Tramite il file di log puoi distinguere le visite provenienti da visitatori umani e bot e verificare se ci sono pagine web in cui la scansione richiede più tempo e risorse del previsto che dovranno quindi essere migliorate.
Gestire il crawl budget aiuta a migliorare il ranking del tuo sito. Seguendo queste linee guida, le possibilità di migliorare il posizionamento organico delle tue pagine web aumentano sensibilmente.
Ricorda infine di verificare periodicamente le statistiche del tuo sito internet tramite la Google Search Console.
Aggiornamento 8 Giugno 2024
Qualche giorno fa Google ha annunciato che a partire dal 5 Luglio 2024 non verranno più indicizzati i siti web che non sono ottimizzati per il mobile. L’annuncio pone fine al processo di mobile first indexing iniziato nel 2016.
La scansione avverrà esclusivamente tramite Googlebot Smartphone anche se Google precisa che Googlebot Desktop potrebbe ancora essere presente in modo molto limitato ad esempio nei log e nei rapporti dei server.