Il Crawl Budget è il numero di pagine che Googlebot cerca e indicizza su un sito web in un determinato lasso di tempo.

Il Crawl Budget è importante per la SEO, perché se Google non indicizza una pagina (vedi indicizzazione), non ha alcuna possibilità di posizionarsi.

Quindi, se il tuo numero di pagine supera il budget di crawl del tuo sito, avrai pagine sul tuo sito che non sono indicizzate.

La maggioranza dei siti non ha bisogno di preoccuparsi troppo del Crawl Budget, in quanto Google è davvero bravo a trovare e indicizzare le pagine.

Detto questo, ci sono alcuni casi in cui bisogna prestare particolare attenzione al crawl budget:

• Gestisci un grande sito: se hai un sito web (come un sito di ecommerce) con più di 10.000 pagine, Google può avere problemi a trovarle tutte.
• Hai appena aggiunto un gran numero di pagine: se hai aggiunto recentemente una nuova sezione al tuo sito con centinaia di pagine, vuoi essere sicuro di avere il Crawl Budget per indicizzarle tutte velocemente.
• Hai un sacco di reindirizzamenti: molti reindirizzamenti e catene di reindirizzamento divorano il Crawl Budget.

Come ottimizzare il crawl budget

Migliorare la velocità del sito

Il miglioramento della velocità della pagina del tuo sito può portare Googlebot a cercare più URL del tuo sito.

Infatti, Google afferma che:

Rendere un sito più veloce migliora l’esperienza degli utenti, ma aumenta anche la velocità di scansione.

In altre parole, il caricamento lento delle pagine mangia il tempo prezioso di Googlebot.

Le pagine a caricamento lento sono difficili da scansionare, ma se le tue pagine si caricano velocemente, Googlebot ha il tempo di visitare e indicizzare più pagine.

Caricamento rapido significa più tempo per indicizzare altre pagine

Utilizzare i link interni

Googlebot dà priorità alle pagine che hanno molti link esterni e interni che puntano ad esse.

L’ideale sarebbe avere dei backlink che puntano ad ogni singola pagina del tuo sito. Ma questo non è realistico nella maggior parte dei casi.

Ecco perché i link interni sono così importanti.

I tuoi link interni inviano Googlebot a tutte le diverse pagine del tuo sito che vuoi indicizzare.

I link interni inviano a Googlebot a tutte le pagine che vuoi indicizzare.

Una buona architettura del sito

Secondo Google:

Gli URL che sono più popolari su Internet tendono a essere scansionati più spesso per mantenerli più aggiornati nel nostro indice.

E nel mondo di Google, la popolarità è influenzata dai link.

Un’architettura del sito corretta imposta le cose in modo che tutte le pagine del sito abbiano una qualche autorità di link che fluisce verso di loro.

Evitare “Pagine orfane”

Le pagine orfane sono pagine che non hanno link interni o esterni che puntano ad esse.

Google ha davvero difficoltà a trovare pagine orfane. Quindi, se vuoi ottenere il massimo dal tuo crawl budget, assicurati che ci sia almeno un link interno o esterno che punti ad ogni pagina del sito.

Limitare i contenuti duplicati

Limitare i contenuti duplicati è intelligente per molte ragioni. A quanto pare, i contenuti duplicati possono danneggiare il crawl budget.

Questo perché Google non vuole sprecare risorse indicizzando più pagine con lo stesso contenuto.

Assicurati quindi che il 100% delle pagine del tuo sito sia costituito da contenuti unici e di qualità.

Questo non è facile per un sito con più di 10.000 pagine. Ma è un must se volete ottenere il massimo dal crawl budget.