Il meta robots è uno dei tag che deve conoscere chi si occupa di SEO, perché è un comando spesso indispensabile per dare una precisa indicazione al motore di ricerca che deve indicizzare e successivamente posizionare una pagina web.
Quando si parla di meta robots è importante discriminare tra Google e motori di ricerca in generale, vedremo di seguito il motivo di questa precisazione.
Andiamo a capire meglio la funzione e le peculiarità di questo tag che potrebbe causare problemi se utilizzato impropriamente.
Meta tag robots: cos’è e perché si usa?
Il meta tag robots è una stringa di codice che viene inserita in una pagina HTML per comunicare ai crawler dei motori di ricerca informazioni riguardanti l’archiviazione e la gestione del contenuto presente nella pagina stessa.
Attraverso questo comando ufficiale di Google si può dire o almeno suggerire il comportamento che deve tenere il software che arriva a “leggere” la pagina e che deve stabilire se essa può essere indicizzata.
Si usa il meta tag robots per non lasciare che i motori di ricerca agiscano liberamente quando mettono sotto le loro lenti d’ingrandimento digitali i siti web. Ad esempio è necessario se si desidera che una pagina non venga indicizzato, ma è utile anche per gestire la meta description o i link della pagina.
È importante non confondere il meta tag robots con il robots.txt. Quest’ultimo è un vero e proprio file di testo che apre o chiude l’accesso di una pagina o di una risorsa di un sito ai crawler, quindi non è una stringa di codice HTML paragonabile a un tag.
Meta name robots e content: sintassi e funzioni
Il meta tag robots può essere inserito nell’head della pagina HTML e deve avere una precisa sintassi composta dagli attributi “name” e “content”.
Il modo migliore per capire come è composta la stringa di codice è mostrare gli esempi pubblicati da Google nella sezione developers:
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”noindex” />
(…)
</head>
<body>(…)</body>
</html>
Con questa comando si dice ai crawler di tutti i motori di ricerca di non inserire la pagina nella SERP.
È il momento di spiegare meglio perché questo tag può essere usato per “parlare” in generale ai software di analisi dei motori di ricerca o per comunicare specificamente con uno di essi.
Se l’obiettivo è non far inserire la pagina nell’indice di Google, nella stringa di codice deve essere citato chiaramente il Googlebot:
<!DOCTYPE html>
<html><head>
<meta name=”googlebot” content=”noindex” />
(…)
</head>
<body>(…)</body>
</html>
Con la stessa tecnica si possono dare indicazioni precise a specifici robots.
Continuando con gli esempi presenti nella pagina di Big G dedicata alle “specifiche relative al meta tag robots”, si possono impartire i seguenti comandi:
<meta name=”googlebot-news” content=”noindex” />
Questa stringa permette di evitare l’indicizzazione da parte del crawler di Google News, mentre la consente a tutti gli altri.
Al contrario, scrivendo name=”robots” il comando viene recepito da tutti i crawler.
È importante sottolineare che i comandi impartiti dai meta tag robots sono recepiti dai motori di ricerca solo se le pagine in cui sono inseriti non sono bloccate dal file robots.txt. Ovviamente se ad un crawler viene detto di non analizzare una pagina, non potrà nemmeno leggere l’eventuale “noindex”.
X robots tag: cos’è?
Gli x robots tag devono essere usati per impartire gli stessi comandi dei meta robots ai file contenenti immagini o documenti PDF, ovvero contenuti non HTML.
Google a proposito di questo argomento dice che:
“X-Robots-Tag può essere utilizzato come elemento della risposta dell’intestazione HTTP di un URL specifico. Qualsiasi istruzione utilizzabile in un meta tag robots può anche essere specificata come un X-Robots-Tag.”
Un esempio di x robots tag – noindex è il seguente:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
Si possono combinare diverse istruzioni all’interno di una risposta HTTP e indicare specifici user agent prima delle istruzioni, così da dare indicazioni mirate e non generiche.
Esempio Google:
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)
Principali comandi robots HTML
Se non si danno indicazioni ai motori di ricerca le pagine sono di default intese come index e follow, quindi indicizzabili e seguibili.
È invece possibile dare una serie di comandi per fare in modo che i crawler si comportino come vogliamo. Vediamo i principali.
Meta noindex
Usando il comando noindex si dice al motore di ricerca di non mettere nel proprio indice la pagina e di conseguenza di non mostrarla in SERP per dare riposta a query proposte dagli utenti.
Meta nofollow
Con questo tag si suggerisce al motore di ricerca di non seguire i link presenti nella pagina. Questa istruzione influenza il ranking delle pagine linkate, perché non viene trasmesso PageRank.
Meta none
Se non si vogliono utilizzare unitamente i due meta tag robots noindex e nofollow per dire al motore di ricerca di non indicizzare e di non seguire i link di una pagina, si può usare più semplicemente il comando none.
Lapidariamente, Google a proposito di questo tag dice che è “equivalente a noindex, nofollow”.
Meta noarchive
Il robots noarchive non permette di creare una copia della pagina nella cache e quindi evita che essa venga visualizzata dagli utenti che digitano una richiesta sul motore di ricerca.
È un ordine che al crawler suona come “non mostrare un link copia cache nei risultati di ricerca”.
Meta noimageindex
Non indicizzare le immagini presenti nella pagina, questo è il messaggio che si dà alla mente digitale di Google e degli altri motori di ricerca che accettano tale comando.
Meta nosnippet
Il nosnippet è un meta tag robots accettato solo da Google e serve a non mostrare in SERP la parte testuale dello snippet o l’anteprima di un video, però non blocca la visualizzazione di una miniatura statica di un’immagine, se il motore di ricerca stabilisce che essa migliora la UX.
Capito perché la SEO non può fare a meno dei meta robots?
Attraverso i meta tag robots si guida il motore di ricerca durante il processo di scansione dei siti web, dandogli indicazioni inequivocabili che lo agevolano in un’attività che altrimenti brucerebbe risorse in operazioni non utili.
Inserendo opportunamente i meta robots nelle pagine si possono risolvere problemi tecnici che penalizzerebbero il posizionamento e gestire i contenuti da mostrare o meno agli utenti che fanno ricerche online.
