In questo articolo ti dico qualcosa a riguardo gli errori del robots.txt presenti sulla Search Console, come sistemarli, perché non sono sempre errori e come prevenirli.
Anche se purtroppo dovrò usare termini specifici, dato che scrivo articolo per chi ha un sito web e non è un professionista, quindi che può nemmeno sapere cos’è il robots.txt è giusto che come premessa lo dica.
Il file robots.txt è un file di testo che è possibile mettere in un sito web che dice a Google ed ai motori di ricerca quali parti del sito web non scansionare. Inizialmente veniva usato sopratutto per motivi di privacy, oggi può essere usato anche per altri scopi.
Oltre ad aver appena detto che il robots.txt “è possibile metterlo” in un sito web specifico che, per Google, non è indispensabile che un sito web abbia un robots.txt.
Però è più necessario che utile che un sito web abbia il file robots.txt. Aggiungo con cognizione di causa derivata dall’esperienza professionale.
Fatto sta che, se il tuo sito web ha un file robots.txt e lo hai registrato sulla Search Console, anche se la Search Console non aiuta direttamente la SEO, potresti avere avvisi od errori nella Search Console e/o per mail riguardanti il file robots.txt.
Potresti voler sapere da cosa dipendono gli errori sulla Search Console riguardanti il robots.txt, come risolverli e come prevenirli.
Di seguito non metterò tutte le possibili cause e tutte le cose che bisogna fare per sistemare gli errori caso per caso. Sarebbe anche impossibile dato che possono variare da sito web a sito web. Ti farò capire il principio di massima per cui appaiono gli errori riguardanti il robots.txt sulla Search Console.
Quindi direttamente saprai anche come potrai evitarli e risolverli.
Lo scopo di Google è scansionare ed indicizzare
Senza i siti web come questo, o come il tuo, non esisterebbe Google. Google organizza le informazioni presenti nel web e restituisce i risultati pertinenti alle persone.
Per organizzare le pagine web Google deve prima accedervi. Ovvero le deve scansionare, e poi le deve memorizzare, ovvero le deve indicizzare.
La base va sempre tenuta presente come premessa.
All’atto pratico, il motivo per cui la Search Console riporta errori riguardanti il robots.txt è perché Google non può scansionare le pagine, di conseguenza non le può indicizzare.
La Search Console riporta errori riguardanti il robots.txt perchè Google non può scansionare le pagine, quindi non le può indicizzare.
Non solo, se Google era già a conoscenza di pagine web e/o le aveva indicizzate, ma poi sono state bloccate tramite il robots.txt la Search Console riporta l’errore.
Se il robots.txt blocca la scansione di pagine già indicizzate da Google la Search Console riporta un errore.
Questo, anche se Google lo reputa un errore può non essere un errore. Bisogna valutare da caso a caso.
Bloccare tramite robots.txt pagine già indicizzate è uno sbaglio che si commette solitamente se si pensa di deindicizzare pagine web. Non servirebbe nemmeno se si mette il meta robots noindex, che impedisce l’indicizzazione.
Se Google non può eseguire la scansione tramite il robots.txt di una pagina web non vede il meta robots che previene l’indicizzazione.
Se Google non può eseguire la scansione tramite il robots.txt di una pagina web non vede il meta robots che previene l’indicizzazione.
La progettazione della struttura del sito web è essenziale
Con quanto ho scritto finora, anche se meno semplice di quanto scrivo solitamente, spero che hai capito almeno il concetto basilare per cui la Search Console segnala errori del robots.txt.
Ovviamente, di casistiche possono essercene molte, specifiche per ogni sito web. Non solo gli errori più comuni che ho riportato.
Quello che ti consiglio, che se hai già un sito web purtroppo potresti non aver fatto – o non potrebbero averti fatto – è di prevenire errori di scansione e/o indicizzazione.
Definendo la struttura di un sito web sin dalla sua realizzazione si possono prevenire errori sulla Search Console riguardanti il robots.txt e si può migliorare l’indicizzazione futura del sito web.
Definendo la struttura di un sito web sin dalla sua realizzazione si possono prevenire errori riguardanti il robots.txt sulla Search Console e si può migliorare l’indicizzazione.
Non solo. Si possono bloccare effettivamente sezioni o pagine del sito web che non devono essere né indicizzate né scansionate.
Purtroppo, se fai il tuo sito web in autonomia, oppure se chi te lo realizza pensa più che altro a soddisfare le tue esigenze riguardanti l’aspetto, e non ad accorgimenti più tecnici come può essere la struttura del sito web, seppur sia essenziale, essa non sarà ottimale.
Ovvio, nulla è perduto. Non solo per gli errori del robots.txt della Search Console che si possono sistemare, ma, anche per la SEO. Si può sempre migliorare.
Sono comunque spese e possibili problemi evitabili.
Tramite questo articolo spero di averti fatto capire di più riguardo agli errori del robots.txt sulla Search Console, perché possono verificarsi, il principio che può aiutarti a sistemarli e perché si verificano.
Se ti servisse un sito web con una buona struttura sin dalla sua realizzazione, oppure una consulenza SEO che ti permetterà anche di risolvere gli errori della Search Console, chiedimi un preventivo, è gratis e senza impegno.
Lascia un commento