Trucchi Configurare il file robots.txt per WordPress: La Guida

Configurare il file robots.txt per WordPress: La Guida

Configurare il file robots.txt per WordPress: La Guida

Configurare il file robots.txt per WordPress: La Guida

Configurare il file robots.txt per WordPress: La Guida

8,229FansMi piace
AirPods Apple con custodia di ricarica (seconda generazione)
Si accendono automaticamente e si collegano all’istante; Si configurano facilmente con tutti i tuoi dispositivi Apple
129,00 EUR
Trucchi Configurare il file robots.txt per WordPress: La Guida

Configurare il file robots.txt per WordPress: La Guida

Configurare il file robots.txt per WordPress: La Guida

15 gadget Hi-Tech da portare in viaggio!

AirPods Apple con custodia di ricarica (seconda generazione)
Si accendono automaticamente e si collegano all’istante; Si configurano facilmente con tutti i tuoi dispositivi Apple
129,00 EUR

Il file robots.txt lo avrai sentito nominare spesso se hai a che fare con WordPress, ma che cos’è di preciso? Partiamo dalla descrizione tecnica che ci offre Wikipedia:

“Il protocollo di esclusione robot indica, nel gergo di internet e più in generale del web, le regole utilizzate dai crawler per applicare restrizioni di analisi sulle pagine di un sito web. 

Esse sono contenute nel file robots.txt, ideato nel giugno 1994 con il consenso dei membri della robots mailing list. In questo momento non esiste un vero e proprio standard per il protocollo robots.”

In pratica questo file contiene delle istruzioni che i motori di ricerca devono seguire quando scansionano le pagine di un sito web.

La prima volta che ho sentito il bisogno di configurare il file robots.txt è stata quando, controllando su Google Webmaster Tool, ho trovato tantissimi errori 404crowler non riuscivano a raggiungere molti link perchè li avevo completamente rimossi dal sito.

CROWLER / SPIDER: QUESTI (S)CONOSCIUTI!

Ma cosa sono i crowler? Il crawler è un software che analizza i contenuti del nostro database per conto di un motore di ricerca. In pratica il motore di ricerca fornisce al crowler una lista di URL che devono essere analizzati, in modo da aggiornare costantemente l’elenco dei nostri hyperlink.

Quando configuri il file robots.txt non fai altro che dare ai crawler (detti anche spider) delle regole da seguire e indichi quali pagine devono essere analizzate e scansionate, e quali invece no.

DOVE INSERIRE IL FILE ROBOTS.TXT SE UTILIZZO WORDPRESS?

E’ sufficiente un semplice notepad o un altro editor di testo. Quel che importa è salvare il file con estensione .TXT e chiamarlo esattamente robots.txt

Una volta creato il file, basterà caricarlo nella root del nostro sito e il gioco è fatto!

  • Per essere più precisi, entra nel tuo sito tramite un programma FTP (io utilizzo FileZilla e te lo consiglio vivamente), carica il file robots.txt nella cartella principale cioè quella che contiene sia le tre cartelle principali di WordPress (wp-content/wp-admin/wp-includes) sia gli altri files tipo index.php / wp-config.php ecc.

Ecco dove devi caricare il file robots.txt di preciso. In questo esempio ho utilizzato FileZilla.

robots.txt

CONFIGURARE IL FILE ROBOTS.TXT PER WORDPRESS

[NO] Fai attenzione perchè se inserisci “/” in disallow bloccherai l’indicizzazione di tutti i contenuti:

User-agent: *

Disallow: /

[SI] Poichè sono sicuro che ti piacerebbe avere il migliore modello di file robots.txt già bello e pronto, eccone uno realizzato seguendo le linee guida di codeplex.

User-agent: *

Allow: /

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /e/

Disallow: /show-error-*

Disallow: /xmlrpc.php

Disallow: /trackback/

Disallow: /comment-page-

Allow: /wp-content/uploads/


User-agent: Mediapartners-Google

Allow: /


User-agent: Adsbot-Google

Allow: /


User-agent: Googlebot-Image

Allow: /


User-agent: Googlebot-Mobile

Allow: /


Sitemap: http://www.miosito.it/sitemap.xml (QUI INSERISCI LA SITEMAP DEL TUO SITO WEB)

Il tuo primo file robots, invece, doveva essere configurato come l’esempio qui sotto:

User-agent: *

Disallow:

Ovviamente niente ti vieta di creare un file robots.txt  personalizzato in base alle tue esigenze! Se vuoi vedere gli altri siti come hanno impostato il loro, al termine di un URL scrivi “/robots.txt” (senza virgolette).

Ad esempio cerca www.facebook.it/robots.txt e guarda quale configurazione utilizza il portale di Mark Zuckerberg. Credo che Google, in ogni caso, preferisca che sia dato l’accesso totale al sito, infatti se controlli la console di Web Master Tool e segui il percorso:

  • Configurazione sito
  • Crawler
  • Genera file Robots.txt

Ti verrà consigliato di impostare il file in questo modo:

User-agent: *

Allow: /

Ora non resta che sperimentare e configurare il file robots.txt come meglio credi si adatti al tuo sito web. Per verificare i risultati controlla costantemente i dati riportati sul sito “Strumenti per i Webmaster di Google” e modificalo secondo le tue esigenze.

By Giorgio Perillo

Rating: 4.8/5. From 16 votes.
Please wait...
Giorgio Perillo - Giornalista & Digital Marketer
Giorgio Perillo - Giornalista & Digital Marketerhttps://www.menteinformatica.it/
Giornalista pubblicista. Laurea in Giurisprudenza e Master in Comunicazione e Lobbying nelle Relazioni Internazionali. WordPress Specialist, SEO Expert e Digital Marketing Consultant. Fondatore di Mente Informatica.
Giorgio Perillo - Giornalista & Digital Marketer
Giorgio Perillo - Giornalista & Digital Marketerhttps://www.menteinformatica.it/
Giornalista pubblicista. Laurea in Giurisprudenza e Master in Comunicazione e Lobbying nelle Relazioni Internazionali. WordPress Specialist, SEO Expert e Digital Marketing Consultant. Fondatore di Mente Informatica.

12 Commenti

Da non perdere

Scegli le migliori chiavette USB in commercio: le più affidabili e con il miglior rapporto qualità-prezzo

Lo scopo di questa classifica è di selezionare per te la migliore chiavetta USB 3.0 che ti soddisfi maggiormente...

Le 3 migliori (e più economiche) alternative agli auricolari AirPods di Apple

Perchè dovresti cercare delle cuffie alternative agli auricolari AirPods di Apple? Andiamo con ordine. Da quando nel...

Classifica dei 9 migliori tablet in commercio: guida all’acquisto in base al budget

Il mercato dei tablet si è arrestato molto nell’ultimo anno, ma, recentemente, sono stati comunque lanciati alcuni...

I migliori 20 caricabatterie portatili perfetti per smartphone, tablet e laptop

Diciamoci la verità, chi non desidera migliorare la durata della batteria del proprio smartphone o tablet? Finchè...

Il file robots.txt lo avrai sentito nominare spesso se hai a che fare con WordPress, ma che cos’è di preciso? Partiamo dalla descrizione tecnica che ci offre Wikipedia:

“Il protocollo di esclusione robot indica, nel gergo di internet e più in generale del web, le regole utilizzate dai crawler per applicare restrizioni di analisi sulle pagine di un sito web. 

Esse sono contenute nel file robots.txt, ideato nel giugno 1994 con il consenso dei membri della robots mailing list. In questo momento non esiste un vero e proprio standard per il protocollo robots.”

In pratica questo file contiene delle istruzioni che i motori di ricerca devono seguire quando scansionano le pagine di un sito web.

La prima volta che ho sentito il bisogno di configurare il file robots.txt è stata quando, controllando su Google Webmaster Tool, ho trovato tantissimi errori 404crowler non riuscivano a raggiungere molti link perchè li avevo completamente rimossi dal sito.

CROWLER / SPIDER: QUESTI (S)CONOSCIUTI!

Ma cosa sono i crowler? Il crawler è un software che analizza i contenuti del nostro database per conto di un motore di ricerca. In pratica il motore di ricerca fornisce al crowler una lista di URL che devono essere analizzati, in modo da aggiornare costantemente l’elenco dei nostri hyperlink.

Quando configuri il file robots.txt non fai altro che dare ai crawler (detti anche spider) delle regole da seguire e indichi quali pagine devono essere analizzate e scansionate, e quali invece no.

DOVE INSERIRE IL FILE ROBOTS.TXT SE UTILIZZO WORDPRESS?

E’ sufficiente un semplice notepad o un altro editor di testo. Quel che importa è salvare il file con estensione .TXT e chiamarlo esattamente robots.txt

Una volta creato il file, basterà caricarlo nella root del nostro sito e il gioco è fatto!

  • Per essere più precisi, entra nel tuo sito tramite un programma FTP (io utilizzo FileZilla e te lo consiglio vivamente), carica il file robots.txt nella cartella principale cioè quella che contiene sia le tre cartelle principali di WordPress (wp-content/wp-admin/wp-includes) sia gli altri files tipo index.php / wp-config.php ecc.

Ecco dove devi caricare il file robots.txt di preciso. In questo esempio ho utilizzato FileZilla.

robots.txt

CONFIGURARE IL FILE ROBOTS.TXT PER WORDPRESS

[NO] Fai attenzione perchè se inserisci “/” in disallow bloccherai l’indicizzazione di tutti i contenuti:

User-agent: *

Disallow: /

[SI] Poichè sono sicuro che ti piacerebbe avere il migliore modello di file robots.txt già bello e pronto, eccone uno realizzato seguendo le linee guida di codeplex.

User-agent: *

Allow: /

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /e/

Disallow: /show-error-*

Disallow: /xmlrpc.php

Disallow: /trackback/

Disallow: /comment-page-

Allow: /wp-content/uploads/


User-agent: Mediapartners-Google

Allow: /


User-agent: Adsbot-Google

Allow: /


User-agent: Googlebot-Image

Allow: /


User-agent: Googlebot-Mobile

Allow: /


Sitemap: http://www.miosito.it/sitemap.xml (QUI INSERISCI LA SITEMAP DEL TUO SITO WEB)

Il tuo primo file robots, invece, doveva essere configurato come l’esempio qui sotto:

User-agent: *

Disallow:

Ovviamente niente ti vieta di creare un file robots.txt  personalizzato in base alle tue esigenze! Se vuoi vedere gli altri siti come hanno impostato il loro, al termine di un URL scrivi “/robots.txt” (senza virgolette).

Ad esempio cerca www.facebook.it/robots.txt e guarda quale configurazione utilizza il portale di Mark Zuckerberg. Credo che Google, in ogni caso, preferisca che sia dato l’accesso totale al sito, infatti se controlli la console di Web Master Tool e segui il percorso:

  • Configurazione sito
  • Crawler
  • Genera file Robots.txt

Ti verrà consigliato di impostare il file in questo modo:

User-agent: *

Allow: /

Ora non resta che sperimentare e configurare il file robots.txt come meglio credi si adatti al tuo sito web. Per verificare i risultati controlla costantemente i dati riportati sul sito “Strumenti per i Webmaster di Google” e modificalo secondo le tue esigenze.

By Giorgio Perillo

Giorgio Perillo - Giornalista & Digital Marketer
Giorgio Perillo - Giornalista & Digital Marketerhttps://www.menteinformatica.it/
Giornalista pubblicista. Laurea in Giurisprudenza e Master in Comunicazione e Lobbying nelle Relazioni Internazionali. WordPress Specialist, SEO Expert e Digital Marketing Consultant. Fondatore di Mente Informatica.

12 Commenti

Il Menu Start di Windows 10 non si apre o non funziona? Ecco le 4 soluzioni migliori

Molti utenti che hanno effettuato l'upgrade al nuovo sistema operativo di Microsoft stanno riscontrando un problema sicuramente molto fastidioso. Da molto tempo, ormai, un bug affligge il menu start di Windows 10 che non si apre in nessuna maniera e non risponde neanche ai comandi della tastiera.Se poi ci aggiungiamo...

Film in streaming GRATIS – HD – ITA | Ecco la lista dei migliori siti web della rete!

Se ti stai domandando quali siano i migliori siti dove poter vedere film in streaming in altissima definizione e in italiano allora sei atterrato sulla pagina giusta!Molto spesso la TV non trasmette film di qualità o, nel migliore dei casi, bisogna abbonarsi a servizi a...

Vedere film online GRATIS e in HD: lista dei migliori servizi web per uno streaming LEGALE

In questo articolo ti propongo una lista dei migliori siti di film in streaming gratis, in italiano e in HD (alta definizione). La cosa più importante? Puoi vedere film, serie TV e Telefilm gratis, ma soprattutto in modo legale.Guardare film in streaming (e serie TV) gratuitamente...

Da non perdere

Scegli le migliori chiavette USB in commercio: le più affidabili e con il miglior rapporto qualità-prezzo

Lo scopo di questa classifica è di selezionare per te la migliore chiavetta USB 3.0 che ti soddisfi maggiormente...

Le 3 migliori (e più economiche) alternative agli auricolari AirPods di Apple

Perchè dovresti cercare delle cuffie alternative agli auricolari AirPods di Apple? Andiamo con ordine. Da quando nel...

Classifica dei 9 migliori tablet in commercio: guida all’acquisto in base al budget

Il mercato dei tablet si è arrestato molto nell’ultimo anno, ma, recentemente, sono stati comunque lanciati alcuni...

I migliori 20 caricabatterie portatili perfetti per smartphone, tablet e laptop

Diciamoci la verità, chi non desidera migliorare la durata della batteria del proprio smartphone o tablet? Finchè...

Potrebbe interessarti anche:
Dalla stessa categoria

Potrebbe interessarti anche:
Dalla stessa categoria