Il File Robots.txt

- Il file robots.txt, cos’è e a cosa serve ?
Il file Robots.txt (www.robotstxt.org) serve ad indicare agli spider quali directory NON visionare ed eventualmente bloccare user agent indesiderati. Il file Robots.txt è un semplice file txt che va creato nella root (directory iniziale) del sito (www.sito.it/robots.txt) e contiene 2 campi: User-agent che indica il nome dello spider e Disallow l’istruzione riferite allo spider .

Nel caso non vogliamo porre limiti agli spider è consigliato creare un file robots.txt vuoto per evitare che venga restituito ai motori l’ errore 404 (file non trovato).

- Esempi di istruzioni da inserire nel Robots.txt

Googlebot non deve visionare la directory ‘cartella_personale’

Codice:

User-agent: googlebot
Disallow: /cartella_personale/

_______________________________

Googlebot non deve visionare nulla

Codice:

User-agent: googlebot
Disallow: /

________________________________
Tutti gli spider non devono visionare la directory ‘cartella_personale’

Codice:

User-agent: *
Disallow: /cartella_personale/

____________________________

Non ci sono limitazioni per gli spider

Codice:

User-agent: *
Disallow:

______________________________

Fonte: giorgiotave.it

Non ne avevo mai sentito parlare di questo file robots... complimenti, bravo ;)

Qualche mese fà realizzai una guida su come usare questo file robots.txt. E' veramente utile ma ormai tutti i CMS dal pannello di controllo hanno una funzione dedicata al file robots.txt