Il robots.txt è un particolare file che è posizionato nella root di un dominio e permette di gestire l’accesso, e quindi l’indicizzazione, dei contenuti da parte dei crawler.

Il file robots è formato da una serie di istruzioni che vengono eseguite dagli spider dei motori di ricerca.

Ad esempio utilizzando il comando  “Disallow: /privato/”   è possibile evitare che gli spider indicizzino il contenuto della cartella “privato” del mio sito.