Uno Spider (o Crawler o Robot ), in ambito SEO, è un software automatico che analizza le risorse della rete internet e ne invia i risultati ai motori di ricerca.

In parole semplici, lo Spider è quel programma “incaricato”, per esempio da Google, di sondare costantemente il Web in cerca di pagine nuove, pagine aggiornate o pagine rimosse per garantire i migliori risultati possibili nella SERP stessa del motore.

 googlebot è il nome dello spider di Google, ma esistono anche slurp ( Yahoo ), scooter ( Altavista ), romilda ( Facebook ), ecc.

 I WebMaster dispongono di vari tools per “comunicare informazioni” allo spider o per guidarne il funzionamento.

Primo su tutti è sicuramente la Sitemap: la mappa del sito, generalmente in formato .XML, permette allo spider di trovare più facilmente tutte le pagine di un determinato sito.

Altro strumento importante è il file robots.txt con cui si limita volontariamente l’accesso dello spider a determinate aree del proprio sito.