-
TheRevenger™.
User deleted
Googlebot
GoogleBot è lo spider web (italianizzato in "agente mobile") di Google.
Googlebot effettua due tipi di scansione del web: la Deep-crawl (fatta una volta al mese circa) e la Fresh-crawl (quasi tutti i giorni). La prima come detto viene fatta una volta al mese e viene scansionato tutto il web pagina per pagina, aggiornando indici, pagerank e cache. Dopo una Deep-crawl Google impiega circa 6-8 giorni per aggiornare completamente i suoi indici e propagarli in tutti i datacenter. In questo periodo di tempo si parla della cosiddetta "Google dance" perché i risultati che escono possono essere diversi di volta in volta. Dopo qualche giorno invece si stabilizzano.
La seconda invece viene fatta quasi tutti i giorni e in pratica aggiorna le pagine che già sono presenti nell'indice e aggiunge quelle eventualmente create dopo l'ultima Deep-crawl.
Esistono altri strumenti e procedure che il GoogleBot utilizza per indirizzare (e limitare) le sue scansioni. Uno tra i più importanti è il file "robots.txt", che dovrebbe essere sempre presente sui web server attestati su internet, in quanto naturale oggetto di scansione da parte degli spider.
Curiosità
Il Googlebot solitamente si fa riconoscere. Oltre a provenire da alcuni specifici IP riconoscibili (risolvibili come domini di terzo livello di googlebot.com o google.com), i contatti generati dallo spider si identificano con una di queste stringhe User agent:
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) (per compatibilità)
* Googlebot-Image/1.0 (il crawler della ricerca immagini)
Fonte : http://it.wikipedia.org/wiki/Googlebot
. -
.
bello 
.
