Con quale frequenza i robot visitano un sito WEB?
Ogni giorno, i robot percorrono milioni di pagine Web. Ripassano su pagine già conosciute per aggiornare i dati stoccati sui loro server e scoprono, altresì, nuove pagine.
I robot sono di fatto dei programmi eseguiti in permanenza su centinaia di migliaia di computer.
I grandi motori di ricerca dispongono, dunque, di una potenza di calcolo eccezionale.
Con l’obiettivo di proporre dei risultati recenti e rilevanti, preservando al meglio le loro risorse tecniche, alcuni algoritmi determinano come utilizzare questo tempo di macchina in maniera ottimale.
In questo modo i siti/pagine più popolari sono visitate molto più regolarmente rispetto alle risorse meno popolari.
I motori di ricerca identificano anche i contenuti aggiornati con regolarità. Sono in grado, così, di adattare la frequenza delle loro visite in funzione delle loro constatazioni. Perché visitare ogni giorno una pagina che non è stata aggiornata da 5 anni?
Una pagina popolare che propone in maniera regolare nuovi contenuti sarà visitata diverse volte al giorno.
Google è attualmente il motore di ricerca capace di indicizzare il più rapidamente possibile nuove pagine. Oggi, si parla di ottimizzazione in tempo reale.
Accede abbastanza spesso che piccoli blog vedano i loro articoli indicizzati e posizionati su Google in pochi minuti.
Per conoscere precisamente la frequenza di passaggio dei robot sul vostro sito vi è un’unica soluzione: l’analisi dei log.
