Googlebot

Z Wikipedii

Googlebot - robot internetowy, używany przez Google. Przechodząc z jednej strony na drugą za pomocą odnośników indeksuje je tym samym tworząc indeks dla wyszukiwarki Google.

Jeśli webmaster zażyczy sobie, aby informacje na jego stronie nie były dostępne dla Googlebota lub innego robota internetowego, może wykonać to za pomocą pliku robots.txt.

Googlebot istnieje w dwóch wersjach; deepbot i freshbot. Deepbot ma za zadanie przechodzenie na każdy link jaki znajdzie na "oglądanych" przez siebie stronach i dodanie tylu, ile może, do indeksu. Ten proces jest kończony i powtarzany mniej więcej co miesiąc. Freshbot surfuje po sieci szukając nowych stron. Odwiedza on strony zmieniające się często; w zależności od tego, jak często są aktualizowane.

Googlebot przegląda strony korzystając z wszystkich linków, jakie znajdzie na każdej wcześniej odwiedzonej przez siebie stronie. Nowe strony muszą być zalinkowane od innej, znanej już Googlebotowi strony, aby mógł ją odwiedzić i zaindeksować.

Problem, z którym często borykają się webmasterzy, to duże zużycie transferu przez Googlebota. Może on powodować, że strony wykorzystają swój limit transferu i zostaną na pewien czas zawieszone. To problem dotyczący szczególnie stron mirrorujących, które przechowują gigabajty danych. Google umożliwia dostęp do "Webmaster Tools", która umożliwia posiadaczom stron dopasowanie "natężenia" odwiedzin Googlebota na stronie. [1]

[edytuj] Linki zewnętrzne

• Oficjalne FAQ Googlebota

To jest tylko zalążek artykułu związanego z Internetem. Jeśli możesz, rozbuduj go.