Googlebot – robot internetowy, używany przez Google. Przechodząc z jednej strony na drugą za pomocą odnośników indeksuje je tym samym tworząc indeks dla wyszukiwarki Google.
Jeśli webmaster zażyczy sobie, aby informacje na jego stronie nie były dostępne dla Googlebota albo innego robota internetowego, może wykonać to za pomocą pliku robots.txt.
Googlebot działa w dwóch wersjach; wykonuje tak zwany deep crawl oraz fresh crawl. Deep crawl czyli pełzanie głębokie ma za zadanie przechodzenie na każdy link jaki znajdzie na "oglądanych" przez siebie stronach oraz dodanie tylu, ile może, do indeksu. Ten proces jest kończony oraz powtarzany mniej więcej co miesiąc. W trybie Fresh crawl surfuje po sieci oraz odwiedza strony zmieniające się często; w zależności od tego, jak wielokrotnie są aktualizowane. Operacja ta wykonywana jest w celu odświeżenia wielokrotnie zmieniającej się zawartości poniektórych stron.
Googlebot przegląda strony korzystając ze wszystkich linków, jakie znajdzie na każdej wcześniej odwiedzonej przez siebie stronie. Nowe strony muszą być zalinkowane od innej, znanej już Googlebotowi strony, aby mógł ją odwiedzić oraz zaindeksować.
Problem, z którym wielokrotnie borykają się webmasterzy, to duże zużycie transferu przez Googlebota. Może on powodować, że strony wykorzystają swój limit transferu oraz zostaną na pewien czas zawieszone. To problem dotyczący szczególnie stron mirrorujących, które przechowują gigabajty danych. Google dopuszcza dostęp do "Webmaster Tools", która dopuszcza posiadaczom stron dopasowanie "natężenia" odwiedzin Googlebota na stronie[1].
Przypisy
Linki zewnętrzne
