Robot internetowy (lub też Robot indeksujący) – jest programem zbierającym informacje o strukturze oraz stronach umieszczanych w indeksie wyszukiwarek oraz służą m.in. do:
- dodawania do wyszukiwarek,
- sprawdzania kodu strony,
- zbierania informacji o stronie,
- monitorowania "co nowego",
- tworzenia mirrorów stron.
W przypadku robota Google tzn. Googlebota powiada się o robotach wykonujących "Google's fresh crawl" oraz "Google's deep crawl" albo "Google's main crawl". "Fresh crawl" jest wykonywany często, nawet parę razy dziennie - robot najprawdopodobniej sprawdza co się zmieniło na stronie, "deep crawl" głębokie indeksowanie najprawdopodobniej opiera się na pobieraniu większej ilości danych z witryny oraz przebiega się parę razy w miesiącu.
Ruch generowany przez roboty jest jednym z podstawowych wskaźników mówiących o pozycjonowaniu strony.
Nazwy używane wymiennie
- bot indeksujący
- pająk, spider
- pełzacz, web crawler
- web wanderer
Podstawowe informacje o robotach wyszukiwarek