Robot internetowy

Z Wikipedii

Robot internetowy - jest programem zbierającym informacje o strukturze i stronach umieszczanych w indeksie wyszukiwarek i służą m.in. do:

• Dodawania do wyszukiwarek;
• Sprawdzania kodu strony;
• Zbierania informacji o stronie;
• Monitorowania "co nowego";
• Tworzenia mirrorów stron.

W przypadku robota Google tzn. Googlebota mówi się robotach wykonujących "Google's fresh crawl" i "Google's deep crawl" lub "Google's main crawl". "Fresh crawl" jest wykonywany często, nawet kilka razy dziennie - robot najprawdopodobniej sprawdza co się zmieniło na stronie, "deep crawl" głębokie indeksowanie najprawdopodobniej polega na pobieraniu większej ilości danych z witryny i odbywa się kilka razy w miesiącu.

Ruch generowany przez roboty jest jednym z podstawowych wskaźników mówiących o pozycjonowaniu strony.

Nazwy używane wymiennie:

• BOT
• Robot
• Pająk
• Pełzacz
• Web Wanderer
• Web Crawler
• Spider

Podstawowe informacje o robotach wyszukiwarek:

• Polska strona o robotach wyszukiwarek
• The Web Robots FAQ
• Robots Exclusion Opis zasad sterowania robotem na własnej stronie
• The Web Robots Database Lista aktywnych działających robotów sieciowych