Spider – z ang. pająk, inne nazwy to: crawler, robot, bot. Specjalny typ oprogramowania internetowego. Jest to integralna część wyszukiwarki internetowej odpowiedzialna za pobieranie dokumentów z sieci. Tworząc stronę internetową niezwykle ważnym aspektem, który warto wziąć pod uwagę jest umożliwienie crawlerowi dotarcie do każdej podstrony w witrynie. Aby to ułatwić warto także tworzyć mapę strony sitemap.xml, która wskazuje pająkom dokładne adresy wszystkich ważnych podstron.
Inne elementy wyszukiwarki
Poza robotem w skład wyszukiwarki wchodzą indekser i mechanizm wyszukiwania (searcher) oraz grupa programów przeznaczonych do archiwizacji, analizy treści oraz różnego rodzaju algorytmy oceniające wartość poszczególnych stron.