Spinne
Im Internet sind Spinnen Suchprogramme, die sich durch die Links des WWW hangeln, um Informationen für Suchmaschinen zu finden, aufzubereiten und mit Hilfe eines Indizierers in Datenbanken zu speichern. Dort können die Inhalte dann über die Frontends der Suchmaschinen abgefragt werden. Andere Bezeichnungen für solche Programme sind Robot (kurz Bot), Worm oder Agent. Da ein gutes Ranking einer Web-Seite in verschiedenen Suchmaschinen eine hohe Bedeutung für die Sichtbarkeit der Seite hat, gibt es mehr und mehr Techniken wie Cloaking, die versuchen, die Arbeit der Spider zu manipulieren.
Siehe auch:
Deepcrawler
Freshbot
REP
Spam-Bot
SRMP
