(engl. to crawl = kriechen)
Crawler sind Computerprogramme, das im Web Seite für Seite besucht und gefundene Daten abspeichert.
Robots (auch Webcrawler oder Spider, kurz Bot) sind Computerprogramme, die automatisch das World Wide Web durchsuchen und Webseiten analysieren um Iformationen für die Datenbasis (Index) einer Suchmaschine sammeln.
Dabei werden alle auf einer Internetseite entdeckten Hyperlinks verfolgt.
Die gesammelten Informationen werden automatisch in Bezug auf mögliche Suchbegriffe bewertet und eingeordnet.
|
