Crawler

Die Bezeichnung Crawler steht für eine spezielle Suchmaschine. Sie durchforstet das Internet auf neue Angebote von Informationen. In der Regel setzt man sogenannte Agenten ein, die mit Hilfe von Keywords sämtliche Seiten speichert die diese Keywords beinhalten. Ein Crawler wird auch als Spider, Bot oder Robot bezeichnet. Die eingelesenen Inhalte von den Webseiten, werden für das Indexieren durch Suchmaschinen erfasst.