Ein Webcrawler (oder „Webspider“) ist ein Bot (ein Softwareprogramm), der Webdaten sammelt und indexiert (auch als „Web Scraping“ bezeichnet), damit diese den Nutzern einer Suchmaschine zur Informationssuche zur Verfügung gestellt werden können.

Ein Website-Crawler erreicht dies, indem er eine Website (oder mehrere Websites) besucht, Webseiten herunterlädt und den Links auf den Websites sorgfältig folgt, um neu erstellte Inhalte zu entdecken. Das Crawler-Tool katalogisiert die gefundenen Informationen in einem durchsuchbaren Index.

Es gibt verschiedene Arten von Website-Crawlern. Einige Crawler suchen und indexieren Daten im gesamten Internet (das globale Informationssystem mit Website-Informationen wird als World Wide Web bezeichnet). Zu den großen und bekannten Web-Crawlern gehören Googlebot,Bingbot(für die Suchmaschine von Microsoft Bing),Baidu Spider(China) und Yandex (Russland). Darüber hinaus konzentrieren sich viele kleinere und weniger bekannte Web-Crawler bei ihren Crawling-Prozessen auf die Erfassung bestimmter Arten von Webdaten, wie beispielsweise Bilder, Videos oder E-Mails.

Ein Datenbank-Crawler ist eine spezielle Art von Web-Crawler, der Informationen, die in Tabellen einer Datenbank gespeichert sind, auswertet und katalogisiert. Sobald diese Informationen katalogisiert sind, können Nutzer sie über Suchmaschinen finden. 

Verschiedene Datenbanktypen erfordern unterschiedliche Konfigurationen, damit der Crawler ihre Informationen auf intelligente Weise extrahieren kann. Sie legen fest, welche Art von Daten und Feldern gecrawlt werden sollen, und legen einen Crawling-Zeitplan fest.

Ein Datenbank-Crawler behandelt jede Zeile einer Tabelle als eigenständiges Dokument und analysiert und indiziert die Spaltenwerte als durchsuchbare Felder. 

Ein Datenbank-Crawler kann mithilfe eines Plug-ins auch so eingerichtet werden, dass er verschiedene Tabellen durchsucht. In einer relationalen Datenbank ermöglicht dies die Verknüpfung von Zeilen aus mehreren Tabellen, die über dieselben Schlüsselfelder verfügen, und deren Behandlung als ein einziges Dokument. Wenn das Dokument dann in den Suchergebnissen angezeigt wird, erscheinen die Daten aus den verknüpften Tabellen als zusätzliche Felder.

Wie andere Webinhalte auch kann die XML-Sitemap einer Website von einem Webcrawler erfasst werden. Wenn eine Website die URL der Sitemap in ihrer robots.txt-Datei angegeben hat, wird die Sitemap automatisch erfasst. Sie können die URLs der XML-Sitemap jedoch auch separat herunterladen und mit einem Tool wie Screaming Frog erfassen. 

Um eine Sitemap-Datei in ein Format zu konvertieren, das von einem Programm wie Screaming Frog gecrawlt werden kann, importieren Sie die Datei in Microsoft Excel und kopieren die URLs in eine Textdatei.

Wenn eine Sitemap „Unreinheiten“ enthält, d. h. auf veraltete Seiten verweist, die zu Fehlercodes im Header (wie z. B. 404), Weiterleitungen oder Anwendungsfehlern führen, können die von einem Crawler erfassten, indizierten und den Suchmaschinen zur Verfügung gestellten Daten fehleranfällig sein. Aus diesem Grund ist es sinnvoll, den nötigen Aufwand zu betreiben, um eine Sitemap zu crawlen und anschließend etwaige Probleme zu beheben.

Woran erkennen Sie, ob Ihre Sitemap fehlerhaft ist? In den Google Webmaster-Tools werden im Abschnitt „Sitemaps“ sowohl die Anzahl der in der Sitemap übermittelten Seiten als auch die Anzahl der indexierten Seiten angezeigt. Das Verhältnis zwischen diesen beiden Zahlen sollte in etwa 1:1 betragen. Wenn das Verhältnis zwischen indexiertem Material und der Anzahl der übermittelten Seiten niedrig ist, könnten Fehler bei den URLs in der Sitemap vorliegen.

Das Ziel einer Webcrawler-Software (auch bekannt als „Webspider“) besteht darin, Webseiten zu durchsuchen, Daten zu entdecken und abzurufen sowie diese zu indexieren, damit Nutzer über eine Suchmaschine darauf zugreifen können. Ein Website-Crawler erfüllt diese Aufgabe, indem er eine Website (oder mehrere Websites) systematisch untersucht, deren Webseiten herunterlädt und den darin enthaltenen Links folgt, um neue Inhalte zu identifizieren. Das Website-Crawler-Tool katalogisiert die gefundenen Informationen anschließend in einem durchsuchbaren Index, um einen schnellen Abruf zu ermöglichen.

Beim Web-Crawling durchforstet ein Softwareprogramm (ein „Bot“) systematisch Websites und indexiert die gefundenen Daten, sodass Nutzer diese mithilfe einer Suchmaschine leicht finden können.

Beim Web-Scraping, einer etwas anderen Form der Webdaten-Erfassung, werden bestimmte Arten von Informationen, beispielsweise zu Preisen, gesammelt (heruntergeladen). 

Im E-Commerce sind beide Arten der Datenerhebung besonders wertvoll, da die gesammelten und analysierten Daten den Marketingverantwortlichen datengestützte Entscheidungen ermöglichen, die den Umsatz steigern können. 

Marketingfachleute können beispielsweise Daten zu Produkten, die auf anderen Websites verkauft werden, mit denen der von ihnen angebotenen Produkte vergleichen.

Wenn sie feststellen, dass Käufer regelmäßig bestimmte Suchbegriffe in eine Suchmaschine eingeben, um ein bestimmtes Produkt zu finden, könnten sie beschließen, diese Begriffe in die Produktbeschreibung aufzunehmen, um potenzielle Käufer auf das Produktangebot aufmerksam zu machen.

Verbraucher möchten in der Regel die besten Angebote und können im Internet ganz einfach nach den günstigsten Preisen suchen. Stellt ein Unternehmen fest, dass ein Wettbewerber einen niedrigeren Preis für ein von ihm angebotenes Produkt hat, kann es seinen eigenen Preis senken, um sicherzustellen, dass potenzielle Kunden sich nicht allein aufgrund des niedrigeren Preises für den Wettbewerber entscheiden. 

Durch die Erfassung von Produktbewertungen und Ranglistendaten können Marketingfachleute und Unternehmer Informationen über Mängel an ihren eigenen Produkten und denen der Konkurrenz gewinnen.

Außerdem können sie mithilfe von Crawler-Technologie Produktbewertungen und -platzierungen überwachen, um bei negativen Kommentaren schnell reagieren zu können und so ihren Kundenservice zu verbessern.

Sie können herausfinden, welche Produkte sich am besten verkaufen, und möglicherweise vielversprechende neue Märkte identifizieren.

All diese umsatzwirksamen Aktivitäten machen das Crawling und Scraping von E-Commerce-Websites zu einem wichtigen und lukrativen Teilbereich dieser Aktivitäten insgesamt.