Ein Webcrawler (oder „Webspider“) ist ein Bot (Softwareprogramm), der Webdaten sammelt und indexiert (auch als Web Scraping bezeichnet), damit diese den Nutzern einer Suchmaschine zur Informationssuche zur Verfügung stehen.

Ein Website-Crawler erreicht dies, indem er eine Website (oder mehrere Websites) besucht, Webseiten herunterlädt und fleißig den Links auf den Websites folgt, um neu erstellte Inhalte zu entdecken. Das Website-Crawler-Tool katalogisiert die gefundenen Informationen in einem durchsuchbaren Index.

Es gibt verschiedene Arten von Website-Crawlern. Einige Crawler finden und indexieren Daten im gesamten Internet (das globale Informationssystem für Website-Informationen ist als World Wide Web bekannt). Zu den großen und bekannten Web-Crawlern gehören Googlebot,Bingbot(für die Suchmaschine von Microsoft Bing),Baidu Spider(China) und Yandex (Russland). Darüber hinaus konzentrieren sich viele kleinere und weniger bekannte Web-Crawler bei ihren Crawling-Prozessen auf die Erforschung bestimmter Arten von Webdaten, wie Bilder, Videos oder E-Mails.

Ein Datenbank-Crawler ist eine spezielle Art von Web-Crawler, der Informationen, die in Tabellen einer Datenbank gespeichert sind, analysiert und katalogisiert. Wenn diese Informationen katalogisiert sind, können sie über Suchmaschinen gefunden werden. 

Verschiedene Arten von Datenbanken erfordern unterschiedliche Konfigurationen, damit der Crawler ihre Informationen auf intelligente Weise extrahieren kann. Sie legen die Art der Daten und Felder fest, die gecrawlt werden sollen, und legen einen Crawling-Zeitplan fest.

Ein Datenbank-Crawler behandelt jede Zeile in einer Tabelle als separates Dokument und analysiert und indexiert Spaltenwerte als durchsuchbare Felder. 

Ein Datenbank-Crawler kann auch so eingerichtet werden, dass er mithilfe eines Plug-ins verschiedene Tabellen crawlt. In einer relationalen Datenbank ermöglicht dies das Zusammenführen von Zeilen aus mehreren Tabellen, die dieselben Schlüsselfelder haben, und deren Behandlung als ein Dokument. Wenn das Dokument dann in den Suchergebnissen angezeigt wird, erscheinen die Daten aus den zusammengeführten Tabellen als zusätzliche Felder.

Wie andere Webinhalte auch kann die XML-Sitemap einer Website von einem Webcrawler gecrawlt werden. Wenn eine Website eine Sitemap-URL in ihrer robots.txt hat, wird die Sitemap automatisch gecrawlt. Sie können die XML-Sitemap-URLs jedoch auch separat mit einem Tool wie Screaming Frog herunterladen und crawlen. 

Um eine Sitemap-Datei in ein Format zu konvertieren, das ein Programm wie Screaming Frog crawlen kann, importieren Sie die Datei in Microsoft Excel und kopieren die URLs in eine Textdatei.

Wenn eine Sitemap „Fehler“ enthält, d. h. wenn sie auf veraltete Seiten verweist, die zu Fehlermeldungen (z. B. 404), Weiterleitungen oder Anwendungsfehlern führen, können die von einem Crawler gefundenen und indexierten Daten, die Suchmaschinen zur Verfügung gestellt werden, fehlerhaft sein. Aus diesem Grund ist es sinnvoll, den Aufwand zu betreiben, eine Sitemap zu crawlen und anschließend etwaige Probleme zu beheben.

Wie können Sie feststellen, ob Ihre Sitemap fehlerhaft ist? In den Google Webmaster-Tools werden im Abschnitt „Sitemaps“ sowohl die Anzahl der in der Sitemap übermittelten Seiten als auch die Anzahl der indizierten Seiten angezeigt. Das Verhältnis sollte in etwa 1:1 betragen. Wenn das Verhältnis zwischen indiziertem Material und der Anzahl der übermittelten Seiten niedrig ist, könnten die URLs in der Sitemap fehlerhaft sein.

Das Ziel einer Webcrawler-Software (auch bekannt als „Webspider“) besteht darin, Webseiten zu durchsuchen, Daten zu finden und abzurufen und diese zu indexieren, damit sie von Nutzern einer Suchmaschine abgerufen werden können. Ein Website-Crawler erfüllt diese Aufgabe, indem er eine Website (oder mehrere Websites) systematisch untersucht, deren Webseiten herunterlädt und deren Links verfolgt, um neue Inhalte zu identifizieren. Das Website-Crawler-Tool katalogisiert dann die gefundenen Informationen in einem durchsuchbaren Index, damit sie schnell abgerufen werden können.

Web Crawling bezeichnet den Vorgang, bei dem ein Softwareprogramm (ein „Bot“) Websites systematisch durchsucht und die gefundenen Daten indexiert, sodass sie für Nutzer über eine Suchmaschine leicht auffindbar sind.

Web Scraping, eine etwas andere Form der Erfassung von Webdaten, umfasst das Sammeln (Herunterladen) bestimmter Arten von Informationen, beispielsweise über Preise. 

Im E-Commerce sind beide Arten der Datenerfassung besonders wertvoll, da die gesammelten und analysierten Daten zu datenbasierten Entscheidungen der Vermarkter führen können, die den Umsatz steigern können. 

Vermarkter können beispielsweise Daten über Produkte, die auf anderen Websites verkauft werden, mit denselben Produkten vergleichen, die sie selbst verkaufen.

Wenn sie feststellen, dass Käufer regelmäßig bestimmte Schlüsselwörter in eine Suchmaschine eingeben, um ein bestimmtes Produkt zu finden, könnten sie beschließen, diese Wörter in die Produktbeschreibung aufzunehmen, um potenzielle Käufer auf das Produktangebot aufmerksam zu machen.

Verbraucher möchten in der Regel die besten Angebote und können im Internet ganz einfach nach den günstigsten Preisen suchen. Wenn ein Unternehmen feststellt, dass ein Mitbewerber ein Produkt zu einem niedrigeren Preis anbietet, kann es seinen eigenen Preis senken, um sicherzustellen, dass potenzielle Kunden sich nicht allein aufgrund des niedrigeren Preises für den Mitbewerber entscheiden. 

Durch das Sammeln von Produktbewertungen und Ranglistendaten können Marketingfachleute und Geschäftsleute Informationen über Mängel ihrer eigenen Produkte und der Produkte ihrer Mitbewerber aufdecken.

Sie können auch Crawler-Technologie einsetzen, um Produktbewertungen und Rankings zu überwachen, sodass sie schnell reagieren können, wenn Nutzer negative Kommentare posten, und so ihren Kundenservice verbessern können.

Sie können herausfinden, welche Produkte Bestseller sind, und potenziell neue, vielversprechende Märkte identifizieren.

All diese umsatzwirksamen Aktivitäten machen das Crawlen und Scraping von E-Commerce-Websites zu einem wichtigen und lukrativen Teilbereich dieser Aktivitäten insgesamt.