Un robot d'indexation (ou « crawler ») est un bot (programme logiciel) qui collecte et indexe des données web (également appelé « web scraping ») afin de les mettre à la disposition des personnes qui utilisent un moteur de recherche pour trouver des informations.

Un robot d'exploration de sites web accomplit cette tâche en visitant un ou plusieurs sites, en téléchargeant les pages web et en suivant les liens pour découvrir les nouveaux contenus. Cet outil répertorie ensuite les informations découvertes dans un index consultable.

Il existe plusieurs types de robots d'indexation. Certains robots recherchent et indexent des données sur l'ensemble de l'Internet (le système mondial d'informations provenant de sites Web est connu sous le nom de World Wide Web). Parmi les robots d'indexation à grande échelle et bien connus, on peut citer Googlebot, Bingbot (pour le moteur de recherche Microsoft Bing), Baidu Spider (Chine) et Yandex (Russie). En outre, de nombreux robots d'indexation plus petits et moins connus concentrent leurs processus d'indexation sur l'exploration de certains types de données web, telles que les images, les vidéos ou les e-mails.

Un robot d'exploration de bases de données est un type spécifique de robot d'exploration web qui analyse et catalogue les informations stockées dans les tables d'une base de données. Une fois ces informations cataloguées, elles peuvent être retrouvées à l'aide des moteurs de recherche. 

Les différents types de bases de données nécessitent une configuration spécifique pour que le robot d'exploration puisse extraire intelligemment leurs informations. Vous spécifiez le type de données et les champs à explorer, et vous définissez une planification d'exploration.

Un robot d'exploration de base de données traite chaque ligne d'une table comme un document distinct, analysant et indexant les valeurs des colonnes comme des champs consultables. 

Un robot d'exploration de base de données peut également être configuré pour explorer différentes tables à l'aide d'un module complémentaire. Dans une base de données relationnelle, cela permet de fusionner les lignes de plusieurs tables partageant les mêmes champs clés et de les traiter comme un seul document. Ainsi, lors de l'affichage du document dans les résultats de recherche, les données des tables fusionnées apparaissent sous forme de champs supplémentaires.

Comme tout autre contenu web, le sitemap XML d'un site web peut être exploré par un robot d'exploration. Si l'URL du sitemap figure dans le fichier robots.txt du site, celui-ci sera automatiquement exploré. Il est également possible de télécharger et d'explorer séparément les URL des sitemaps XML à l'aide d'un outil tel que Screaming Frog. 

Pour convertir un fichier sitemap dans un format exploitable par un programme comme Screaming Frog, importez le fichier dans Microsoft Excel et copiez les URL dans un fichier texte.

Si un sitemap contient des erreurs, c'est-à-dire des références à des pages obsolètes renvoyant des codes d'erreur (comme 404), des redirections ou des erreurs d'application, les données indexées par un robot d'exploration et mises à la disposition des moteurs de recherche risquent d'être erronées. C'est pourquoi il est judicieux de consacrer le temps nécessaire à l'exploration du sitemap et à la correction des problèmes éventuels.

Comment savoir si votre sitemap est erroné ? Dans Google Search Console, la section « Sitemaps » affiche le nombre de pages soumises dans le sitemap et le nombre de pages indexées. Ce ratio devrait être d'environ 1 pour 1. Si le nombre de pages indexées est faible par rapport au nombre de pages soumises, il se peut que les URL du sitemap soient incorrectes.

L'objectif d'un logiciel d'exploration web (ou robot d'indexation) est d'explorer les pages web, de découvrir et de récupérer des données, puis de les indexer afin qu'elles soient accessibles aux internautes via un moteur de recherche. Un robot d'indexation remplit cette mission en examinant systématiquement un ou plusieurs sites web, en téléchargeant leurs pages et en suivant leurs liens pour identifier de nouveaux contenus. Il catalogue ensuite les informations découvertes dans un index consultable pour une récupération rapide.

Le web crawling consiste à faire explorer systématiquement les sites web par un logiciel (un « bot ») et à indexer les données qu'il trouve, facilitant ainsi leur recherche par les moteurs de recherche.

Le web scraping, une forme légèrement différente de collecte de données web, consiste à collecter (télécharger) des types spécifiques d'informations, par exemple sur les prix. 

Dans le e-commerce, ces deux types de collecte de données sont particulièrement précieux car les données collectées et analysées peuvent permettre aux spécialistes du marketing de prendre des décisions basées sur les données susceptibles de stimuler les ventes. 

Les spécialistes du marketing peuvent par exemple comparer les données relatives aux produits vendus sur d'autres sites avec celles des mêmes produits qu'ils vendent.

S’ils constatent que les consommateurs saisissent régulièrement certains mots-clés dans un moteur de recherche pour trouver un produit donné, ils pourraient décider d’ajouter ces mots à la description du produit afin d’attirer des acheteurs potentiels vers la fiche produit.

Les consommateurs recherchent généralement les meilleures offres et peuvent facilement trouver les prix les plus bas sur Internet. Si une entreprise constate qu'un concurrent propose un prix inférieur pour un produit qu'elle vend, elle peut baisser son propre prix afin d'éviter que les clients potentiels ne choisissent le concurrent uniquement pour son prix plus bas. 

En collectant des données sur les avis et les classements de produits, les spécialistes du marketing et les hommes d'affaires peuvent découvrir des informations sur les défauts de leurs propres produits et de ceux de leurs concurrents.

Ils peuvent également utiliser la technologie des robots d'exploration pour surveiller les avis et les classements des produits afin de pouvoir réagir rapidement lorsque les gens publient des commentaires négatifs, améliorant ainsi leur service client.

Ils peuvent ainsi découvrir quels produits sont les plus vendus et potentiellement identifier de nouveaux marchés prometteurs.

Toutes ces activités ayant un impact sur les revenus font du web crawling et du web scraping un sous-domaine important et lucratif de ces activités dans leur ensemble.