Un rastreador web (o «araña web») es un bot (programa informático) que recopila e indexa datos de la web (lo que también se conoce como «web scraping») para que estén disponibles para las personas que utilizan un motor de búsqueda para encontrar información.

Un rastreador web lo consigue visitando un sitio web (o varios), descargando páginas web y siguiendo minuciosamente los enlaces de los sitios para descubrir contenido de nueva creación. La herramienta de rastreo cataloga la información que descubre en un índice en el que se pueden realizar búsquedas.

Existen varios tipos de rastreadores web. Algunos rastreadores buscan e indexan datos en todo Internet (el sistema global de información de sitios web se conoce como la World Wide Web). Entre los rastreadores web a gran escala y más conocidos se encuentran Googlebot,Bingbot(para el motor de búsqueda de Microsoft Bing),Baidu Spider(China) y Yandex (Rusia). Además, muchos rastreadores web más pequeños y menos conocidos centran sus procesos de rastreo en explorar determinados tipos de datos web, como imágenes, vídeos o correo electrónico.

Un rastreador de bases de datos es un tipo específico de rastreador web que analiza y cataloga la información almacenada en tablas de una base de datos. Una vez catalogada esta información, los usuarios pueden encontrarla mediante los motores de búsqueda. 

Los distintos tipos de bases de datos requieren una configuración diferente para que el rastreador pueda extraer su información de forma inteligente. Debes especificar el tipo de datos y los campos que deseas que se rastreen, así como establecer una programación de rastreo.

Un rastreador de bases de datos trata cada fila de una tabla como un documento independiente, analizando e indexando los valores de las columnas como campos en los que se pueden realizar búsquedas. 

También se puede configurar un rastreador de bases de datos para que rastree varias tablas mediante un complemento. En una base de datos relacional, esto permite unir filas de varias tablas que tienen los mismos campos clave y tratarlas como un único documento. Así, cuando el documento aparece en los resultados de búsqueda, los datos de las tablas unidas se muestran como campos adicionales.

Al igual que el resto del contenido web, un rastreador web puede rastrear el mapa del sitio XML de una página web. Si una página web incluye la URL del mapa del sitio en su archivo robots.txt, este se rastreará automáticamente. No obstante, también es posible descargar y rastrear por separado las URL del mapa del sitio XML con una herramienta como Screaming Frog. 

Para convertir un archivo de mapa del sitio a un formato que un programa como Screaming Frog pueda rastrear, hay que importar el archivo a Microsoft Excel y copiar las URL a un archivo de texto.

Si un mapa del sitio contiene «impurezas», es decir, si hace referencia a páginas obsoletas que dan lugar a códigos de respuesta de encabezado que indican errores (como el 404), redirecciones o errores de aplicación, los datos recopilados e indexados por un rastreador y puestos a disposición de los motores de búsqueda pueden estar sujetos a errores. Por eso tiene sentido dedicar el esfuerzo necesario a rastrear un mapa del sitio y, a continuación, corregir cualquier problema.

¿Cómo saber si tu mapa del sitio tiene errores? En las Herramientas para webmasters de Google, la sección «Mapas del sitio» te muestra tanto el número de páginas enviadas en el mapa del sitio como el número de páginas indexadas. Esta proporción debería ser de aproximadamente 1 a 1. Si la proporción de páginas indexadas es baja en comparación con el elevado número de páginas enviadas, es posible que haya errores en las URL del mapa del sitio.

El objetivo de un programa de software de rastreo web (también conocido como «araña web») es explorar páginas web, descubrir y recopilar datos, e indexarlos para que los usuarios puedan acceder a ellos a través de un motor de búsqueda. Un rastreador web lleva a cabo esta tarea examinando sistemáticamente un sitio web (o varios sitios), descargando sus páginas web y siguiendo sus enlaces para identificar contenido nuevo. A continuación, la herramienta de rastreo del sitio web cataloga la información que descubre en un índice consultable para facilitar su rápida recuperación.

El rastreo web consiste en que un programa informático (un «bot») explore de forma sistemática sitios web e indexe los datos que encuentra, lo que facilita a los usuarios localizarlos mediante un motor de búsqueda.

El «web scraping», una forma ligeramente diferente de recopilar datos de la web, consiste en recabar (descargar) tipos específicos de información, por ejemplo, sobre precios. 

En el comercio electrónico, estos dos tipos de recopilación de datos resultan especialmente valiosos, ya que los datos recopilados y analizados pueden ayudar a los profesionales del marketing a tomar decisiones basadas en datos que impulsen las ventas. 

Los profesionales del marketing pueden comparar, por ejemplo, los datos sobre los productos que se venden en otras páginas web con los de los productos que ellos mismos venden.

Si descubren que los compradores suelen introducir determinadas palabras clave en un motor de búsqueda para localizar un producto concreto, podrían decidir añadir esas palabras a la descripción del producto para atraer a posibles compradores a la ficha del producto.

Los consumidores suelen buscar las mejores ofertas y pueden encontrar fácilmente los precios más bajos en Internet. Si una empresa observa que un competidor ofrece un precio más bajo por un producto que ella también comercializa, puede rebajar su propio precio para asegurarse de que los clientes potenciales no se decanten por el competidor únicamente por su menor coste. 

Al recopilar datos sobre opiniones y clasificaciones de productos, los profesionales del marketing y los empresarios pueden descubrir información sobre los defectos de sus propios productos y de los de la competencia.

También pueden utilizar tecnología de rastreo para supervisar las reseñas y las clasificaciones de los productos, de modo que puedan responder rápidamente cuando los usuarios publiquen comentarios negativos, mejorando así su servicio de atención al cliente.

Pueden averiguar qué productos son los más vendidos e, incluso, identificar nuevos mercados prometedores.

Todas estas actividades que influyen en los ingresos hacen que el rastreo y la extracción de datos de sitios web de comercio electrónico constituyan un subámbito importante y lucrativo dentro del conjunto de estas actividades.