Los rápidos avances en los codificadores de los modelos de lenguaje a gran escala (LLM) han mejorado considerablemente la búsqueda semántica en diversos ámbitos, especialmente en situaciones en las que las incrustaciones tradicionales a nivel de token resultan insuficientes. Las incrustaciones de texto son esenciales para que las máquinas puedan representar el lenguaje humano, lo que les permite realizar tareas como la búsqueda semántica. Al convertir el lenguaje humano en vectores, las incrustaciones permiten a los LLM captar matices lingüísticos y relaciones entre elementos textuales, como los significados contextuales, yendo más allá de la naturaleza superpuesta de los tokens propia de la búsqueda por palabras clave. Las palabras son, por naturaleza, de alta dimensión y dispersas, y su incrustación en vectores densos de menor dimensión permite a los LLM procesar la información mucho más rápido. En Algolia, los LLM ajustados con precisión (modelos de lenguaje grande enmascarados) permiten ofrecer una experiencia de búsqueda integral (Figura 1). Pruebas de rendimiento como el Massive Text Embedding Benchmark (MTEB) han sido fundamentales para evaluar estos modelos en tareas como la recuperación, la agrupación en clústeres y la clasificación utilizando conjuntos de datos públicos. Sin embargo, sigue planteándose una cuestión fundamental: ¿se traducen de forma efectiva los altos rendimientos en estas pruebas de rendimiento a ámbitos especializados como la búsqueda semántica en el sector minorista?

Figura 1: NeuralSearch (NS) en Algolia es una experiencia de búsqueda de extremo a extremo potenciada por LLM.

En este estudio, analizamos la transferibilidad del rendimiento de referencia de MTEB y de los conjuntos de datos de comercio electrónico de acceso público a aplicaciones de búsqueda en el sector minorista del mundo real. Nuestros resultados indican que los modelos que destacan en el MTEB no mantienen necesariamente su superioridad cuando se aplican a conjuntos de datos específicos del sector minorista. Para investigar esto, hemos elaborado un conjunto de datos privado del sector minorista que refleja el sistema de puntuación de relevancia de los conjuntos de datos de comercio electrónico disponibles públicamente. Hemos aprovechado el código fuente existente del MTEB en nuestros procesos de evaluación para garantizar la coherencia de nuestra metodología de evaluación.

Al evaluar una serie de codificadores de modelos de lenguaje grande (LLM), tanto de código abierto como comerciales, en nuestro conjunto de datos, observamos discrepancias en la clasificación de los modelos en comparación con la obtenida específicamente en MTEB. Los modelos que obtuvieron unos resultados excepcionales en MTEB no siempre ofrecieron los mejores resultados en nuestro contexto minorista. Estos hallazgos ponen de relieve las limitaciones de basarse únicamente en pruebas de rendimiento generales para la selección de modelos en ámbitos especializados.

Nuestro artículo subraya la necesidad de realizar evaluaciones y pruebas comparativas específicas para cada ámbito. Sin ellas, las organizaciones corren el riesgo de implementar modelos que no se adaptan a sus necesidades concretas, lo que podría comprometer la eficacia de sus sistemas de búsqueda semántica. Abogamos por el desarrollo de pruebas comparativas más especializadas y por la inclusión de conjuntos de datos específicos de cada ámbito en los procesos de evaluación de modelos, con el fin de garantizar un rendimiento óptimo en aplicaciones del mundo real.

Limitaciones de los índices de referencia existentes

La evaluación de las incrustaciones de texto desempeña un papel crucial en la comprensión de su eficacia en diversas tareas de procesamiento del lenguaje natural, como la recuperación, la agrupación y la clasificación. Los conjuntos de datos abiertos como MTEB, BEIR, STS-B y TREC/MS MARCO ofrecen marcos estandarizados para evaluar la calidad de las incrustaciones en diversos escenarios. BEIR (Benchmarking Information Retrieval) proporciona un conjunto completo de tareas de recuperación que abarcan múltiples dominios. STS-B (Semantic Textual Similarity Benchmark) se centra en las puntuaciones de similitud a nivel de oración, midiendo la capacidad de las incrustaciones para capturar la equivalencia semántica. Los conjuntos de datos TREC/MS MARCO se utilizan ampliamente para la clasificación y recuperación de pasajes a gran escala, haciendo hincapié en los sistemas de recuperación de información del mundo real. Entre estos, MTEB destaca como la opción más versátil y completa para fines de recuperación. Evalúa las incrustaciones en una amplia gama de idiomas, dominios y tareas, lo que lo hace especialmente adecuado para escenarios de recuperación que requieren un rendimiento robusto en entornos diversos y multilingües. Gracias a su amplia cobertura y a la evaluación detallada de las tareas, MTEB garantiza que las incrustaciones se prueben en cuanto a su generalización y eficacia, lo que lo convierte en el referente ideal para las aplicaciones de recuperación de información.

MTEB se introduce debido a los desafíos asociados con muchos benchmarks existentes que utilizan un pequeño conjunto de datos de una sola tarea que no cubre sus posibles aplicaciones, y a la constante propuesta de diversos modelos sin una evaluación adecuada. Si bien existen modelos LLM de código abierto y cerrado, lo que convierte a MTEB en el benchmark más completo para modelos de incrustación LLM, muchas evaluaciones se basan en modelos que a menudo están desactualizados, centrándose en modelos y conjuntos de datos de una época en la que el campo estaba menos maduro. Además, el rápido avance de los codificadores LLM en la búsqueda semántica convirtió a MTEB en el estándar principal para que los desarrolladores seleccionaran los modelos con mejor rendimiento. Sin embargo, los codificadores LLM genéricos evaluados en conjuntos de datos públicos pueden no capturar los matices de los dominios especializados. La búsqueda semántica en el comercio minorista presenta desafíos únicos, que incluyen descripciones de productos diversas, comportamientos de búsqueda de clientes variables y terminología específica de la industria; por lo tanto, MTEB no necesariamente destaca en el contexto del comercio minorista, lo que pone de manifiesto una brecha significativa entre el rendimiento de los benchmarks y la aplicabilidad en el mundo real de los modelos LLM.

Metodología

Conjuntos de datos y métricas de referencia

En este artículo, utilizamos tres conjuntos de datos diferentes:

1. Conjuntos de datos de recuperación de MTEB
2. Conjuntos de datos públicos sobre comercio electrónico
3. Conjuntos de datos privados recopilados de clientes seleccionados que han dado su consentimiento para facilitarnos acceso a sus datos con fines de evaluación.

A continuación se incluye la lista de conjuntos de datos utilizados en este estudio:

Tabla 1: Las pruebas de rendimiento internas de Algolia incluyen el Open Retrieval Benchmark, una prueba de rendimiento basada en un conjunto de datos público de comercio electrónico, y una prueba de rendimiento privada de comercio electrónico elaborada a partir de datos de rendimiento de los clientes. Cabe señalar que la prueba de rendimiento privada se ha desarrollado en colaboración con los clientes para evaluar el rendimiento de los modelos en sus distribuciones de datos específicas.

Este estudio utiliza únicamente el corpus asociado a los documentos relevantes de la división en cuestión, que es la división de prueba. Esto difiere de la forma en que el código base de MTEB calcula las métricas. Se ha optado por este enfoque para lograr una mayor compatibilidad con los conjuntos de datos de comercio electrónico. Además, reduce la probabilidad de que se ignoren coincidencias de pares relevantes en las evaluaciones. Todas las evaluaciones se llevan a cabo en divisiones de prueba (que representan el 20 % de todos los conjuntos de datos) para conjuntos de datos de comercio electrónico públicos y privados. Los conjuntos de datos privados son multilingües, por lo que se seleccionan para la evaluación tanto modelos en inglés como modelos multilingües. Además, los conjuntos de datos privados solo contienen pares relevantes, al igual que los conjuntos de datos de recuperación de MTEB. En cuanto a los modelos de lenguaje grandes (LLM) de código abierto, se seleccionan los modelos con mejor rendimiento en MTEB que tengan 500 millones de parámetros o menos. Los modelos de código cerrado seleccionados son los de OpenAI, Google y Cohere, a los que se tiene acceso en el momento del análisis.

Los LLM se evalúan en diversos conjuntos de datos utilizando métricas estandarizadas como nDCG@10, F1@10 y MAP@10. Las métricas como nDCG (ganancia acumulada descontada normalizada) y F1 sirven para evaluar el rendimiento de recuperación de los modelos LLM, mientras que MAP se utiliza principalmente para evaluar su rendimiento en la clasificación. A continuación se explica cada métrica en detalle.

El nDCG es el DCG (ganancia acumulada descontada) normalizado y se calcula sumando las ganancias de relevancia de cada producto, descontadas en función de la posición en la que aparece. El numerador muestra la puntuación de relevancia del producto en la posición i y el denominador muestra el factor de descuento que reduce la contribución de los productos que aparecen en posiciones inferiores. Para evaluar la eficacia del DCG, se compara con el DCG más alto posible que se podría alcanzar si los productos se clasificaran en el orden perfecto de relevancia, es decir, el IDCG. Esta normalización facilita la comparación entre diferentes conjuntos de resultados.

F1: La media armónica de precisión y exhaustividad, que proporciona una métrica única que equilibra ambas. La exhaustividad determina cuántos de todos los resultados positivos identificó correctamente el modelo, mientras que la precisión determina cuántos de todos los elementos predichos como positivos fueron realmente acertados. La puntuación F1 es alta solo cuando tanto la precisión como la exhaustividad son altas, lo cual resulta especialmente útil cuando el conjunto de datos está desequilibrado.

MAP: La precisión promedio es el promedio de las puntuaciones de precisión calculadas tras la recuperación de cada producto relevante. Se denomina precisión promedio media (MAP) cuando se promedia en varias consultas. MAP indica si la mayoría de los productos relevantes se muestran en las primeras posiciones. MRR se centra en que los productos más relevantes aparezcan en la parte superior, mientras que MAP se centra en que la mayoría de los productos relevantes se encuentren en las primeras posiciones.

Modelos de lenguaje grande (LLM) de Algolia

Algolia crea modelos de incrustación con aproximadamente 500 millones de parámetros para garantizar la latencia deseada. Cada LLM está optimizado arquitectónicamente y cuantificado para asegurar una latencia menor (Tabla 2). El equipo de IA de Algolia evalúa continuamente los LLM de última generación, seleccionando aquellos con el mejor rendimiento y licencias permisivas. El ajuste fino de estos modelos para contextos de comercio electrónico garantiza un rendimiento superior adaptado a las necesidades específicas del sector. La metodología de ajuste fino combina las mejores prácticas de la investigación de vanguardia con la experiencia del equipo de IA. Aprovechando los pipelines automatizados de entrenamiento y evaluación de IA, el proceso optimiza el rendimiento del modelo explorando simultáneamente numerosos hiperparámetros en el mismo conjunto de datos de entrenamiento, lo que da como resultado los mejores modelos posibles. Algunas de las técnicas inspiradas en las investigaciones más recientes, sin entrar en detalles exactos, se describen en la tabla a continuación:

Tabla 2: Algolia utiliza un enfoque de entrenamiento en dos etapas: 1. ajuste fino mediante la función de pérdida infoNCE; 2. ajuste fino con valores negativos estrictos mediante conjuntos de datos sintéticos.

En la Tabla 3 se recogen los modelos de lenguaje grande (LLM) integrados por Algolia (a diciembre de 2024), junto con sus especificaciones. Todos los LLM de Algolia se entrenan con conjuntos de datos de comercio electrónico disponibles públicamente, y no se utilizan conjuntos de datos de clientes de Algolia para el entrenamiento. Se combinan el etiquetado con IA generativa y la extracción de ejemplos negativos duros para crear conjuntos de datos sintéticos con los que realizar un ajuste fino adicional. Los modelos v2410 de Algolia son de código abierto bajo licencia MIT y se pueden consultar en Hugging Face. Cabe señalar que la latencia se calcula en un equipo local con una CPU i9.

Tabla 3: Los modelos de lenguaje grande (LLM) de Algolia son modelos de incrustación de última generación, ajustados y optimizados para la búsqueda en comercio electrónico

Análisis y resultados

Referencia del comercio electrónico (conjuntos de datos privados y públicos de Algolia)

Los tres modelos de lenguaje grande (LLM) de Algolia se situaron entre los 20 primeros en conjuntos de datos de comercio electrónico multilingües que incluían el inglés (Figura 2). Algolia v2412 encabeza la clasificación gracias a su rendimiento NDCG@10. Algolia Multilingual v2410, disponible en Hugging Face con una licencia permisiva desde diciembre de 2014, ocupa el sexto puesto, por encima del modelo LLM multilingüe de Cohere. La diferencia de rendimiento entre nuestros modelos multilingües v2410 y v2412 es de aproximadamente un 3 % en NDCG@10.

Figura 2: Rendimiento del modelo de lenguaje grande (LLM) de Algolia en una prueba de rendimiento de comercio electrónico que incluye conjuntos de datos de comercio electrónico tanto privados como públicos de Algolia

Referencia del comercio electrónico (conjuntos de datos privados de Algolia)

La prueba comparativa de comercio electrónico de Algolia, que utiliza únicamente conjuntos de datos privados de Algolia, se ha elaborado a partir de la colaboración de clientes de Algolia que han evaluado el rendimiento del modelo con su distribución específica de datos. Los conjuntos de datos privados de comercio electrónico de Algolia incluyen pares formados por consultas y frases de documentos, junto con una puntuación de relevancia asociada; los idiomas predominantes en la prueba comparativa son el inglés, el francés, el alemán y el español. Las puntuaciones de relevancia se obtienen a partir de análisis basados en las interacciones pasadas de los usuarios con los productos para las consultas asociadas. La eliminación de los conjuntos de datos públicos de comercio electrónico no afecta de manera significativa a la clasificación, aunque Algolia v2412 pasa a ocupar el segundo puesto, por delante del mejor modelo de incrustación de Google en la clasificación. Los tres modelos de lenguaje grande (LLM) de Algolia siguen situándose entre los 20 primeros (Figura 3).

Figura 3: Rendimiento del modelo de lenguaje grande (LLM) de Algolia en una prueba de rendimiento de comercio electrónico que incluye conjuntos de datos privados de comercio electrónico de Algolia

Referencia de comercio electrónico (conjuntos de datos multilingües privados de Algolia)

Este benchmark incluye todos los conjuntos de datos que no están en inglés, por lo que los idiomas predominantes en él son el francés, el alemán y el español. Cabe señalar que hay otros idiomas no europeos, aunque son minoritarios en este benchmark. La eliminación de los conjuntos de datos privados de comercio electrónico en inglés no afecta de forma significativa a la clasificación, y el modelo Algolia English v2410 desciende del puesto 12 al 13 en la clasificación, tal y como se esperaba (Figura 4). Además, hay algunos modelos nuevos que se cuelan entre los 20 primeros, concretamente el Alibaba gte-large-en-1.5.

Figura 4: Rendimiento del modelo de lenguaje grande (LLM) de Algolia en una prueba de rendimiento de comercio electrónico que incluye conjuntos de datos privados multilingües de comercio electrónico de Algolia

Referencia de comercio electrónico (conjuntos de datos privados en inglés de Algolia)

La evaluación comparativa de Algolia para el comercio electrónico incluye únicamente conjuntos de datos de comercio electrónico en inglés. Dado que la mayoría de los conjuntos de datos de los clientes de Algolia están en inglés, es fundamental comparar los modelos LMM de Algolia con otros modelos de código abierto y comerciales. Los sectores predominantes en esta evaluación comparativa son la moda y la tecnología. El modelo v2412 de Algolia mantiene su posición en la clasificación (Figura 5), mientras que el modelo v2410 en inglés asciende al noveno puesto y el modelo multilingüe v2410 cae del noveno al decimotercer puesto. El modelo arctic-embed-m-v1.5 de Snowflake da un salto desde el puesto 24 hasta el quinto. Los modelos bilingües de Lajavaness ocupan el puesto 32 en la categoría «large» y el 35 en la categoría «large-8k». Estos cambios tan drásticos en la clasificación ponen de manifiesto la sensibilidad de algunos modelos de incrustación de LLM al inglés. Es fundamental evaluar la sensibilidad de los modelos respecto a cualquier idioma específico para garantizar que se ajustan a las expectativas de las distribuciones de datos de implementación.

Figura 5: Rendimiento del modelo de lenguaje grande (LLM) de Algolia en una prueba de rendimiento de comercio electrónico que incluye conjuntos de datos privados de comercio electrónico en inglés de Algolia

Referencia sobre comercio electrónico (conjuntos de datos públicos en inglés)

El benchmark público de comercio electrónico incluye conjuntos de datos como ESCI, WANDS, Home Depot, Crowdflower y Marqo. Todos estos conjuntos de datos, que incluyen puntuaciones de relevancia, están en inglés y son de acceso público. Dada su disponibilidad, no es de extrañar que muchos modelos de código abierto se entrenen con ellos. En la comparativa pública de comercio electrónico en inglés, el modelo Algolia v2412 ocupa el tercer puesto, mientras que el modelo Algolia v2410 en inglés se sitúa en sexto lugar y el modelo multilingüe Algolia v2410, en décimo (Figura 6). Los modelos de Algolia ofrecen un rendimiento consistentemente bueno en todas las comparativas de comercio electrónico. Llama la atención que los modelos de Snowflake se concentren en la parte alta de la clasificación, lo que indica que se han entrenado intensamente con conjuntos de datos públicos de comercio electrónico. Los modelos de OpenAI y Google ya no figuran entre los 20 primeros, sino que se agrupan en torno al puesto 30, lo que demuestra que estos modelos comerciales no se han entrenado en gran medida con conjuntos de datos públicos de comercio electrónico. Los modelos multilingües y en inglés de Cohere se encuentran entre los 20 primeros de la clasificación.

Figura 6: Rendimiento del modelo de lenguaje grande (LLM) de Algolia en una prueba de rendimiento de comercio electrónico que incluye conjuntos de datos públicos en inglés sobre comercio electrónico

Referencia MTEB (conjuntos de datos en inglés)

El MTEB incluye únicamente conjuntos de datos de recuperación en inglés. Algolia mantiene el MTEB para garantizar que sus modelos no se alejen demasiado de su comprensión lingüística básica, dado que los modelos de lenguaje grande (LLM) de Algolia se ajustan sobre la base de modelos de incrustación de LLM de código abierto de última generación. En comparación con el banco de pruebas privado de comercio electrónico, hay siete modelos que no figuran en el MTEB, entre los que destacan Algolia v2410 Multilingual, Google gecko@003 y JinaAI embedding-v3 (Figura 7). Aunque estos tres modelos ocupan puestos destacados en los conjuntos de datos privados de comercio electrónico, no figuran entre los 20 primeros de la clasificación de MTEB. Esto indica que ni MTEB ni ningún otro banco de pruebas de código abierto son suficientes para determinar qué modelos de incrustación de LLM pueden utilizarse en un contexto específico. Es esencial crear un banco de pruebas interno que incluya conjuntos de datos con distribuciones de datos de implementación para garantizar que el modelo elegido sea, efectivamente, el adecuado.

Figura 7: Rendimiento del modelo de lenguaje grande (LLM) de Algolia en el banco de pruebas MTEB, que incluye conjuntos de datos de recuperación en inglés

Conclusiones y líneas de trabajo futuras

Es fundamental evaluar los modelos LLM en el contexto de un problema específico. La diferencia de rendimiento entre los modelos de Google, JinaAI y Algolia en los benchmarks de comercio electrónico MTEB y Algolia demuestra la importancia de contar con benchmarks internos con conjuntos de datos relevantes para su evaluación. En Algolia, incorporamos nuevos modelos LLM a nuestros benchmarks en un plazo de 24 horas. Esto permite a nuestro equipo de IA seleccionar el modelo de incrustación LLM más avanzado y optimizar nuestros modelos de próxima generación, basados ​​en modelos fundamentales de código abierto con licencia permisiva, mediante nuestros pipelines de entrenamiento y evaluación totalmente automatizados. Los modelos Algolia v2410 representan la vanguardia en su tamaño y casos de uso, y ahora están disponibles bajo una licencia MIT. Le invitamos a utilizarlos y enviarnos sus comentarios a ai-research@algolia.com.