Réévaluation des encodeurs LLM pour la recherche sémantique

Les progrès rapides des encodeurs de modèles de langage étendus (LLM) ont considérablement amélioré la recherche sémantique dans divers domaines, notamment lorsque les plongements lexicaux traditionnels au niveau des tokens sont insuffisants. Les plongements lexicaux sont essentiels pour permettre aux machines de représenter le langage humain et de réaliser des tâches telles que la recherche sémantique. En convertissant le langage humain en vecteurs, les plongements permettent aux LLM de saisir les subtilités linguistiques et les relations entre les éléments textuels, comme le sens contextuel, en dépassant la simple superposition des tokens lors de la recherche par mots-clés. Les mots étant intrinsèquement de grande dimension et épars, leur intégration dans des vecteurs denses de plus faible dimension permet aux LLM de traiter l'information beaucoup plus rapidement. Chez Algolia, des LLM finement paramétrés (Masked Large Language Models) offrent une expérience de recherche complète (Figure 1). Des benchmarks comme le Massive Text Embedding Benchmark (MTEB) ont joué un rôle déterminant dans l'évaluation de ces modèles pour des tâches telles que la recherche, le clustering et le classement à partir de jeux de données publics. Cependant, une question cruciale demeure : les performances élevées obtenues sur ces bancs d’essai se traduisent-elles efficacement dans des domaines spécialisés comme la recherche sémantique dans le commerce de détail ?

Figure 1 : NeuralSearch (NS) chez Algolia est une expérience de recherche de bout en bout optimisée par les LLM.

Dans cette étude, nous explorons la transférabilité des performances de référence de MTEB et d'un jeu de données e-commerce public à des applications de recherche en situation réelle. Nos résultats indiquent que les modèles performants sur MTEB ne conservent pas nécessairement leur supériorité lorsqu'ils sont appliqués à des jeux de données spécifiques au commerce de détail. Afin d'étudier ce phénomène, nous avons constitué un jeu de données privé dédié au commerce de détail, reprenant le système de notation de pertinence des jeux de données e-commerce publics. Nous avons utilisé le code source MTEB existant dans nos processus d'évaluation afin de garantir la cohérence de notre méthodologie.

En évaluant divers encodeurs LLM, tant open source que commerciaux, sur notre jeu de données, nous avons constaté des écarts dans le classement des modèles par rapport à celui obtenu sur MTEB. Les modèles ayant obtenu d'excellents résultats sur MTEB n'ont pas toujours donné les meilleurs résultats dans notre contexte de vente au détail. Ces observations soulignent les limites d'une utilisation exclusive de benchmarks généraux pour la sélection de modèles dans des domaines spécialisés.

Notre article souligne la nécessité d'évaluations et de benchmarks spécifiques au domaine. Sans cela, les organisations risquent de déployer des modèles inadaptés à leurs besoins spécifiques, ce qui peut compromettre l'efficacité de leurs systèmes de recherche sémantique. Nous préconisons le développement de benchmarks plus spécialisés et l'intégration de jeux de données spécifiques au domaine dans les processus d'évaluation des modèles afin de garantir des performances optimales dans les applications concrètes.

Limites des référentiels existants

L'évaluation des plongements lexicaux joue un rôle crucial dans la compréhension de leur efficacité pour diverses tâches de traitement automatique du langage naturel, notamment la recherche, le regroupement et la classification. Des benchmarks ouverts tels que MTEB, BEIR, STS-B et TREC/MS MARCO offrent des cadres standardisés pour évaluer la qualité des plongements dans différents contextes. BEIR (Benchmarking Information Retrieval) propose une suite complète de tâches de recherche couvrant de multiples domaines. STS-B (Semantic Textual Similarity Benchmark) se concentre sur les scores de similarité au niveau de la phrase, mesurant la capacité des plongements à capturer l'équivalence sémantique. Les benchmarks TREC/MS MARCO sont largement utilisés pour le classement et la recherche de textes à grande échelle, mettant l'accent sur les systèmes de recherche d'informations en situation réelle. Parmi ces benchmarks, MTEB se distingue comme le choix le plus polyvalent et complet pour la recherche. Il évalue les plongements dans un large éventail de langues, de domaines et de tâches, ce qui le rend particulièrement adapté aux scénarios de recherche exigeant des performances robustes dans des environnements multilingues et diversifiés. Grâce à sa couverture étendue et à son évaluation détaillée des tâches, MTEB garantit que les plongements le sont en termes de généralisabilité et d'efficacité, ce qui en fait la référence idéale pour les applications de recherche.

MTEB a été introduit en raison des difficultés liées à l'utilisation de nombreux benchmarks existants, qui exploitent un petit ensemble de données provenant d'une seule tâche et ne couvrent pas leurs applications potentielles. De plus, divers modèles sont constamment proposés sans évaluation adéquate. Bien qu'il existe des modèles LLM open source et propriétaires, faisant de MTEB le benchmark le plus complet pour les modèles d'intégration LLM, de nombreuses évaluations reposent sur des modèles souvent obsolètes, se concentrant sur des modèles et des ensembles de données d'une époque où le domaine était moins mature. Par ailleurs, les progrès rapides des encodeurs LLM dans la recherche sémantique ont fait de MTEB la référence pour les développeurs souhaitant sélectionner les modèles les plus performants. Cependant, les encodeurs LLM génériques évalués sur des ensembles de données publics peuvent ne pas saisir les nuances des domaines spécialisés. La recherche sémantique dans le secteur du commerce de détail présente des défis uniques, notamment la diversité des descriptions de produits, la variété des comportements de recherche des clients et la terminologie spécifique au secteur. Par conséquent, MTEB n'excelle pas nécessairement dans le contexte du commerce de détail, ce qui met en évidence un écart important entre les performances des benchmarks et l'applicabilité réelle des modèles LLM.

Méthodologie

Ensembles de données et indicateurs de référence

Dans cet article, nous avons utilisé trois ensembles de données différents :

1. ensembles de données de récupération MTEB
2. ensembles de données publics sur le commerce électronique
3. Ensembles de données privées constitués à partir de données de clients sélectionnés ayant consenti à nous donner accès à leurs données à des fins d'évaluation.

La liste des jeux de données utilisés pour cette étude est présentée ci-dessous :

Tableau 1 : Les benchmarks internes d’Algolia comprennent l’Open Retrieval Benchmark, un benchmark public basé sur des données de commerce électronique, et un benchmark privé, élaboré à partir de données de performance client. Ce dernier est développé en collaboration avec les clients afin d’évaluer la performance des modèles sur leurs distributions de données spécifiques.

Cette étude utilise uniquement le corpus associé aux documents pertinents de l'ensemble de test. Cette approche diffère de celle utilisée par le code source de MTEB pour le calcul des métriques. Elle est privilégiée pour une meilleure compatibilité avec les jeux de données de commerce électronique et réduit le risque d'omettre des paires pertinentes lors des évaluations. Toutes les évaluations sont menées sur des ensembles de test (représentant 20 % de l'ensemble des données) pour les jeux de données de commerce électronique publics et privés. Les jeux de données privés sont multilingues et des modèles en anglais et multilingues sont sélectionnés pour l'évaluation. De plus, les jeux de données privés ne contiennent que des paires pertinentes, à l'instar des jeux de données de recherche de MTEB. Pour les modèles linguistiques logiques (LLM) open source, les modèles les plus performants sur MTEB, comportant 500 millions de paramètres ou moins, sont sélectionnés. Les modèles propriétaires sélectionnés sont ceux d'OpenAI, de Google et de Cohere, utilisés au moment de l'analyse.

Les modèles linéaires latents (LLM) sont évalués sur différents jeux de données à l'aide de métriques standardisées telles que nDCG@10, F1@10 et MAP@10. Les métriques nDCG (gain cumulatif actualisé normalisé) et F1 servent à évaluer les performances de recherche des modèles LLM, tandis que MAP sert principalement à évaluer leurs performances de classement. Chaque métrique est expliquée en détail ci-dessous.

Le nDCG (gain cumulatif actualisé normalisé) est calculé en additionnant les gains de pertinence de chaque produit, pondérés par sa position. Le numérateur indique le score de pertinence du produit à la position i et le dénominateur le facteur de pondération qui réduit la contribution des produits moins bien classés. Pour évaluer l'efficacité du DCG, on le compare au DCG maximal possible, c'est-à-dire l'IDCG (gain cumulatif actualisé), qui serait atteint si les produits étaient classés par ordre de pertinence idéal. Cette normalisation facilite la comparaison entre différents ensembles de résultats.

F1 : Moyenne harmonique de la précision et du rappel, offrant une mesure unique qui équilibre les deux. Le rappel indique combien d’éléments positifs ont été correctement identifiés par le modèle, tandis que la précision indique combien d’éléments prédits comme positifs se sont avérés corrects. Le score F1 est élevé uniquement lorsque la précision et le rappel sont tous deux élevés, ce qui est particulièrement utile lorsque l’ensemble de données est déséquilibré.

La précision moyenne (MAP) correspond à la moyenne des scores de précision calculés après la récupération de chaque produit pertinent. Elle est appelée précision moyenne (MAP) lorsqu'elle est moyennée sur de nombreuses requêtes. La MAP indique si la majorité des produits pertinents apparaissent en haut des résultats. Alors que la précision moyenne (MRR) privilégie les produits les plus pertinents, la MAP met l'accent sur la majorité des produits pertinents classés en haut des résultats.

Algolia LLMs

Algolia conçoit des modèles d'intégration d'environ 500 millions de paramètres afin de garantir la latence souhaitée. Chaque LLM est optimisé architecturalement et quantifié pour une latence minimale (Tableau 2). L'équipe IA d'Algolia évalue en permanence les LLM les plus performants, en sélectionnant ceux qui offrent les meilleures performances et des licences permissives. L'adaptation de ces modèles au contexte du e-commerce garantit des performances supérieures, parfaitement adaptées aux besoins spécifiques du secteur. Cette méthodologie d'adaptation combine les meilleures pratiques issues de la recherche de pointe avec l'expertise de l'équipe IA. Grâce à des pipelines automatisés d'entraînement et d'évaluation de l'IA, le processus optimise les performances du modèle en explorant simultanément de nombreux hyperparamètres sur le même jeu de données d'entraînement, ce qui permet d'obtenir les meilleurs modèles possibles. Certaines des techniques inspirées des recherches les plus récentes sont présentées dans le tableau ci-dessous, sans entrer dans les détails :

Tableau 2 : Algolia utilise une approche d’entraînement en deux étapes : 1. ajustement fin à l’aide de la perte infoNCE ; 2. ajustement fin par négatif dur à l’aide d’ensembles de données synthétiques.

Les modèles linéaires à longue portée (LLM) d'Algolia (version de décembre 2024) et leurs spécifications sont présentés dans le tableau 3. Tous les LLM d'Algolia sont entraînés sur des jeux de données e-commerce accessibles au public ; aucun jeu de données clients d'Algolia n'est utilisé pour l'entraînement. L'étiquetage GenAI et l'extraction de négatifs difficiles sont combinés pour créer des jeux de données synthétiques permettant un ajustement plus fin. Les modèles Algolia v2410 sont disponibles en open source sous licence MIT et accessibles sur Hugging Face. Veuillez noter que la latence est calculée sur une machine locale équipée d'un processeur i9.

Tableau 3 : Les LLM d’Algolia sont des modèles d’intégration de pointe, affinés et optimisés pour la recherche en commerce électronique.

Analyse et résultats

Analyse comparative du commerce électronique (ensembles de données privés et publics d'Algolia)

Les trois modèles Algolia LLM se classent parmi les 20 premiers pour les jeux de données multilingues de commerce électronique incluant l'anglais (Figure 2). Algolia v2412 domine le classement avec ses performances NDCG@10. Algolia Multilingual v2410, disponible sur Hugging Face avec une licence permissive depuis décembre 2014, se classe 6e, devant Cohere Multilingual LLM. L'écart de performance entre nos modèles multilingues v2410 et v2412 est d'environ 3 % en NDCG@10.

Figure 2 : Performances d'Algolia LLM sur un banc d'essai de commerce électronique comprenant des ensembles de données de commerce électronique privés et publics d'Algolia

Analyse comparative du commerce électronique (ensembles de données privés d'Algolia)

Le benchmark e-commerce d'Algolia, basé exclusivement sur les jeux de données privés d'Algolia, est constitué à partir des données fournies par les clients d'Algolia ayant collaboré pour évaluer les performances du modèle pour leur distribution de données spécifique. Ces jeux de données privés incluent des paires requête/document, accompagnées d'un score de pertinence. Les langues dominantes du benchmark sont l'anglais, le français, l'allemand et l'espagnol. Les scores de pertinence sont calculés à partir de l'analyse des interactions passées des utilisateurs avec les produits correspondant aux requêtes associées. L'exclusion des jeux de données e-commerce publics n'a pas d'impact significatif sur le classement ; néanmoins, Algolia v2412 se hisse à la deuxième place, devançant le meilleur modèle d'intégration Google. Les trois modèles linguistiques d'Algolia (LLM) figurent toujours parmi les 20 premiers (Figure 3).

Figure 3 : Performances d'Algolia LLM sur un banc d'essai de commerce électronique incluant des jeux de données de commerce électronique privés d'Algolia

Analyse comparative du commerce électronique (ensembles de données multilingues privés d'Algolia)

Ce benchmark conserve tous les jeux de données non anglais ; le français, l’allemand et l’espagnol y sont donc les langues dominantes. Bien que d’autres langues non européennes soient présentes, elles restent minoritaires. La suppression des jeux de données e-commerce privés en anglais n’a pas d’impact significatif sur le classement, et le modèle Algolia English v2410 passe de la 12e à la 13e place, comme prévu (Figure 4). Par ailleurs, de nouveaux modèles font leur entrée dans le top 20, notamment Alibaba gte-large-en-1.5.

Figure 4 : Performances d’Algolia LLM sur un banc d’essai de commerce électronique incluant des jeux de données multilingues privés de commerce électronique d’Algolia

Analyse comparative du commerce électronique (ensembles de données privés en anglais d'Algolia)

Le benchmark e-commerce d'Algolia inclut des jeux de données e-commerce exclusivement en anglais. La majorité des données clients d'Algolia étant en anglais, il est essentiel de comparer les modèles linéaires mixtes (LMM) d'Algolia à d'autres solutions open source et commerciales. Les secteurs dominants de ce benchmark sont la mode et la technologie. Le modèle Algolia v2412 conserve sa place dans le classement (Figure 5), tandis que le modèle anglais v2410 grimpe à la 9e place et le modèle multilingue v2410 chute de la 9e à la 13e place. Le modèle Snowflake arctic-embed-m-v1.5 passe de la 24e à la 5e place. Les modèles bilingues de Lajavaness se classent respectivement 32e et 35e pour les modèles « large-8k ». Ces variations importantes dans le classement montrent la sensibilité de certains modèles d'intégration LMM à l'anglais. Il est donc essentiel d'évaluer la sensibilité des modèles à chaque langue afin de garantir leur adéquation aux distributions de données déployées.

Figure 5 : Performances d’Algolia LLM sur un banc d’essai de commerce électronique incluant des jeux de données privés de commerce électronique en anglais d’Algolia

Analyse comparative du commerce électronique (ensembles de données publics en anglais)

Le benchmark public de commerce électronique inclut des jeux de données tels que ESCI, WANDS, Home Depot, Crowdflower et Marqo. Tous ces jeux de données, dotés de scores de pertinence, sont en anglais et accessibles au public. De ce fait, il n'est pas surprenant que de nombreux modèles open source y soient entraînés. Dans le benchmark public de commerce électronique en anglais, le modèle Algolia v2412 se classe 3e, tandis que le modèle Algolia v2410 (anglais) est 6e et le modèle Algolia v2410 (multilingue) 10e (Figure 6). Les modèles Algolia affichent des performances constamment bonnes sur l'ensemble des benchmarks de commerce électronique. On remarque que les modèles Snowflakes dominent le classement, ce qui indique qu'ils sont fortement entraînés sur des jeux de données publics de commerce électronique. Les modèles OpenAI et Google ne figurent plus parmi les 20 premiers et se regroupent autour de la 30e place, ce qui montre que ces modèles commerciaux ne sont pas entraînés de manière intensive sur des jeux de données publics de commerce électronique. Les modèles multilingues et anglais de Cohere figurent parmi les 20 premiers du classement.

Figure 6 : Performances d’Algolia LLM sur un banc d’essai de commerce électronique incluant des jeux de données de commerce électronique publics en anglais

Analyse comparative MTEB (jeux de données en anglais)

MTEB inclut uniquement des jeux de données de recherche en anglais. Algolia conserve MTEB afin de s'assurer que ses modèles ne s'éloignent pas trop de leur compréhension linguistique fondamentale, étant donné que les modèles de langage (LLM) d'Algolia sont optimisés à partir de modèles d'intégration LLM open source de pointe. Par rapport au benchmark e-commerce privé, sept modèles sont absents de MTEB, notamment Algolia v2410 Multilingual, Google gecko@003 et JinaAI embedding-v3 (Figure 7). Bien que ces trois modèles soient très bien classés dans les jeux de données e-commerce privés, ils ne figurent pas parmi les 20 premiers du classement MTEB. Cela indique que MTEB, comme tout autre benchmark open source, ne suffit pas à déterminer quels modèles d'intégration LLM sont adaptés à un contexte spécifique. Il est essentiel de constituer un benchmark interne incluant des jeux de données avec des distributions de données de déploiement afin de garantir que le modèle privilégié est bien le plus approprié.

Figure 7 : Performances d'Algolia LLM sur le benchmark MTEB qui inclut des ensembles de données de recherche en anglais

Conclusions et travaux futurs

Il est essentiel d'évaluer les modèles linéaires à longue portée (LLM) dans le contexte d'un problème spécifique. L'écart de performance entre les modèles de Google, JinaAI et Algolia sur les benchmarks MTEB et Algolia e-commerce démontre l'importance de disposer de benchmarks internes avec des jeux de données pertinents à des fins d'évaluation. Chez Algolia, les nouveaux LLM sont généralement ajoutés à nos benchmarks sous 24 heures. Cela permet à notre équipe d'IA de sélectionner le modèle d'intégration LLM le plus performant et d'optimiser nos modèles de nouvelle génération à partir de modèles open source fondamentaux sous licence permissive, grâce à nos pipelines d'entraînement et d'évaluation entièrement automatisés. Les modèles Algolia v2410 sont à la pointe de la technologie pour leur taille et leurs cas d'utilisation, et sont désormais disponibles sous licence MIT. N'hésitez pas à les utiliser et à nous faire part de vos commentaires à l'adresse ai-research@algolia.com.