Neubewertung von LLM-Encodern für die semantische Suche

Die rasanten Fortschritte bei den Encodern großer Sprachmodelle (LLM) haben die semantische Suche in verschiedenen Bereichen erheblich verbessert, insbesondere in Szenarien, in denen herkömmliche Einbettungen auf Token-Ebene unzureichend sind. Text-Embeddings sind unerlässlich, damit Maschinen menschliche Sprache darstellen können, und befähigen sie so zu Aufgaben wie der semantischen Suche. Durch die Umwandlung menschlicher Sprache in Vektoren ermöglichen Embeddings es LLMs, nuancierte sprachliche Merkmale und Beziehungen zwischen Textelementen zu erfassen, beispielsweise kontextbezogene Bedeutungen, indem sie über die auf Token-Überlappungen basierende Natur der Stichwortsuche hinausgehen. Wörter sind von Natur aus hochdimensional und spärlich verteilt; ihre Einbettung in dichtere Vektoren mit geringerer Dimension ermöglicht es LLMs, Informationen wesentlich schneller zu verarbeiten. Bei Algolia ermöglichen feinabgestimmte LLMs (Masked Large Language Models) ein durchgängiges Sucherlebnis (Abbildung 1). Benchmarks wie der „Massive Text Embedding Benchmark“ (MTEB) haben maßgeblich dazu beigetragen, diese Modelle bei Aufgaben wie dem Abruf, dem Clustering und dem Ranking anhand öffentlicher Datensätze zu bewerten. Eine entscheidende Frage bleibt jedoch offen: Lassen sich hohe Leistungen bei diesen Benchmarks effektiv auf spezialisierte Bereiche wie die semantische Suche im Einzelhandel übertragen?

Abbildung 1: NeuralSearch (NS) bei Algolia ist eine durch LLMs unterstützte End-to-End-Suchfunktion

In dieser Studie untersuchen wir die Übertragbarkeit der Benchmark-Leistung von MTEB und öffentlich zugänglichen E-Commerce-Datensätzen auf reale Suchanwendungen im Einzelhandel. Unsere Ergebnisse deuten darauf hin, dass Modelle, die bei MTEB hervorragende Leistungen erzielen, ihre Überlegenheit nicht unbedingt beibehalten, wenn sie auf einhandelsspezifische Datensätze angewendet werden. Um dies zu untersuchen, haben wir einen privaten Einzelhandelsdatensatz zusammengestellt, der das Relevanzbewertungssystem öffentlich zugänglicher E-Commerce-Datensätze widerspiegelt. Wir haben die bestehende MTEB-Codebasis in unseren Auswertungspipelines genutzt, um die Konsistenz unserer Bewertungsmethodik sicherzustellen.

Bei der Auswertung einer Reihe von Open-Source- und kommerziellen LLM-Encodern anhand unseres Datensatzes stellten wir Abweichungen in der Modellrangliste im Vergleich zu den Ergebnissen auf MTEB fest. Modelle, die auf MTEB außergewöhnlich gut abschnitten, lieferten in unserem Einzelhandelskontext nicht immer die besten Ergebnisse. Diese Erkenntnisse verdeutlichen die Grenzen einer ausschließlichen Orientierung an allgemeinen Benchmarks bei der Modellauswahl in spezialisierten Fachgebieten.

Unser Artikel unterstreicht die Notwendigkeit domänenspezifischer Bewertungen und Benchmarks. Ohne diese laufen Unternehmen Gefahr, Modelle einzusetzen, die für ihre spezifischen Anforderungen ungeeignet sind, was die Effektivität ihrer semantischen Suchsysteme beeinträchtigen könnte. Wir plädieren für die Entwicklung spezialisierterer Benchmarks und die Einbeziehung domänenspezifischer Datensätze in die Modellbewertungsprozesse, um eine optimale Leistung in realen Anwendungen sicherzustellen.

Einschränkungen bestehender Benchmarks

Die Bewertung von Text-Embeddings spielt eine entscheidende Rolle für das Verständnis ihrer Wirksamkeit bei verschiedenen Aufgaben der Verarbeitung natürlicher Sprache, darunter die Suche, das Clustering und die Klassifizierung. Offene Benchmarks wie MTEB, BEIR, STS-B und TREC/MS MARCO bieten standardisierte Rahmenbedingungen zur Beurteilung der Qualität von Embeddings in unterschiedlichen Szenarien. BEIR (Benchmarking Information Retrieval) bietet eine umfassende Reihe von Suchaufgaben, die mehrere Fachgebiete abdecken. STS-B (Semantic Textual Similarity Benchmark) konzentriert sich auf Ähnlichkeitswerte auf Satzebene und misst die Fähigkeit von Einbettungen, semantische Äquivalenz zu erfassen. TREC/MS MARCO-Benchmarks werden häufig für das groß angelegte Ranking und die Suche von Textpassagen verwendet und legen den Schwerpunkt auf praxisnahe Informationsabrufsysteme. Unter diesen sticht MTEB als vielseitigste und umfassendste Wahl für Suchzwecke hervor. Es bewertet Einbettungen über ein breites Spektrum an Sprachen, Fachgebieten und Aufgaben hinweg und eignet sich damit in einzigartiger Weise für Suchszenarien, die eine robuste Leistung in vielfältigen und mehrsprachigen Umgebungen erfordern. Mit seiner umfassenden Abdeckung und detaillierten Aufgabenbewertung stellt MTEB sicher, dass Einbettungen auf Generalisierbarkeit und Wirksamkeit getestet werden, was es zum idealen Benchmark für Suchanwendungen macht.

MTEB wurde eingeführt, da viele bestehende Benchmarks nur eine kleine Auswahl von Datensätzen aus einem einzigen Anwendungsbereich nutzen, wodurch deren mögliche Anwendungsbereiche nicht abgedeckt werden, und ständig verschiedene Modelle vorgeschlagen werden, ohne dass diese einer angemessenen Bewertung unterzogen werden. Obwohl es sowohl Open-Source- als auch Closed-Source-LLM-Modelle gibt – was MTEB zum umfassendsten Benchmark für LLM-Embedding-Modelle macht –, basieren viele Bewertungen auf oft veralteten Modellen, wobei der Schwerpunkt auf Modellen und Datensätzen aus einer Zeit liegt, als das Forschungsgebiet noch weniger ausgereift war. Darüber hinaus hat die rasante Weiterentwicklung von LLM-Encodern im Bereich der semantischen Suche MTEB zum wichtigsten Standard für Entwickler gemacht, um die leistungsstärksten Modelle auszuwählen. Allerdings können generische LLM-Encoder, die anhand öffentlicher Datensätze bewertet wurden, die Feinheiten spezialisierter Fachgebiete möglicherweise nicht erfassen. Die semantische Suche im Einzelhandel birgt besondere Herausforderungen, darunter vielfältige Produktbeschreibungen, unterschiedliche Suchverhalten der Kunden und branchenspezifische Terminologie. Daher schneidet MTEB im Einzelhandelskontext nicht unbedingt hervorragend ab, was eine erhebliche Lücke zwischen den Benchmark-Leistungen und der praktischen Anwendbarkeit von LLM-Modellen verdeutlicht.

Methodik

Benchmark-Datensätze und -Kennzahlen

In diesem Artikel haben wir drei verschiedene Datensätze verwendet:

1. MTEB-Datensätze zur Datenrückgewinnung
2. Öffentlich zugängliche E-Commerce-Datensätze
3. Private Datensätze, die von ausgewählten Kunden zusammengestellt wurden, die uns ihre Einwilligung erteilt haben, zum Zweck der Auswertung auf ihre Daten zugreifen zu dürfen.

Die Liste der für diese Studie verwendeten Datensätze ist im Folgenden aufgeführt:

Tabelle 1: Zu den internen Benchmarks von Algolia gehören der „Open Retrieval Benchmark“, ein öffentlicher E-Commerce-Datensatz-Benchmark sowie ein privater E-Commerce-Benchmark, der auf der Grundlage von Leistungsdaten der Kunden zusammengestellt wurde. Dabei ist zu beachten, dass der private Benchmark in Zusammenarbeit mit Kunden entwickelt wurde, um die Leistung der Modelle anhand ihrer spezifischen Datenverteilungen zu bewerten.

Diese Studie verwendet ausschließlich den Korpus, der mit den relevanten Dokumenten der betreffenden Aufteilung – der sogenannten „Test-Aufteilung“ – verbunden ist. Dies unterscheidet sich von der Art und Weise, wie die MTEB-Codebasis die Metriken berechnet. Dieser Ansatz wird bevorzugt, um eine bessere Kompatibilität mit E-Commerce-Datensätzen zu gewährleisten. Außerdem verringert er die Wahrscheinlichkeit, dass relevante Paarübereinstimmungen bei den Auswertungen ignoriert werden. Alle Auswertungen werden anhand von Test-Aufteilungen (die 20 % aller Datensätze ausmachen) für öffentliche und private E-Commerce-Datensätze durchgeführt. Private Datensätze sind mehrsprachig, und zur Bewertung werden sowohl englische als auch mehrsprachige Modelle ausgewählt. Zudem enthalten private Datensätze ausschließlich relevante Paare, ähnlich wie bei den MTEB-Retrieval-Datensätzen. Bei Open-Source-LLMs werden die Modelle mit der besten Leistung auf MTEB ausgewählt, die 500 Millionen oder weniger Parameter aufweisen. Bei den ausgewählten Closed-Source-Modellen handelt es sich um Modelle von OpenAI, Google und Cohere, auf die zum Zeitpunkt der Analyse Zugriff bestand.

LLMs werden anhand verschiedener Datensätze unter Verwendung standardisierter Metriken wie nDCG@10, F1@10 und MAP@10 bewertet. Metriken wie nDCG (normalized Discounted Cumulative Gain) und F1 dienen der Bewertung der Retrieval-Leistung von LLM-Modellen, während MAP in erster Linie zur Bewertung ihrer Ranking-Leistung herangezogen wird. Im Folgenden wird jede Metrik ausführlich erläutert.

nDCG ist der normalisierte DCG (Discounted Cumulative Gain) und wird berechnet, indem die Relevanzgewinne jedes Produkts summiert und um die Position, an der es erscheint, diskontiert werden. Der Zähler gibt den Relevanzwert des Produkts an Position i an, und der Nenner gibt den Abzinsungsfaktor an, der den Beitrag von Produkten reduziert, die in niedrigeren Rängen erscheinen. Um die Effektivität des DCG zu bewerten, wird es mit dem höchstmöglichen DCG verglichen, der erreicht werden könnte, wenn die Produkte in der perfekten Reihenfolge ihrer Relevanz angeordnet wären, d. h. mit dem IDCG. Diese Normalisierung erleichtert den Vergleich zwischen verschiedenen Ergebnismengen.

F1: Der harmonische Mittelwert aus Präzision und Recall, der eine einzige Kennzahl liefert, die beide Aspekte in Einklang bringt. Der Recall gibt an, wie viele der tatsächlich positiven Fälle das Modell korrekt identifiziert hat, während die Präzision angibt, wie viele der als positiv vorhergesagten Fälle tatsächlich korrekt waren. Der F1-Wert ist nur dann hoch, wenn sowohl die Präzision als auch der Recall hoch sind, was insbesondere bei unausgewogenen Datensätzen von Nutzen ist.

MAP: Die durchschnittliche Präzision (Average Precision) ist der Durchschnitt der Präzisionswerte, die nach dem Abruf jedes relevanten Produkts berechnet werden. Wenn dieser Durchschnitt über viele Suchanfragen gebildet wird, spricht man von der mittleren durchschnittlichen Präzision (Mean Average Precision, MAP). Der MAP-Wert gibt an, ob die Mehrheit der relevanten Produkte an den obersten Positionen angezeigt wird. Während der MRR-Wert darauf abzielt, dass die relevantesten Produkte ganz oben stehen, konzentriert sich der MAP-Wert darauf, dass die Mehrheit der relevanten Produkte an den obersten Positionen rangiert.

Algolia-LLMs

Algolia entwickelt Embedding-Modelle mit etwa 500 Millionen Parametern, um die gewünschte Latenz zu gewährleisten. Jedes LLM wird architektonisch optimiert und quantisiert, um eine geringere Latenz zu gewährleisten (Tabelle 2). Das Algolia-KI-Team bewertet kontinuierlich die modernsten LLMs und wählt diejenigen mit der besten Leistung und freizügigen Lizenzen aus. Die Feinabstimmung dieser Modelle für E-Commerce-Kontexte gewährleistet eine überragende Leistung, die auf branchenspezifische Anforderungen zugeschnitten ist. Die Methodik der Feinabstimmung kombiniert die Best Practices aus der Spitzenforschung mit dem Fachwissen des KI-Teams. Durch den Einsatz automatisierter KI-Trainings- und Bewertungs-Pipelines optimiert der Prozess die Modellleistung, indem er gleichzeitig zahlreiche Hyperparameter auf demselben Trainingsdatensatz untersucht, was zu den bestmöglichen Modellen führt. Einige der von der neuesten Forschung inspirierten Techniken sind – ohne auf genaue Details einzugehen – in der folgenden Tabelle zusammengefasst:

Tabelle 2: Algolia nutzt einen zweistufigen Trainingsansatz: 1. Feinabstimmung unter Verwendung des infoNCE-Verlusts 2. Feinabstimmung mit „Hard-Negatives“ unter Verwendung synthetischer Datensätze

Die von Algolia integrierten LLMs (Stand: Dezember 2024) sowie deren Spezifikationen sind in Tabelle 3 aufgeführt. Alle Algolia-LLMs werden auf öffentlich zugänglichen E-Commerce-Datensätzen trainiert; es werden keine Kundendatensätze von Algolia für Trainingszwecke verwendet. Durch die Kombination von GenAI-Labeling und Hard-Negative-Mining werden synthetische Datensätze für die weitere Feinabstimmung erstellt. Die Algolia-v2410-Modelle sind unter der MIT-Lizenz als Open Source verfügbar und können über Hugging Face abgerufen werden. Beachten Sie, dass die Latenz auf einem lokalen Rechner mit einer i9-CPU berechnet wird.

Tabelle 3: Algolia-LLMs sind hochmoderne Einbettungsmodelle, die speziell für die E-Commerce-Suche feinabgestimmt und optimiert wurden

Analyse und Ergebnisse

E-Commerce-Benchmark (private und öffentliche Datensätze von Algolia)

Alle drei Algolia-LLMs rangierten bei mehrsprachigen E-Commerce-Datensätzen, darunter auch Englisch, unter den Top 20 (Abbildung 2). Algolia v2412 führt die Rangliste mit seiner NDCG@10-Leistung an. Algolia Multilingual v2410, das seit Dezember 2014 auf Hugging Face unter einer freizügigen Lizenz verfügbar ist, belegt den 6. Platz und liegt damit vor dem mehrsprachigen LLM von Cohere. Der Leistungsunterschied zwischen unseren mehrsprachigen Modellen v2410 und v2412 beträgt bei NDCG@10 etwa 3 %.

Abbildung 2: Leistung des Algolia-LLM bei einem E-Commerce-Benchmark, der private und öffentliche E-Commerce-Datensätze von Algolia umfasst

E-Commerce-Benchmark (interne Datensätze von Algolia)

Der Algolia-E-Commerce-Benchmark, der ausschließlich auf privaten Algolia-Datensätzen basiert, wurde aus den Beiträgen von Algolia-Kunden zusammengestellt, die gemeinsam die Modellleistung für ihre spezifische Datenverteilung bewertet haben. Die privaten E-Commerce-Datensätze von Algolia umfassen Suchanfragen und Dokumentatexte als Paare sowie einen zugehörigen Relevanzwert; die vorherrschenden Sprachen im Benchmark sind Englisch, Französisch, Deutsch und Spanisch. Die Relevanzwerte werden aus Analysen abgeleitet, die auf früheren Nutzerinteraktionen mit den Produkten für die zugehörigen Suchanfragen basieren. Das Weglassen öffentlicher E-Commerce-Datensätze hat keinen wesentlichen Einfluss auf die Rangliste, dennoch rückt Algolia v2412 auf den zweiten Platz vor und liegt damit vor dem besten Google-Embedding-Modell in der Rangliste. Alle drei Algolia-LLMs sind weiterhin unter den Top 20 platziert (Abbildung 3).

Abbildung 3: Leistung des Algolia-LLM bei einem E-Commerce-Benchmark, der interne E-Commerce-Datensätze von Algolia umfasst

E-Commerce-Benchmark (interne mehrsprachige Datensätze von Algolia)

Dieser Benchmark berücksichtigt ausschließlich nicht-englische Datensätze, sodass Französisch, Deutsch und Spanisch die dominierenden Sprachen in diesem Benchmark sind. Es sei darauf hingewiesen, dass zwar auch einige andere außereuropäische Sprachen vertreten sind, diese in diesem Benchmark jedoch zahlenmäßig in der Minderheit sind. Das Entfernen privater englischer E-Commerce-Datensätze hat keine nennenswerten Auswirkungen auf die Rangliste, und das Modell „Algolia English v2410“ fällt erwartungsgemäß vom 12. auf den 13. Platz in der Rangliste zurück (Abbildung 4). Außerdem gibt es einige neue Modelle, die in die Top 20 aufsteigen, nämlich Alibaba gte-large-en-1.5.

Abbildung 4: Leistung des Algolia-LLM bei einem E-Commerce-Benchmark, der mehrsprachige, private E-Commerce-Datensätze von Algolia umfasst

E-Commerce-Benchmark (interne englischsprachige Datensätze von Algolia)

Der Algolia-E-Commerce-Benchmark umfasst ausschließlich E-Commerce-Datensätze in englischer Sprache. Da die Mehrheit der Kundendatensätze von Algolia auf Englisch vorliegt, ist es unerlässlich, die LMMs von Algolia mit anderen Open-Source- und kommerziell erhältlichen Modellen zu vergleichen. Die dominierenden Branchen in diesem Benchmark sind Mode und Technologie. Das Algolia-Modell v2412 behält seinen Platz in der Rangliste (Abbildung 5), während das englische Modell v2410 auf den 9. Platz klettert und das mehrsprachige Modell v2410 vom 9. auf den 13. Platz zurückfällt. Das Snowflake-Modell „arctic-embed-m-v1.5“ springt vom 24. auf den 5. Platz. Die zweisprachigen Modelle von Lajavaness belegen bei den „large“-Modellen den 32. Platz und bei den „large-8k“-Modellen den 35. Platz. Solche drastischen Veränderungen in der Rangliste zeigen, wie empfindlich manche LLM-Embedding-Modelle gegenüber der englischen Sprache reagieren. Es ist unerlässlich, die Empfindlichkeit von Modellen gegenüber einer bestimmten Sprache zu bewerten, um sicherzustellen, dass sie den Erwartungen hinsichtlich der Datenverteilungen im Einsatz entsprechen.

Abbildung 5: Leistung des Algolia-LLM bei einem E-Commerce-Benchmark, der private englischsprachige E-Commerce-Datensätze von Algolia umfasst

E-Commerce-Benchmark (öffentlich zugängliche englischsprachige Datensätze)

Der öffentliche E-Commerce-Benchmark umfasst Datensätze wie ESCI, WANDS, Home Depot, Crowdflower und Marqo. Alle diese Datensätze mit Relevanzbewertungen sind in englischer Sprache verfasst und öffentlich zugänglich. Angesichts ihrer Verfügbarkeit ist es nicht verwunderlich, dass viele Open-Source-Modelle darauf trainiert werden. Im öffentlichen englischen E-Commerce-Benchmark belegt das Modell „Algolia v2412“ den 3. Platz, während das englische Modell „Algolia v2410“ auf Platz 6 und das mehrsprachige Modell „Algolia v2410“ auf Platz 10 liegt (Abbildung 6). Die Algolia-Modelle schneiden in allen E-Commerce-Benchmarks durchweg gut ab. Auffällig ist, dass sich die Modelle von Snowflake an der Spitze der Rangliste befinden, was darauf hindeutet, dass sie intensiv auf öffentlichen E-Commerce-Datensätzen trainiert wurden. Die Modelle von OpenAI und Google sind nicht mehr unter den Top 20 zu finden, sondern gruppieren sich um den 30. Platz, was zeigt, dass diese kommerziellen Modelle nicht in großem Umfang auf öffentlichen E-Commerce-Datensätzen trainiert wurden. Die mehrsprachigen und englischen Modelle von Cohere befinden sich unter den Top 20 der Rangliste.

Abbildung 6: Leistung des Algolia-LLM bei einem E-Commerce-Benchmark, der öffentlich zugängliche englischsprachige E-Commerce-Datensätze umfasst

MTEB-Benchmark (englische Datensätze)

MTEB umfasst ausschließlich englische Datensätze zur Informationsgewinnung. Algolia behält MTEB bei, um sicherzustellen, dass die Algolia-Modelle nicht zu stark von ihrem grundlegenden Sprachverständnis abweichen, da die LLMs von Algolia auf der Grundlage modernster Open-Source-LLM-Embedding-Modelle feinabgestimmt werden. Im Vergleich zum „Private E-Commerce“-Benchmark sind im MTEB sieben Modelle nicht vertreten; die bemerkenswertesten davon sind „Algolia v2410 Multilingual“, „Google gecko@003“ und „JinaAI embedding-v3“ (Abbildung 7). Obwohl diese drei Modelle in privaten E-Commerce-Datensätzen hoch rangieren, gehören sie nicht zu den Top 20 der MTEB-Rangliste. Dies ist ein Hinweis darauf, dass MTEB und andere Open-Source-Benchmarks nicht ausreichen, um zu bestimmen, welche LLM-Embedding-Modelle für einen bestimmten Kontext verwendet werden können. Es ist unerlässlich, einen internen Benchmark aufzubauen, der Datensätze mit Verteilungsdaten aus der Praxis umfasst, um sicherzustellen, dass das bevorzugte Modell tatsächlich das richtige ist.

Abbildung 7: Leistung des Algolia-LLM im MTEB-Benchmark, der englischsprachige Suchdatensätze umfasst

Schlussfolgerungen und weitere Forschungsvorhaben

Es ist unerlässlich, LLMs im Kontext eines konkreten Problems zu bewerten. Die Leistungsunterschiede der Modelle von Google, JinaAI und Algolia bei den MTEB- und Algolia-E-Commerce-Benchmarks zeigen, wie wichtig es ist, sicherzustellen, dass interne Benchmarks mit relevanten Datensätzen für Bewertungszwecke zur Verfügung stehen. Bei Algolia werden neue LLMs in der Regel innerhalb von 24 Stunden in unsere Benchmarks aufgenommen. Dies ermöglicht es unserem KI-Team, das modernste LLM-Embedding-Modell auszuwählen und unsere Modelle der nächsten Generation auf der Grundlage grundlegender Open-Source-Modelle mit freier Lizenz mithilfe unserer vollautomatisierten Trainings- und Bewertungs-Pipelines zu optimieren. Die Algolia-v2410-Modelle sind hinsichtlich ihrer Größe und ihrer Anwendungsfälle auf dem neuesten Stand der Technik und stehen nun unter einer MIT-Lizenz zur Verfügung. Bitte nutzen Sie sie und geben Sie uns Feedback unter ai-research@algolia.com.