Ich durchsuche Ihre Inhalte, um Ihnen zu helfen, schnell Antworten auf Ihre Fragen zu finden.
So optimieren Sie einen KI-Algorithmus
Bei der KI-gestützten Suche sollten die besten Ergebnisse – also die relevantesten – immer ganz oben stehen. Aber woher weiß die Suchmaschine, ob ein Ergebnis relevant ist? Wie werden die Ergebnisse sortiert? Und wie können wir die Relevanz verbessern?
Um ein beliebiges Modell des maschinellen Lernens zu trainieren, sind bestimmte wesentliche Komponenten erforderlich, wie beispielsweise Daten, Modellarchitektur, Optimierer, Gradienten und Zielfunktion.
Modelle des maschinellen Lernens lernen aus Daten, daher benötigen wir einen Datensatz, mit dem wir Ihr Modell trainieren können. Die Qualität und Quantität der Daten sind entscheidende Faktoren, die sich auf die Leistung des Modells auswirken können. Wir müssen eine geeignete Modellarchitektur auswählen, die für das Problem, das wir lösen möchten, geeignet ist.
Es gibt verschiedene Arten von Modellen, darunter neuronale Netze, Entscheidungsbäume und Support-Vektor-Maschinen. Während des Trainings werden die Parameter des Modells mithilfe eines Optimierers aktualisiert, der die Richtung und das Ausmaß der Änderungen an den Modellparametern bestimmt. Mit anderen Worten: Der Optimierer dient dazu, das Modell zu verbessern. Zu den gängigen Optimierern zählen unter anderem der stochastische Gradientenabstieg (SGD), Adam und Adagrad. Die Zielfunktion dient dazu, die Leistung des Modells während des Trainings zu bewerten. Diese Funktion repräsentiert das Ziel, das das Modell zu erreichen versucht, und ihre Optimierung treibt den Lernprozess voran. Zu den gängigen Zielfunktionen gehören der mittlere quadratische Fehler (MSE), die Kreuzentropie und der Hinge-Verlust. Die Gradienten der Modellparameter werden mithilfe einer Backpropagation-Technik berechnet, bei der die Ableitung der Zielfunktion nach den Modellparametern ermittelt wird.
In den letzten Jahren hat der Bereich der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) mit dem Aufkommen vortrainierter großer Sprachmodelle (Large Language Models, LLM) wie beispielsweise Transformers erhebliche Fortschritte gemacht. Diese Modelle wurden anhand umfangreicher Datensätze trainiert und sind in der Lage, komplexe semantische Beziehungen in natürlicher Sprache zu erfassen. Vortrainierte Modelle können für bestimmte Aufgaben und Fachgebiete feinabgestimmt werden, was zu einer verbesserten Leistung bei diesen Aufgaben führen kann. Eine solche Aufgabe ist die Suchabfrage, bei der das Ziel darin besteht, relevante Suchergebnisse für eine bestimmte Suchanfrage abzurufen und zu ordnen. Die Feinabstimmung vortrainierter LLM-Modelle (Sentence Transformers) anhand domänenspezifischer Daten hat sich als vielversprechend erwiesen, um die Relevanz und die Rangfolge der Suchergebnisse zu verbessern. Dieser Ansatz kann die Fähigkeit des Modells verbessern, domänenspezifische Semantik und Kontextinformationen zu erfassen, was zu einer effektiveren und genaueren Suchmaschine führt.
In diesem Artikel werden die allgemeinen Schritte zur Feinabstimmung vortrainierter LLM-Modelle für die Suchabfrage vorgestellt und die Ergebnisse dieses Ansatzes anhand des öffentlich zugänglichen Datensatzes, nämlich des ESCI -Datensatzes (Amazon), präsentiert.
Die Qualität und Quantität der Daten können einen erheblichen Einfluss auf die Genauigkeit und Leistungsfähigkeit von Modellen des maschinellen Lernens haben. Tatsächlich wird die Qualität der Daten oft als einer der wichtigsten Faktoren für den Erfolg eines Projekts im Bereich des maschinellen Lernens angesehen. Die Datenaufbereitung und das Feature Engineering sind entscheidende Schritte im Prozess des maschinellen Lernens:
Die Datenaufbereitung umfasst das Sammeln, Bereinigen und Vorverarbeiten der Daten, um sie für die Analyse geeignet zu machen. Dazu kann das Entfernen fehlender Werte, das Korrigieren von Fehlern und die Umwandlung der Daten in ein Format gehören, das mit dem gewählten Modell für maschinelles Lernen kompatibel ist.
Feature Engineering ist der Prozess der Auswahl und Transformation der Variablen (Merkmale) im Datensatz, um eine Reihe von Eingabemerkmalen zu erstellen, die für das maschinelle Lernmodell relevant und aussagekräftig sind. Dies erfordert Fachwissen, Kreativität und Intuition, um die wichtigsten Merkmale zu identifizieren, die es dem Modell ermöglichen, die Zielvariable genau vorherzusagen. Die Datenaufbereitung und das Feature Engineering können zeitaufwändige und anspruchsvolle Aufgaben sein, sind jedoch für die Erstellung präziser und effektiver Modelle des maschinellen Lernens unerlässlich. Ohne qualitativ hochwertige Daten und sorgfältig aufbereitete Merkmale erzielen Modelle des maschinellen Lernens möglicherweise keine guten Ergebnisse, und die aus den Daten gewonnenen Erkenntnisse können ungenau oder irreführend sein.
Um große Sprachmodelle (LLMs) wie BERT hinsichtlich domänenspezifischer semantischer und kontextueller Informationen für eine bessere Suchergebnisausgabe zu optimieren, sollten die für das Training verwendeten Daten idealerweise Relevanz, Vielfalt, Qualität, Quantität und gegebenenfalls Beschriftungen aufweisen. Die Daten sollten für die betreffende Domäne relevant sein und Beispiele sowie Textpassagen enthalten, die für die in dieser Domäne verwendete Sprache und die dort verwendeten Konzepte repräsentativ sind.
Wenn Sie beispielsweise ein Modell für den E-Commerce-Bereich trainieren, sollten Sie Texte aus diesem Bereich verwenden. Die Daten sollten ein breites Spektrum an Kontexten und Perspektiven innerhalb dieses Bereichs abdecken, um sicherzustellen, dass das Modell gut auf neue, bisher unbekannte Beispiele verallgemeinern kann. Das bedeutet, dass Texte mit unterschiedlichen Stilen und Arten einbezogen werden sollten. Je mehr Daten, desto besser – solange die Qualität gewährleistet bleibt.
Große Datenmengen können dazu beitragen, ein breiteres Spektrum an Sprachmustern und Kontextinformationen zu erfassen, was die Leistung des Modells verbessern kann. Die für das Training verwendeten Daten sollten von hoher Qualität sein und genaue sowie zuverlässige Informationen enthalten. Daten, die Fehler, Inkonsistenzen oder Verzerrungen enthalten, können die Leistung des Modells negativ beeinflussen. Wenn möglich, sollten die Daten mit relevanten Labels oder Metadaten versehen werden, damit das Modell effektiver lernen kann.
Es ist zu beachten, dass die Techniken zum Trainieren von Modellen des maschinellen Lernens nicht beispiellösungseffizient sind, unabhängig davon, ob es sich um überwachtes Lernen oder um bestärkendes Lernen handelt. Daher ist es unerlässlich, über einen qualitativ und quantitativ hochwertigen Datensatz zu verfügen, dessen Zielfunktion als Ersatz für die Leistungskennzahl dient, die mit dem jeweiligen Geschäftsproblem verbunden ist. Insgesamt sollten die Daten, die zum Feinabstimmen von Sprachmodellen verwendet werden, sorgfältig ausgewählt und aufbereitet werden, um sicherzustellen, dass sie die domänenspezifische Semantik und die Kontextinformationen erfassen, die für eine effektive Suchabfrage erforderlich sind.
Die Daten, die zur Feinabstimmung von LLMs benötigt werden, um domänenspezifische Semantik und Kontextinformationen für die Suchabfrage besser zu erfassen, sollten die Suchanfrage (Zeichenkette), den Relevanzwert (Float), den Titel (Zeichenkette), die Beschreibung (Zeichenkette) sowie alle weiteren mit dem Produkt verbundenen Merkmale enthalten. Ein Beispiel-Datensatz ist auf der nächsten Seite aufgeführt. Informationen für eine bessere Suchergebnisausgabe müssen die Suchanfrage (Zeichenkette), den Relevanzwert (Float), den Titel (Zeichenkette), die Beschreibung (Zeichenkette) sowie alle weiteren mit dem Produkt verbundenen Merkmale enthalten. Ein Beispiel-Datensatz ist unten aufgeführt.
| Abfrage | Titel | Beschreibung | Relevanz |
|---|---|---|---|
| 10 x 20 EZ-Up | Aufbau des American Phoenix Canopy Pop-up-Zeltes | Das ist ein Friseurstuhl, ein Friseurstuhl zum Haare schneiden. | Genau |
| 10 x 20 EZ-Up | ABCCANOPY Ez Up-Zelt mit Markise | Verleihen Sie jedem Raum mit diesem M… einen wunderschönen Akzent. | Ersatzspieler |
Hinweis: Dieser Datensatz enthält Relevanzbezeichnungen wie „exakt“, „Ersatz“, „Ergänzung“ und „irrelevant“. Ein Relevanzwert von 0 steht für „irrelevant“, 0,01 für „Ergänzung“, 0,1 für „Ersatz“ und 1,0 für „exakt“.
Die LLMs werden mit dem „Contrastive Loss“ feinabgestimmt, einer Verlustfunktion, die im maschinellen Lernen zum Trainieren von Modellen für Aufgaben wie Textähnlichkeit oder Einbettung verwendet wird. Das Ziel dieser Verlustfunktion besteht darin, eine Darstellung der Eingabedaten so zu erlernen, dass ähnliche Eingaben im Einbettungsraum näher beieinander liegen, während sich unähnliche Eingaben weiter voneinander entfernt befinden. Diese Verlustfunktion ist besonders nützlich beim Umgang mit Datensätzen, in denen positive und negative Beispiele vorhanden sind, und deren Ziel es ist, einen Merkmalsraum zu erlernen, der zwischen ihnen unterscheiden kann. Die Paare aus Suchanfrage und Titel sowie Suchanfrage und Beschreibung bilden positive Beispiele, und es wird ein Score (Relevanz-Score auf einer Skala von 0,0 bis 1,0) bereitgestellt, um das Lernen so zu steuern, dass die richtige Rangfolge gewährleistet ist.
Der Kontrastverlust lässt sich mathematisch wie folgt ausdrücken:
L = (1 - y) * d² + y * max(0, m - d)²
Dabei ist L die Verlustfunktion, y die Klassifizierung, die angibt, ob die Eingaben ähnlich (y = 1,0) oder unähnlich (y = 0,0) sind, d der Abstand zwischen den Darstellungen der Eingaben im Einbettungsraum und m ein Margin-Parameter (0,5), der den Mindestabstand festlegt, der zwischen den Darstellungen negativer Beispiele eingehalten werden soll. Die Verlustfunktion bestraft das Modell, wenn der Abstand zwischen positiven Beispielen groß ist. Der kontrastive Verlust ist eine effektive Verlustfunktion für das Training von Modellen für Ähnlichkeits- und Einbettungsaufgaben. Er regt das Modell dazu an, einen Merkmalsraum zu erlernen, in dem ähnliche Eingaben näher beieinander und ungleiche Eingaben weiter voneinander entfernt abgebildet werden.
Das Modell „paraphrase-multilingual-MiniLM-L12-v2“ wurde anhand der öffentlich zugänglichen Datensätze mit 5-facher Kreuzvalidierung feinabgestimmt. Die angegebenen Ergebnisse stellen die durchschnittliche Leistung über alle Folds hinweg dar. Jeder Fold wurde über 10 Epochen trainiert. Nachfolgend sind einige zusätzliche Hyperparameter aufgeführt, die für die Feinabstimmung verwendet wurden:
| Hyperparameter | Werte | Kommentar |
|---|---|---|
| Relevanzskalierung | 0.0-1.0 | Als Relevanzwerte kommen menschliche Bewertungen, Beta-Werte oder einfach die Rangfolge in Frage. Für Bewertungen im Bereich von 0,0 bis 1,0 wird eine logarithmische Skalierung angewendet. |
| Lernrate | 2e-5 | Die Lernrate ist die Rate, mit der wir die Parameter der Modelle des maschinellen Lernens aktualisieren. |
| Optimierer | AdamW | Der Adam-Optimierer mit Gewichtsabnahme verbessert die Stabilität des Lernprozesses. Der Wert für die Gewichtsabnahme beträgt 0,01. |
| Verlustfunktion | Kontrastiver Verlust | Bei der kontrastiven Verlustfunktion geht es darum, eine Darstellung der Eingabedaten so zu erlernen, dass ähnliche Eingaben im Einbettungsraum näher beieinander liegen, während sich unähnliche Eingaben weiter voneinander entfernt befinden. Im Rahmen der kontrastiven Verlustfunktion wird die Kosinusähnlichkeit verwendet. |
Die Ergebnisse werden im Folgenden im Vergleich zum vortrainierten Modell „paraphrase-multilingual-MiniLM-L12-v2“ dargestellt. Das feinabgestimmte Modell schneidet bei vier verschiedenen branchenüblichen Metriken, anhand derer sich Leistungsverbesserungen bewerten lassen, besser ab: RBO um 31 %, NDCG um 4 %, Titel-Kosinus um 32 % und Beschreibungs-Kosinus um 37 %.
| MODELLE | RBO | NDCG | TITEL (Kosinus) | BESCHREIBUNG (Kosinus) |
| Basismodell | 0.35 | 0.90 | 0.51 | 0.43 |
| Feinabgestimmtes Modell | 0.46 | 0.94 | 0.67 | 0.59 |
Die Verteilung von NDCG und RBO (Abbildung 1) zeigt, dass nicht nur das Ausmaß, sondern auch die Anzahl der positiven Verbesserungen größer ist als die der durch das Fine-Tuning negativ betroffenen Suchanfragen. Daher ist das durch Fine-Tuning optimierte Modell hinsichtlich Ranking und Relevanz der vortrainierten Standard-Baseline-Version überlegen.
In diesem Whitepaper wollten wir einen Überblick über die wissenschaftlichen Grundlagen der Suchmaschinenoptimierung geben. Wir haben eine Methode zur Verbesserung des Sprachverständnisses großer Sprachmodelle beschrieben. In der Praxis nutzen wir jedoch mehrere Ansätze für das Fine-Tuning, darunter zusätzliche algorithmische Anpassungen und bestärkendes Lernen. Weitere Einblicke finden Sie in der KI-Blogreihe von Algolia.
Verfasst von Dr. Rasit Abay, Senior Data Scientist bei Algolia
Dr. Rasit Abay ist ein versierter Astrodynamiker und Datenwissenschaftler mit Erfahrung in zahlreichen Branchen, darunter Logistik und Last-Mile-Lieferungen, Gartenbau/Landwirtschaft, Raumfahrt und E-Commerce. Mit seinen vielfältigen Kompetenzen, die NLP und Computer Vision umfassen, ist er führend bei der Entwicklung von KI-Lösungen, die textuelle und visuelle Daten verstehen und interpretieren können. Sein Interesse gilt der Verbesserung der algorithmischen Effizienz und datenzentrierten KI-Prinzipien, um robuste und zuverlässige KI-Modelle zu entwickeln. Außerdem nimmt er gerne als wettbewerbsorientierter Datenwissenschaftler an Data-Science-Wettbewerben teil, um die großen Herausforderungen unserer Zeit mithilfe datengestützter Techniken zu lösen.
Algolia ist die weltweit einzige End-to-End-Plattform für KI-gestützte Suche und Entdeckung. Unsere Ingenieure haben eine bahnbrechende Anwendung der KI entwickelt, um die Suche und Entdeckung exponentiell zu verbessern. Unsere firmeneigene NeuralSearch-Technologie kombiniert vektorbasierte Verarbeitung natürlicher Sprache und Schlüsselwortabgleich in einer einzigen API. Algolia verarbeitet jährlich 1,5 Billionen Suchanfragen – das sind mehr als 30 Milliarden pro Woche – und ermöglicht es damit mehr als 17.000 Kunden in über 150 Ländern, blitzschnelle und relevante Such- und Entdeckungserlebnisse für ihre In-App-Nutzer und/oder Online-Besucher (unabhängig vom verwendeten Web-, Mobil- oder Sprachgerät) zu schaffen, indem die gewünschten Inhalte sofort und in großem Umfang angezeigt werden.
Die Qualität und Quantität der Daten können einen erheblichen Einfluss auf die Genauigkeit und Leistungsfähigkeit von Modellen des maschinellen Lernens haben. Tatsächlich wird die Qualität der Daten oft als einer der wichtigsten Faktoren für den Erfolg eines Projekts im Bereich des maschinellen Lernens angesehen. Die Datenaufbereitung und das Feature Engineering sind entscheidende Schritte im Prozess des maschinellen Lernens:
Die Datenaufbereitung umfasst das Sammeln, Bereinigen und Vorverarbeiten der Daten, um sie für die Analyse geeignet zu machen. Dazu kann das Entfernen fehlender Werte, das Korrigieren von Fehlern und die Umwandlung der Daten in ein Format gehören, das mit dem gewählten Modell für maschinelles Lernen kompatibel ist.
Feature Engineering ist der Prozess der Auswahl und Transformation der Variablen (Merkmale) im Datensatz, um eine Reihe von Eingabemerkmalen zu erstellen, die für das maschinelle Lernmodell relevant und aussagekräftig sind. Dies erfordert Fachwissen, Kreativität und Intuition, um die wichtigsten Merkmale zu identifizieren, die es dem Modell ermöglichen, die Zielvariable genau vorherzusagen. Die Datenaufbereitung und das Feature Engineering können zeitaufwändige und anspruchsvolle Aufgaben sein, sind jedoch für die Erstellung präziser und effektiver Modelle des maschinellen Lernens unerlässlich. Ohne qualitativ hochwertige Daten und sorgfältig aufbereitete Merkmale erzielen Modelle des maschinellen Lernens möglicherweise keine guten Ergebnisse, und die aus den Daten gewonnenen Erkenntnisse können ungenau oder irreführend sein.
Um große Sprachmodelle (LLMs) wie BERT hinsichtlich domänenspezifischer semantischer und kontextueller Informationen für eine bessere Suchergebnisausgabe zu optimieren, sollten die für das Training verwendeten Daten idealerweise Relevanz, Vielfalt, Qualität, Quantität und gegebenenfalls Beschriftungen aufweisen. Die Daten sollten für die betreffende Domäne relevant sein und Beispiele sowie Textpassagen enthalten, die für die in dieser Domäne verwendete Sprache und die dort verwendeten Konzepte repräsentativ sind.
Wenn Sie beispielsweise ein Modell für den E-Commerce-Bereich trainieren, sollten Sie Texte aus diesem Bereich verwenden. Die Daten sollten ein breites Spektrum an Kontexten und Perspektiven innerhalb dieses Bereichs abdecken, um sicherzustellen, dass das Modell gut auf neue, bisher unbekannte Beispiele verallgemeinern kann. Das bedeutet, dass Texte mit unterschiedlichen Stilen und Arten einbezogen werden sollten. Je mehr Daten, desto besser – solange die Qualität gewährleistet bleibt.
Große Datenmengen können dazu beitragen, ein breiteres Spektrum an Sprachmustern und Kontextinformationen zu erfassen, was die Leistung des Modells verbessern kann. Die für das Training verwendeten Daten sollten von hoher Qualität sein und genaue sowie zuverlässige Informationen enthalten. Daten, die Fehler, Inkonsistenzen oder Verzerrungen enthalten, können die Leistung des Modells negativ beeinflussen. Wenn möglich, sollten die Daten mit relevanten Labels oder Metadaten versehen werden, damit das Modell effektiver lernen kann.
Es ist zu beachten, dass die Techniken zum Trainieren von Modellen des maschinellen Lernens nicht beispiellösungseffizient sind, unabhängig davon, ob es sich um überwachtes Lernen oder um bestärkendes Lernen handelt. Daher ist es unerlässlich, über einen qualitativ und quantitativ hochwertigen Datensatz zu verfügen, dessen Zielfunktion als Ersatz für die Leistungskennzahl dient, die mit dem jeweiligen Geschäftsproblem verbunden ist. Insgesamt sollten die Daten, die zum Feinabstimmen von Sprachmodellen verwendet werden, sorgfältig ausgewählt und aufbereitet werden, um sicherzustellen, dass sie die domänenspezifische Semantik und die Kontextinformationen erfassen, die für eine effektive Suchabfrage erforderlich sind.
Die Daten, die zur Feinabstimmung von LLMs benötigt werden, um domänenspezifische Semantik und Kontextinformationen für die Suchabfrage besser zu erfassen, sollten die Suchanfrage (Zeichenkette), den Relevanzwert (Float), den Titel (Zeichenkette), die Beschreibung (Zeichenkette) sowie alle weiteren mit dem Produkt verbundenen Merkmale enthalten. Ein Beispiel-Datensatz ist auf der nächsten Seite aufgeführt. Informationen für eine bessere Suchergebnisausgabe müssen die Suchanfrage (Zeichenkette), den Relevanzwert (Float), den Titel (Zeichenkette), die Beschreibung (Zeichenkette) sowie alle weiteren mit dem Produkt verbundenen Merkmale enthalten. Ein Beispiel-Datensatz ist unten aufgeführt.
| Abfrage | Titel | Beschreibung | Relevanz |
|---|---|---|---|
| 10 x 20 EZ-Up | Aufbau des American Phoenix Canopy Pop-up-Zeltes | Das ist ein Friseurstuhl, ein Friseurstuhl zum Haare schneiden. | Genau |
| 10 x 20 EZ-Up | ABCCANOPY Ez Up-Zelt mit Markise | Verleihen Sie jedem Raum mit diesem M… einen wunderschönen Akzent. | Ersatzspieler |
Hinweis: Dieser Datensatz enthält Relevanzbezeichnungen wie „exakt“, „Ersatz“, „Ergänzung“ und „irrelevant“. Ein Relevanzwert von 0 steht für „irrelevant“, 0,01 für „Ergänzung“, 0,1 für „Ersatz“ und 1,0 für „exakt“.
Die LLMs werden mit dem „Contrastive Loss“ feinabgestimmt, einer Verlustfunktion, die im maschinellen Lernen zum Trainieren von Modellen für Aufgaben wie Textähnlichkeit oder Einbettung verwendet wird. Das Ziel dieser Verlustfunktion besteht darin, eine Darstellung der Eingabedaten so zu erlernen, dass ähnliche Eingaben im Einbettungsraum näher beieinander liegen, während sich unähnliche Eingaben weiter voneinander entfernt befinden. Diese Verlustfunktion ist besonders nützlich beim Umgang mit Datensätzen, in denen positive und negative Beispiele vorhanden sind, und deren Ziel es ist, einen Merkmalsraum zu erlernen, der zwischen ihnen unterscheiden kann. Die Paare aus Suchanfrage und Titel sowie Suchanfrage und Beschreibung bilden positive Beispiele, und es wird ein Score (Relevanz-Score auf einer Skala von 0,0 bis 1,0) bereitgestellt, um das Lernen so zu steuern, dass die richtige Rangfolge gewährleistet ist.
Der Kontrastverlust lässt sich mathematisch wie folgt ausdrücken:
L = (1 - y) * d² + y * max(0, m - d)²
Dabei ist L die Verlustfunktion, y die Klassifizierung, die angibt, ob die Eingaben ähnlich (y = 1,0) oder unähnlich (y = 0,0) sind, d der Abstand zwischen den Darstellungen der Eingaben im Einbettungsraum und m ein Margin-Parameter (0,5), der den Mindestabstand festlegt, der zwischen den Darstellungen negativer Beispiele eingehalten werden soll. Die Verlustfunktion bestraft das Modell, wenn der Abstand zwischen positiven Beispielen groß ist. Der kontrastive Verlust ist eine effektive Verlustfunktion für das Training von Modellen für Ähnlichkeits- und Einbettungsaufgaben. Er regt das Modell dazu an, einen Merkmalsraum zu erlernen, in dem ähnliche Eingaben näher beieinander und ungleiche Eingaben weiter voneinander entfernt abgebildet werden.
Das Modell „paraphrase-multilingual-MiniLM-L12-v2“ wurde anhand der öffentlich zugänglichen Datensätze mit 5-facher Kreuzvalidierung feinabgestimmt. Die angegebenen Ergebnisse stellen die durchschnittliche Leistung über alle Folds hinweg dar. Jeder Fold wurde über 10 Epochen trainiert. Nachfolgend sind einige zusätzliche Hyperparameter aufgeführt, die für die Feinabstimmung verwendet wurden:
| Hyperparameter | Werte | Kommentar |
|---|---|---|
| Relevanzskalierung | 0.0-1.0 | Als Relevanzwerte kommen menschliche Bewertungen, Beta-Werte oder einfach die Rangfolge in Frage. Für Bewertungen im Bereich von 0,0 bis 1,0 wird eine logarithmische Skalierung angewendet. |
| Lernrate | 2e-5 | Die Lernrate ist die Rate, mit der wir die Parameter der Modelle des maschinellen Lernens aktualisieren. |
| Optimierer | AdamW | Der Adam-Optimierer mit Gewichtsabnahme verbessert die Stabilität des Lernprozesses. Der Wert für die Gewichtsabnahme beträgt 0,01. |
| Verlustfunktion | Kontrastiver Verlust | Bei der kontrastiven Verlustfunktion geht es darum, eine Darstellung der Eingabedaten so zu erlernen, dass ähnliche Eingaben im Einbettungsraum näher beieinander liegen, während sich unähnliche Eingaben weiter voneinander entfernt befinden. Im Rahmen der kontrastiven Verlustfunktion wird die Kosinusähnlichkeit verwendet. |
Die Ergebnisse werden im Folgenden im Vergleich zum vortrainierten Modell „paraphrase-multilingual-MiniLM-L12-v2“ dargestellt. Das feinabgestimmte Modell schneidet bei vier verschiedenen branchenüblichen Metriken, anhand derer sich Leistungsverbesserungen bewerten lassen, besser ab: RBO um 31 %, NDCG um 4 %, Titel-Kosinus um 32 % und Beschreibungs-Kosinus um 37 %.
| MODELLE | RBO | NDCG | TITEL (Kosinus) | BESCHREIBUNG (Kosinus) |
| Basismodell | 0.35 | 0.90 | 0.51 | 0.43 |
| Feinabgestimmtes Modell | 0.46 | 0.94 | 0.67 | 0.59 |
Die Verteilung von NDCG und RBO (Abbildung 1) zeigt, dass nicht nur das Ausmaß, sondern auch die Anzahl der positiven Verbesserungen größer ist als die der durch das Fine-Tuning negativ betroffenen Suchanfragen. Daher ist das durch Fine-Tuning optimierte Modell hinsichtlich Ranking und Relevanz der vortrainierten Standard-Baseline-Version überlegen.
In diesem Whitepaper wollten wir einen Überblick über die wissenschaftlichen Grundlagen der Suchmaschinenoptimierung geben. Wir haben eine Methode zur Verbesserung des Sprachverständnisses großer Sprachmodelle beschrieben. In der Praxis nutzen wir jedoch mehrere Ansätze für das Fine-Tuning, darunter zusätzliche algorithmische Anpassungen und bestärkendes Lernen. Weitere Einblicke finden Sie in der KI-Blogreihe von Algolia.
Verfasst von Dr. Rasit Abay, Senior Data Scientist bei Algolia
Dr. Rasit Abay ist ein versierter Astrodynamiker und Datenwissenschaftler mit Erfahrung in zahlreichen Branchen, darunter Logistik und Last-Mile-Lieferungen, Gartenbau/Landwirtschaft, Raumfahrt und E-Commerce. Mit seinen vielfältigen Kompetenzen, die NLP und Computer Vision umfassen, ist er führend bei der Entwicklung von KI-Lösungen, die textuelle und visuelle Daten verstehen und interpretieren können. Sein Interesse gilt der Verbesserung der algorithmischen Effizienz und datenzentrierten KI-Prinzipien, um robuste und zuverlässige KI-Modelle zu entwickeln. Außerdem nimmt er gerne als wettbewerbsorientierter Datenwissenschaftler an Data-Science-Wettbewerben teil, um die großen Herausforderungen unserer Zeit mithilfe datengestützter Techniken zu lösen.
Algolia ist die weltweit einzige End-to-End-Plattform für KI-gestützte Suche und Entdeckung. Unsere Ingenieure haben eine bahnbrechende Anwendung der KI entwickelt, um die Suche und Entdeckung exponentiell zu verbessern. Unsere firmeneigene NeuralSearch-Technologie kombiniert vektorbasierte Verarbeitung natürlicher Sprache und Schlüsselwortabgleich in einer einzigen API. Algolia verarbeitet jährlich 1,5 Billionen Suchanfragen – das sind mehr als 30 Milliarden pro Woche – und ermöglicht es damit mehr als 17.000 Kunden in über 150 Ländern, blitzschnelle und relevante Such- und Entdeckungserlebnisse für ihre In-App-Nutzer und/oder Online-Besucher (unabhängig vom verwendeten Web-, Mobil- oder Sprachgerät) zu schaffen, indem die gewünschten Inhalte sofort und in großem Umfang angezeigt werden.