Die Suche auf Websites steht vor einem Quantensprung. Neue, KI-gestützte Lösungen sind mittlerweile so effektiv, dass man sich fast fragen könnte, ob Suchmaschinen die Gedanken lesen können. Diese Suchmaschinen sind in der Lage, komplexe Suchanfragen zu entschlüsseln, relevante Ergebnisse zu identifizieren, benutzerdefinierte Eingaben zu kombinieren und die Ergebnisse in einer optimalen Reihenfolge anzuordnen, die Klicks, Konversionen auf der Website und die Kundenzufriedenheit maximiert.

In Millisekunden im einstelligen Bereich!

Auch eine intelligentere Suche kann zu unglaublichen Erträgen führen. Im Durchschnitt nutzen 40 % der Online-Käufer die Suchleiste der Website – je nach E-Commerce-Unternehmen kann dieser Anteil höher oder niedriger ausfallen. Besucher haben wenig Geduld mit langsamen Websites, und das oberste Suchergebnis genießt einen enormen Positionsvorteil. Käufer, die nicht schnell finden, wonach sie suchen, verlassen die Website. Die KI-Suche versteht die Absichten der Nutzer besser und trägt so dazu bei, dass Inhalte leichter gefunden werden können.

Viele Unternehmen haben jahrelang behauptet, über KI-Fähigkeiten zu verfügen, doch erst jetzt ist eine echte durchgängige KI möglich. Dies ist einer neuen Technologie namens „Neural Hashing“ zu verdanken, die es ermöglicht, die Suche für jeden Anwendungsfall zu skalieren – und zwar ohne die üblicherweise hohen Kosten und den hohen Produktionsaufwand, die normalerweise mit der Einführung KI-basierter Funktionen und Plattformen verbunden sind.

So kostet beispielsweise der Betrieb von ChatGPT monatlich Tausende von Dollar, doch die Reaktionszeit und der Funktionsumfang des Systems wären im Zusammenhang mit Such- und Erkundungsfunktionen inakzeptabel.

Studien zeigen, dass bereits Verzögerungen von 100 Millisekunden erhebliche Auswirkungen auf die Benutzererfahrung und die Konversionsraten haben; daher ist eine schnelle Suche unerlässlich.

Neural Hashing war bislang die entscheidende Komponente, die es Unternehmen ermöglichte, KI-Suche in großem Maßstab zu kommerzialisieren, ohne dass dies mit unerschwinglichen Kosten verbunden war.

Zwar kann die KI-Suche viele Branchen und Anwendungsfälle beflügeln – von der Unternehmenssuche bis hin zu Behörden-Websites –, doch dieses E-Book konzentriert sich ausschließlich auf den E-Commerce. Sean Mullaney, CTO bei Algolia, und weitere Fachexperten von Algolia erläutern, woher diese Funktionen stammen, wie die KI-Suche funktioniert und was dies für Einzelhändler bedeutet.

 

Ein kurzer Überblick über die Geschichte der Suchtechnologien

Die Stichwortsuche gibt es schon seit langem und funktioniert ähnlich wie das Stichwortverzeichnis am Ende eines Buches. Eine Stichwortsuchmaschine erstellt ein Verzeichnis aller Wörter in allen Dokumenten und liefert Ergebnisse auf der Grundlage einfacher Abgleichalgorithmen. 

Um die Relevanz der Suche und die Rangfolge der Ergebnisse zu verbessern, führten Suchmaschinen Wortstatistiken wie TF-IDF und BM25 ein. Bei der statistischen Suche wurde die inverse Häufigkeit eines Wortes in einem Dokument (IDF) im Verhältnis zur Termhäufigkeit eines Wortes (TF) betrachtet, um dessen Bedeutung zu bestimmen. Beispielsweise kommen Stoppwörter wie „der“, „und“ oder „oder“ überall häufig vor, während Wörter wie „Zahnbürste“ oder „Wasser“ seltener vorkommen – das heißt, sie sind seltener. Die Termhäufigkeit kann als Indikator dafür dienen, wie wichtig oder relevant das Dokument ist.

Die frequenzbasierte Statistik war sehr rudimentär und stützte sich auf exakte Übereinstimmungen. Suchalgorithmen für Schlüsselwörter, die mit Lucene-APIs erstellt wurden, stützen sich auch heute noch in einer Vielzahl von Anwendungen auf diese statistischen Formeln – sie sind äußerst einfach zu implementieren und schnell. Um die Genauigkeit zu verbessern, müssen Kunden jedoch Synonymbibliotheken anlegen, Regeln hinzufügen, zusätzliche Metadaten oder Schlüsselwörter verwenden oder andere Umgehungslösungen finden.

Einführung in die NLP: ab den 1980er Jahren

Die statistische Rangfolge war zwar nützlich, reichte aber nicht aus; es gab zu viele Anwendungsfälle, in denen die Wörter nicht genau mit der Suchanfrage übereinstimmten. Beispiele hierfür sind Begriffe im Singular und Plural, Verbformen (Präsens und Präteritum, Partizip Präsens usw.) sowie agglutinierende oder zusammengesetzte Sprachen und so weiter. Dies führte zur Entwicklung von Funktionen zur Verarbeitung natürlicher Sprache (Natural Language Processing, NLP), um die Komplexität von Sprachen besser bewältigen zu können. Zu diesen Verfahren gehören unter anderem:

• Stemming
  Beim Stemming werden Wörter durch Entfernen von Präfixen und Suffixen in ihre Grundformen umgewandelt. Dies reduziert den Ressourcenverbrauch und verbessert die Rechenleistung. Beispielsweise werden „change“ und „changing“ in die Grundform „chang“ umgewandelt.

• Lemmatisierung
  Ähnlich wie beim Stemming werden bei der Lemmatisierung Wörter in ihre Grundform (oder Stammform) zurückgeführt. Dabei werden der Kontext und die morphologische Grundlage jedes Wortes berücksichtigt. So wird beispielsweise „changed“ in „change“ und „is“ in „be“ umgewandelt. Wichtig ist, dass sowohl das Stemming als auch die Lemmatisierung dazu dienen, Wörter auf ihre ursprüngliche Form zurückzuführen, weshalb in den meisten Projekten das eine oder das andere Verfahren angewendet wird.

• Worttrennung
  Im Englischen und in vielen lateinischen Sprachen stellt das Leerzeichen eine gute Annäherung an eine Worttrennmarkierung dar, obwohl dieses Konzept aufgrund der unterschiedlichen Art und Weise, wie Wortteile in den einzelnen Sprachen kombiniert und getrennt werden, an Grenzen stößt. Beispielsweise werden viele englische zusammengesetzte Substantive unterschiedlich geschrieben (ice box = ice-box = icebox). Allerdings kommt das Leerzeichen nicht in allen Schriftsystemen vor, und ohne es wird die Wortsegmentierung zu einem schwierigen Problem. Zu den Sprachen, in denen die Wortsegmentierung nicht trivial ist, gehören Chinesisch und Japanisch, in denen Sätze, aber keine Wörter abgegrenzt werden; Thailändisch und Laotisch, in denen Phrasen und Sätze, aber keine Wörter abgegrenzt werden; sowie Vietnamesisch, in dem Silben, aber keine Wörter abgegrenzt werden.

• 
  zur Wortartenzuordnung Die Wortartenzuordnung, auch als Parts-of-Speech-Tagging (PoS-Tagging) bezeichnet, ist ein Verfahren, bei dem Wortlisten in Substantive, Verben, Adjektive usw. klassifiziert werden, um eine Suchanfrage genauer zu verarbeiten. Dabei werden die Beziehungen zwischen den Wörtern in einem Satz untersucht , um die Genauigkeit zu verbessern, indem die „Bedeutung“ des Satzes klarer „ermittelt“ wird.

• Entitätsextraktion
  Die Entitätsextraktion ist eine weitere Technik im Bereich der natürlichen Sprachverarbeitung (NLP), die insbesondere für die Sprachsuche an Bedeutung gewonnen hat. Wie der Name schon andeutet, dient die Entitätsextraktion dazu, verschiedene Elemente einer Suchanfrage zu identifizieren – Personen, Orte, Daten, Häufigkeiten, Mengen usw. –, um einer Maschine zu helfen, die darin enthaltenen Informationen zu „verstehen“. Die Entitätsextraktion ist eine sehr gute Lösung, um die Grenzen der einfachen Stichwortsuche zu überwinden, funktioniert jedoch – ebenso wie die weiter unten behandelten Ontologien und Wissensgraphen – nur in bestimmten Fachgebieten und bei bestimmten Suchanfragen.

Ontologien und Wissensgraphen: seit 2005

Eine weitere Methode, um ein besseres, semantisches Verständnis einer Suchanfrage zu entwickeln, war der Einsatz von Ontologien und Wissensgraphen. Wissensgraphen stellen Beziehungen zwischen verschiedenen Elementen dar – Konzepten, Objekten und Ereignissen. Eine Ontologie definiert jedes dieser Elemente und deren Eigenschaften. 

Insgesamt zielte dieser semantische Ansatz darauf ab, verschiedene Konzepte und die Verbindungen zwischen ihnen darzustellen. Google nutzte beispielsweise einen Wissensgraphen, um nicht nur die Wörter in der Suchanfrage abzugleichen, sondern auch nach Entitäten zu suchen, die in der Suchanfrage beschrieben wurden. Auf diese Weise konnten die Grenzen der Stichwortsuche überwunden werden. 

In der Praxis lassen sich ein Wissensgraph und ein Ontologie-Ansatz jedoch nur sehr schwer skalieren oder auf andere Themenbereiche übertragen, und die Themen veralten schnell – sei es bei Sportmannschaften, Staats- und Regierungschefs oder sogar bei Produktattributen. Der Wissensgraph und die Ontologie, die Sie für einen bestimmten Bereich erstellen, lassen sich nicht ohne Weiteres auf einen anderen Bereich übertragen. Zwar können Sie für ein Thema äußerst robuste Lösungen entwickeln, doch bei einem anderen Thema, das ein anderes Fachgebiet erfordert, können diese Lösungen völlig versagen. Nur wenige große Unternehmen, darunter Google, waren in der Lage, einen Wissensgraphen automatisch zu entwickeln. Die meisten anderen Unternehmen mussten ihn manuell erstellen. 

Automatische Vervollständigung: ab 2004

Die Autovervollständigung ist ein sehr nützliches semantisches Suchwerkzeug, das Kunden dabei hilft, Ergebnisse schneller zu finden. Das bekannteste Beispiel ist Google, das die Autovervollständigung Ende 2004 eingeführt hat.

Die automatische Vervollständigung ist ein Verfahren, das versucht, Suchbegriffe zu antizipieren, um Kunden bei der Eingabe ihrer Suchanfrage zu unterstützen. Sie bietet außerdem kontextbezogene Vorschläge, hilft Nutzern, Tippfehler zu vermeiden, und filtert Inhalte basierend auf dem Standort oder den Präferenzen des Nutzers. Die Vorschläge werden durch eine Reihe von Algorithmen generiert, die auf verschiedenen Algorithmen und Modellen des maschinellen Lernens und der natürlichen Sprachverarbeitung basieren, um Übereinstimmungen zu ermitteln. Dabei wird mit einer einfachen Präfixzeichenfolge begonnen, um die unvollständige Suchanfrage zu identifizieren, abzugleichen und deren Ergebnis vorherzusagen.

Damit die Autovervollständigung effektiv funktioniert, muss eine Suchmaschine über umfangreiche Daten aus allen Sitzungen verfügen und darüber hinaus in der Lage sein, Suchbegriffe für jeden Nutzer auf der Grundlage seines Verhaltens, früherer Suchanfragen, seines Standorts und anderer Merkmale vorherzusagen.

Die vorausschauende Autovervollständigung ist mittlerweile zu einer selbstverständlichen Funktion jeder modernen, wettbewerbsfähigen Suchmaschine geworden.

KI-Ranking: ab 2007

Frühe Modelle zur Berechnung der Stichwortwahrscheinlichkeit wie BM25 hatten, wie oben erläutert, die Relevanz anhand der Termhäufigkeit ermittelt. Das KI-Ranking machte einen großen Schritt nach vorne, indem es Nutzer-Feedback einbezog, um die Relevanz noch genauer zu bestimmen. Ein Beispiel hierfür ist das verstärkende Lernen. Die Grundidee des verstärkenden Lernens ist recht einfach: Feedback wird genutzt, um positive Ergebnisse zu verstärken (zu festigen). Anstatt selten große Änderungen vorzunehmen, führt das verstärkende Lernen häufige, schrittweise Änderungen durch.

Dies hat viele Vorteile, wie zum Beispiel eine kontinuierliche Verbesserung der Ergebnisse und eine schnellere Identifizierung weiterer potenzieller Ergebnisse. Zudem fallen Ergebnisse mit schlechter Leistung durch fortlaufende Experimente in der Regel schnell weg.

Ähnlich wie die Autovervollständigung benötigt auch das verstärkende Lernen große Datenmengen, um aussagekräftige Ergebnisse zu liefern; ohne die Einbeziehung umfangreicher historischer Leistungsdaten ist es keine zufriedenstellende Lösung. Darüber hinaus eignet sich das verstärkende Lernen zwar sehr gut für die Rangfolge der Suchergebnisse, hilft jedoch nicht bei der Identifizierung von Datensätzen. Zur Identifizierung passender Datensätze ist es nach wie vor auf Schlüsselwörter und linguistische Ressourcen angewiesen.

An dieser Stelle kommen Vektoren ins Spiel.

Vektorsuche: ab 2013

Die vektorielle Darstellung von Text hat eine lange Geschichte. Ihre theoretischen Wurzeln reichen bis in die 1950er Jahre zurück, und im Laufe der Jahrzehnte gab es mehrere entscheidende Fortschritte. Seit 2013 sind zudem große Innovationen zu beobachten: Neue Modelle auf Basis neuronaler Netze, die auf umfangreichen Trainingsdatensätzen basieren (insbesondere BERT von Google aus dem Jahr 2018), haben den Standard für die Branche gesetzt.

Was ist eine Vektorsuche?

Im Grunde genommen handelt es sich um eine Methode, um verwandte Objekte mit ähnlichen Eigenschaften zu finden. Der Abgleich erfolgt durch Modelle des maschinellen Lernens, die semantische Beziehungen zwischen Objekten in einem Index erkennen. Vektoren können Tausende von Dimensionen haben, doch zur Vereinfachung lassen sich Vektoren anhand eines dreidimensionalen Diagramms (oben) veranschaulichen. Die Vektorsuche kann Beziehungen zwischen Wörtern herstellen, und ähnliche Vektoren werden zu Clustern zusammengefasst. Wörter wie „König“, „Königin“ und „Königshaus“ werden in einem Cluster zusammengefasst, ebenso wie Wörter wie „Laufen“, „Traben“ und „Galoppieren“.

Nahezu jedes Objekt lässt sich einbetten und vektorisieren – Text, Bilder, Videos, Musik usw. Frühe Vektormodelle verwendeten Wörter als Dimensionen; jedes einzelne Wort stellte eine Dimension dar, und der Wert entsprach der Häufigkeit des Wortes, was zu einfach war. Das änderte sich mit dem Aufkommen der latenten semantischen Analyse (LSA) und der latenten semantischen Indizierung (LSI), die die Beziehungen zwischen Dokumenten und den darin enthaltenen Begriffen analysierten, indem sie die Anzahl der Dimensionen reduzierten.

Heutzutage sind neuere KI-Modelle, die auf Vektor-Engines basieren, in der Lage, Informationen in einem hochdimensionalen Raum schnell abzurufen.

Das war ein echter Durchbruch. Neuere vektorbasierte Lösungen können nun erkennen, dass „Schnee“, „Kälte“ und „Skifahren“ miteinander in Zusammenhang stehende Begriffe sind. Dieser Fortschritt hat einige der anderen oben genannten Technologien – wie beispielsweise Entitätsextraktion, Ontologien, Wissensgraphen usw. – überflüssig gemacht.

Im Internet erwarten Verbraucher sofortige Suchergebnisse (sowohlAmazon als auch Google haben Studien durchgeführt, die die negativen Auswirkungen einer Verzögerung von nur 100 Millisekunden auf das Verbraucherverhalten belegen). Man kann die Bereitstellung von Vektoren zwar beschleunigen und skalieren, doch dies ist kostspielig und wird in puncto Geschwindigkeit niemals mit der Stichwortsuche mithalten können.

Bei manchen Suchanfragen bieten Vektoren zudem nicht dieselbe Relevanz wie die Stichwortsuche. Bei Suchanfragen mit nur einem Wort und bei Suchanfragen mit exakter Markenübereinstimmung funktioniert die Stichwortsuche nach wie vor besser als Vektoren. Vektoren eignen sich in der Regel besser für Suchanfragen mit mehreren Wörtern, Konzeptsuchen, Fragen und andere komplexere Suchanfragetypen.

Wenn Sie beispielsweise in einer Stichwortsuchmaschine nach „Adidas“ suchen, werden Ihnen standardmäßig nur Produkte der Marke Adidas angezeigt. Das Standardverhalten einer Vektorsuchmaschine wäre hingegen, alle Schuhmarken für die Suchanfrage „Adidas“ anzuzeigen (z. B. Nike, Puma, Adidas usw.), da sie sich alle im selben konzeptionellen Raum befinden. Die Stichwortsuche liefert nach wie vor bessere – und besser nachvollziehbare (sowie besser anpassbare) – Ergebnisse.

Wie kann man das Beste aus beiden Welten vereinen? Hier kommt die hybride Suche ins Spiel.

KI-Suche: 2022 und darüber hinaus

Die Hybrid-Suche ist eine neue Methode, bei der eine Volltext-Suchmaschine nach Stichwörtern und eine Vektorsuchmaschine in einer einzigen API kombiniert werden.

Der gleichzeitige Betrieb von Schlüsselwort- und Vektor-Engines für dieselbe Suchanfrage ist äußerst komplex. Einige Unternehmen haben sich dafür entschieden, diese Komplexität zu umgehen, indem sie diese Prozesse nacheinander ausführen: Zunächst führen sie eine Schlüsselwortsuche durch und anschließend, falls eine bestimmte Relevanzschwelle nicht erreicht wird, eine Vektorsuche. Diese Vorgehensweise bringt zahlreiche Nachteile mit sich – unter anderem in Bezug auf Geschwindigkeit, Genauigkeit und eingeschränkte Möglichkeiten beim Training der einzelnen Modelle.

Eine echte Hybrid-Suche funktioniert anders. Durch die Kombination von Volltext-Stichwortsuche und Vektorsuche in einer einzigen Abfrage erhalten Kunden schnell genauere Ergebnisse. Damit die Vektorsuche genauso schnell funktioniert wie die Stichwortsuche, muss die Suchmaschine natürlich in der Lage sein, ihre Leistung zu skalieren, ohne dass dadurch massive Kosten entstehen. Für die meisten heutigen Vektor-Suchmaschinen ist dies nicht möglich.

Aus diesem Grund bietet „Neural Hashing“, eine neue Technologie, die Vektoren auf ein Zehntel ihrer Größe komprimiert, einen vielversprechenden Weg in die Zukunft.

In Kapitel 3 werden wir uns damit befassen, wie das Hashing funktioniert – aber wir haben bereits einige unglaubliche Ergebnisse gesehen, nämlich:

• Auf Augenhöhe mit der derzeit schnellsten Stichwortsuche
• Deutlich genauer, da sowohl die semantische als auch die Stichwortsuche gemeinsam genutzt werden
• Dank eines Ein-Klick-Trainingsmoduls, das wir der Benutzeroberfläche hinzufügen, lassen sich Ausnahmen viel einfacher neu trainieren – mehr dazu in Kürze!

Nach dieser kurzen Einführung werden wir nun näher auf die einzelnen Phasen der KI-Suche eingehen – das Verstehen der Suchanfrage, die Datensuche und die Rangfolge.

 

Die erweiterte Stichwortsuche basiert auf der Verarbeitung natürlicher Sprache

Eine Suchmaschine muss die Sprache in einer Suchleiste „verarbeiten“, bevor sie eine Suchanfrage ausführen kann. Dieser Vorgang könnte so einfach sein wie der direkte Abgleich der Suchanfrage in ihrer ursprünglichen Form mit den Inhalten im Index. Die klassische Stichwortsuche geht jedoch noch einen Schritt weiter, da sie die Tokenisierung und Normalisierung der Suchanfrage in kleinere Einheiten – d. h. Wörter und Stichwörter – umfasst.

Dieser Vorgang kann einfach sein (wenn die Wörter durch Leerzeichen getrennt sind) oder komplexer (wie bei asiatischen Sprachen, in denen keine Leerzeichen verwendet werden, sodass die Maschine die Wörter erkennen muss).

Sobald die Suchanfrage in kleinere Teile zerlegt ist, kann die Suchmaschine Rechtschreibfehler und Tippfehler korrigieren, Synonyme einsetzen, die Wörter weiter auf ihre Wortstämme reduzieren, mehrere Sprachen verarbeiten und vieles mehr – all dies ermöglicht es dem Nutzer, eine „natürlichere“ Suchanfrage einzugeben.

Natürliche Sprache Schlüsselwörter

Im Durchschnitt geben Nutzer Suchanfragen ein, die aus einzelnen Wörtern oder kurzen Phrasen bestehen, um die gesuchten Inhalte zu beschreiben. Das heißt, sie verwenden Schlüsselwörter und keine ganzen Sätze oder Fragen. (Allerdings ändert sich dies derzeit aufgrund der Sprachtechnologie und des Erfolgs der Frage-und-Antwort-Ergebnisse von Google.)

Diese Art der Stichwortsuche – sowohl in ihrer einfachen als auch in ihrer fortgeschrittenen Form – gibt es schon seit den Anfängen der Suche. Je natürlicher sie ist, desto ausgefeilter werden die Techniken. Suchmaschinen müssen eingehende Suchanfragen strukturieren, bevor sie Ergebnisse im Suchindex nachschlagen können. Diese Vorverarbeitungstechnologie fällt unter den Begriff „Natural Language Processing“ (NLP), einen Oberbegriff für alle Technologien, die es Computern ermöglichen, menschliche Sprache zu verstehen, sei sie nun geschrieben oder gesprochen.

Die Verarbeitung natürlicher Sprache („NLP“) wandelt Text in Einheiten um, die für Computer leichter zu verarbeiten sind. Zu den gängigen NLP-Aufgaben gehören das Entfernen von Stoppwörtern, die Wortsegmentierung oder das Aufteilen von zusammengesetzten Wörtern. NLP kann außerdem Wortarten oder wichtige Entitäten innerhalb eines Textes identifizieren.

Wir bei Algolia haben bereits ausführlich über die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) berichtet. Wir haben den Begriff NLP definiert , NLP mit NLU verglichen und einige beliebte NLP-/NLU-Anwendungen beschrieben. Darüber hinaus haben unsere Ingenieure erläutert, wie unsere Engine Sprache verarbeitet und die mehrsprachige Suche handhabt. In diesem Artikel werden wir uns damit befassen, wie NLP die Stichwortsuche vorantreibt – ein wesentlicher Bestandteil unserer KI-Suchlösung, die auch KI-/ML-basierte Vektor-Embeddings und Hashing umfasst. Um den Zusammenhang zwischen Stichwörtern und NLP zu verstehen, ist es wichtig, zunächst einen detaillierten Einblick in die Stichwortsuche zu gewinnen.

Was ist eine Stichwortsuche?

Im Grunde vergleicht eine Suchmaschine, die mit Schlüsselwörtern arbeitet, den Text einer Suchanfrage mit dem Text jedes Eintrags in einem Suchindex. Jeder Eintrag, der übereinstimmt (sei es exakt oder ähnlich), wird von der Suchmaschine zurückgegeben. Die Übereinstimmung kann, wie der Name schon sagt, einfach oder komplex sein.

Wir verwenden Schlüsselwörter, um Kleidung, Filme, Spielzeug, Autos und andere Objekte zu beschreiben. Die meisten Suchmaschinen, die auf Schlüsselwörtern basieren, stützen sich auf strukturierte Daten, bei denen die Objekte im Index eindeutig mit einzelnen Wörtern oder einfachen Wortgruppen beschrieben werden.

Beispielsweise kann eine Blume mithilfe von Tags oder „Schlüsseln“ strukturiert werden, um Schlüssel-Wert-Paare zu bilden. Die Werte (eine große, rote Sommerblume mit vier Blütenblättern) können ihren Schlüsseln (Größe, Farbe, Jahreszeit, Art des Objekts und Anzahl der Blütenblätter) zugeordnet werden. Die Blume kann zudem zu einem „Preis“ von „4,99“ verkauft werden.

Diese Struktur aus Schlüsseln und Werten lässt sich wie folgt darstellen:

{
  "name": "Meadow Beauty",
  "size": "large",
  "color":"red",
  "season": “summer”,
  "type of object": "flower",
  "number of petals": "4",
  "price": "4.99",
  "description": "Coming from the Rhexia family,the Meadow Beauty is a wildflower.”
}

 

Was versteht man unter KI-gestützter Suche?

Das Suchen kann sich gleichzeitig einfach und kompliziert anfühlen. Die Suche bei Google ist einfach, und die Ergebnisse sind ziemlich relevant (auch wenn dies in den letzten Jahren umstritten ist, da Google viele gesponserte Ergebnisse anzeigt). Auch wenn es sich nicht um eine Suchlösung handelt, hat ChatGPT dieses Erlebnis noch magischer gemacht. Wer jedoch schon einmal eine Suchfunktion implementiert hat, weiß, dass die Informationsgewinnung ein äußerst komplexes Thema ist.

Wir können die Qualität der Suchergebnisse anhand der Präzision und des Recall-Werts messen. Die Präzision ist der prozentuale Anteil der gefundenen Dokumente, die relevant sind, und der Recall-Wert ist der prozentuale Anteil aller relevanten Dokumente, die gefunden wurden. Beide Kennzahlen können uns dabei helfen, zu beurteilen, ob die Suchergebnisse gut sind.

• Nehmen wir zur Veranschaulichung einmal an, es ist an der Zeit, Ihr Küchengeschirr zu erneuern, und Sie suchen daher auf der Website Ihres Lieblingsanbieters nach „Bratpfanne“. Unter den Ergebnissen befinden sich einige durchaus relevante Artikel. Andere hingegen sind es nicht – wie beispielsweise die Kochgeschirrsets mit Kochtöpfen (Screenshot unten). Das ist Präzision. Allerdings gab es auf der Website viele weitere relevante Produkte, die nicht in den Ergebnissen enthalten waren. Dies bezeichnen wir als Recall.
  
  
   
• Nehmen wir nun an, Sie möchten die Suchanfrage verfeinern. Sie könnten nach„Antihaft-Bratpfanne“suchen, und dieses Mal (siehe unten) (1) gibt es eine andere Anzahl an Ergebnissen für diese Anfrage, da wir leicht abweichende Suchbegriffe verwendet haben, und (2) gibt es mehr Ergebnisse, als Sie erwartet hatten (Bratpfannen, keine Kochgeschirrsets).

 

Tatsächlich kann zwischen Präzision und Recall ein Yin-Yang-Verhältnis bestehen; die Verbesserung der Präzision (Genauigkeit) kann sich auf den Recall auswirken, und die Verbesserung des Recalls (Vollständigkeit) kann die Präzision beeinträchtigen. 

Das höchste Ziel ist es, beides zu verbessern, und genau das kann die KI-basierte Suche leisten. 

---

Die Datenabruf war das letzte Puzzleteil bei der KI-Suche und aus mehreren Gründen auch das schwierigste:

• Die Verwaltung des Umfangs und der Leistung der KI-Abfrage war mit unerschwinglichen Kosten verbunden. Speicher, CPUs und Algorithmen mussten alle speziell darauf ausgelegt sein. 
• KI-Suchmodelle waren „anfällig“ – wurde der Suchindex mit neuen oder geänderten Inhalten aktualisiert, mussten auch die Modelle aktualisiert werden.
• Es gab einen Kompromiss zwischen präziser Übereinstimmung und einer Übereinstimmung auf breiterer konzeptioneller Ebene.

---

In diesem Kapitel werde ich erläutern, wie wir uns daran gemacht haben, diese letzte Herausforderung für die KI-basierte Suche zu lösen. In zukünftigen Beiträgen werde ich näher auf die anderen Teile der Suchpyramide eingehen. 

Informationsgewinnung mittels KI 

Für die Suchergebnisausgabe sind Technologien erforderlich, die die Relevanz für eine bestimmte Suchanfrage ermitteln. Jahrelang basierte dies auf Stichwortsuchmaschinen. Das ändert sich gerade. Mit der Einführung der Vektorsuche, die über die Stichwortsuche hinausgeht, lassen sich Konzepte verstehen. 

Die Vektorsuche ist eine Technologie des maschinellen Lernens für die KI-Suche. Vektoren sind eine Methode, Wörter mathematisch darzustellen. Vektoren werden in mehreren Dimensionen (auch als n-dimensionaler Raum bezeichnet) dargestellt und gruppiert. Die Vektorsuche vergleicht die Ähnlichkeit mehrerer Objekte mit einer Suchanfrage oder einem Suchobjekt anhand ihrer Vektordarstellung. Um ähnliche Treffer zu finden, wird die Suchanfrage (oder das Suchobjekt) mithilfe desselben Modells in Vektoren umgewandelt, das auch zur Umwandlung von Objekten (d. h. Daten oder Inhalten) in Vektoren verwendet wird. Aus der Datenbank werden Vektoren zurückgegeben, die einander ähnlich sind. So werden die treffergenauesten Ergebnisse ermittelt und präzise Ergebnisse geliefert, während irrelevante Ergebnisse, die herkömmliche Suchtechnologien möglicherweise zurückgegeben hätten, ausgeschlossen werden.

Verfahren wie HNSW (Hierarchical Navigable Small World), IVF (Inverted File) oder PQ (Product Quantization, ein Verfahren zur Reduzierung der Dimensionen eines Vektors) gehören zu den beliebtesten „Approximate Nearest Neighbor“ (ANN)-Methoden, um Ähnlichkeiten zwischen Vektoren zu ermitteln. 

Jede Technik zielt darauf ab, eine bestimmte Leistungseigenschaft zu verbessern, wie beispielsweise die Speicherreduzierung bei PQ oder schnelle und dennoch genaue Suchzeiten bei HNSW und IVF. Es ist gängige Praxis, mehrere Komponenten zu kombinieren, um einen „zusammengesetzten“ Index zu erstellen und so eine optimale Leistung für einen bestimmten Anwendungsfall zu erzielen.

Es kann Tausende von Dimensionen geben. Die Nähe und der Winkel zwischen den einzelnen Vektoren helfen der Suchmaschine dabei, die Ähnlichkeit zwischen Begriffen und deren Bedeutung zu ermitteln. Gibt man „Espresso mit Milch-Dingens“ ein, sucht eine Vektorsuchmaschine nach Ähnlichkeiten und liefert Espressomaschinen mit Dampfdüsen. Gibt man jedoch nur ein Wort ein, wie beispielsweise „Delonghi“ (eine Espressomaschinenmarke), liefert eine Vektorsuchmaschine mit gleicher Wahrscheinlichkeit auch andere Marken und verschiedene Maschinen – Nespresso, Keurig, KitchenAid usw. Das liegt daran, dass Vektoren lediglich das Konzept einer Delonghi verstehen.

Im Gegensatz zu neueren Vektor-Suchmaschinen sind herkömmliche Stichwortsuchmaschinen schnell und präzise. So liefert eine Suche nach „Delonghi Magnifica“ genau dieses Ergebnis. Allerdings können Stichwortsuchmaschinen Schwierigkeiten haben, wenn die Suchanfrage nicht mit den Inhalten in Ihrem Suchindex übereinstimmt. Um dieses Problem zu beheben, können Unternehmen Regeln, Synonyme, Stichwort-Tagging oder andere Workarounds hinzufügen, doch es ist unmöglich, jeden Anwendungsfall abzudecken. 

Sie könnten beispielsweise eine Regel festlegen, wonach eine Suchanfrage, die die Schlüsselwörter „Kaffee oder Espresso“, „Maschine“ und „Milch“ enthält, immer dasselbe bedeutet wie „Espressomaschine mit Dampfdüse“. Das Problem ist, dass man nicht jeden Sonderfall für jede mögliche Long-Tail-Suchanfrage abdecken kann. Nehmen wir ein weiteres Beispiel: die Suche nach dem Wort „Java“. „Java“ wird synonym mit „Kaffee“ und „Espresso“ verwendet, aber sofern es in der Suchmaschine kein Synonym oder keine entsprechende Regel gibt, schlägt die Suche fehl. 

Die Entwicklung und der Aufbau eines effizienten, skalierbaren Vektorindexes sind eine komplexe und kostspielige Aufgabe. Ebenso anspruchsvoll ist die Entwicklung einer effizienten Stichwortsuchmaschine, die auch bei Long-Tail-Suchanfragen funktioniert. Für sich genommen sind Vektor- und Stichwortsuchtechnologien bereits recht gut. Zusammen sind sie jedoch hervorragend. 

Dies wird als hybride Suche bezeichnet und eignet sich gut für exakte Übereinstimmungen, mehrdeutige kurze Suchanfragen und Long-Tail-Suchanfragen. 

Ein Durchbruch bei der Suchleistung durch künstliche Intelligenz

Man muss also nur ein paar Vektoren und Keyword-Technologien zusammenwürfeln, und schon ist man fertig, oder? Das Problem der hybriden Suchmaschine ist gelöst! Wenn es nur so einfach wäre. Wie Sie sich vielleicht vorstellen können, gibt es da ein paar Herausforderungen…

Das größte Problem ist die Skalierung und die Kosten der Vektorsuche. Vektoren sind im Grunde Gleitkommazahlen. Computer haben enorme Schwierigkeiten mit Gleitkommazahlen. Aus diesem Grund werden für KI und die Bearbeitung von Vektoren spezialisierte Computer wie GPUs eingesetzt. Man benötigt nicht nur spezialisierte Datenbanken für die Durchführung der Vektorsuche, sondern auch Vollzeit-Entwickler, um den Betrieb kontinuierlich zu verwalten. 

Bei KI-Modellen ist es von entscheidender Bedeutung, dass die Daten, mit denen die Modelle gefüttert werden, aktuell, relevant und optimiert sind. 

Für E-Commerce- und Unternehmensanwendungen, bei denen Daten ständig aktualisiert werden und es auf Geschwindigkeit ankommt, ist die KI-Suche zu rechenintensiv, um sie in der Produktionsumgebung auszuführen. 

Einige Unternehmen haben versucht, das Problem zu umgehen, indem sie eine KI-Abfrage nur dann ausführen, wenn die Stichwortabfrage fehlschlägt. Dies trägt zwar dazu bei, die Verarbeitungskosten zu minimieren, liefert den Kunden jedoch nicht die besten Ergebnisse.  

Locality-Sensitive Hashing (LSH) ist ein bekanntes algorithmisches Verfahren, bei dem ähnliche Eingabeelemente mit hoher Wahrscheinlichkeit in dieselben „Buckets“ gehasht werden. In der Regel gibt es bei der Festlegung der „Buckets“ Kompromisse – höhere oder geringere Ähnlichkeit.

Mit unserer Neural-Hashing-Technik haben wir Kompromisse überflüssig gemacht. Dadurch können wir Vektoren mithilfe neuronaler Netze (daher der Name „Neural Hashing“) auf ein Zehntel ihrer ursprünglichen Größe komprimieren bzw. hashen, wobei bis zu 99 % der Informationen erhalten bleiben. 

Sie lassen sich auf Standard-Hardware und in Standard-Datenbanken speichern und verwalten. Tatsächlich können wir Hash-Vektoren oder Binärvektoren bis zu 500-mal schneller verarbeiten als bei der herkömmlichen Vektorähnlichkeitsberechnung, sodass die Ergebnisse genauso schnell bereitgestellt werden wie bei der Stichwortsuche. Und das sogar auf normalen CPUs.

Hier ist ein Beispiel für eine Long-Tail-Suchanfrage nach „Antihaft-Pfanne ohne Teflon“, die auf einer reinen Stichwort-Suchmaschine im Vergleich zu einer Hashing-/Stichwort-Suchmaschine ausgeführt wird.

Aus den vorangegangenen Screenshots lassen sich mehrere wichtige Erkenntnisse ableiten:

• Die Suchmaschine bietet sowohl eine höhere Präzision als auch einen höheren Recall. 
• Wir verwenden sowohl Hashes als auch Schlüsselwörter in einer einzigen Abfrage, und die kombinierten Ergebnisse werden nach Relevanz bewertet und gereiht.
• Das Programm läuft auf Standardhardware, und die Ergebnisse liegen fast sofort vor; die kombinierten Ergebnisse sind nicht langsamer als die bei ausschließlicher Verwendung von Schlüsselwörtern.

---

Beachten Sie außerdem, dass „frypan“ als ein Wort statt als zwei geschrieben wird – es hätte auch „fry pan“, „frying pan“ oder „skillet“ heißen können –, doch die Suchmaschine lässt sich davon nicht beirren. Dies verdeutlicht ein weiteres wichtiges Merkmal der KI-gestützten Suche: Sie reduziert den manuellen Arbeitsaufwand, der mit der Verbesserung der Suchrelevanz verbunden ist, erheblich. 

Vorbei sind die Zeiten, in denen man Synonym-Bibliotheken für gängige Begriffe erstellen oder Regeln für bestimmte Arten von Suchanfragen festlegen musste. Außerdem eröffnen sich dadurch völlig neue Möglichkeiten, wie beispielsweise die Bereitstellung einer Q&A-Suche.

Diese neue Funktion ist mit Algolia NeuralSearch verfügbar.

Die Suche ist natürlich mehr als nur das Abrufen von Ergebnissen. In unserer End-to-End-Pyramide für KI-Suche befindet sich das Abrufen (neurales Hashing) in der Mitte. An beiden Enden der KI-Pyramide stehen das Verstehen von Suchanfragen und das Ranking. In zukünftigen Blogbeiträgen werde ich auf diese beiden weiteren Funktionen eingehen.

NÄCHSTE SCHRITTE

Neural Hashing stellt einen Durchbruch bei der produktiven Nutzung von KI-basierter Suche für eine Vielzahl von Anwendungsfällen dar. In Kombination mit KI-gestützter Abfrageverarbeitung und Neureihung verspricht es, das volle Potenzial der KI-gestützten On-Site-Suche auszuschöpfen. Wir freuen uns darauf, diese neuen End-to-End-KI-Funktionen bald auf den Markt zu bringen! Melden Sie sich noch heute an, um die brandneue Algolia NeuralSearch-Plattform als Erster zu testen, sobald sie verfügbar ist. 

 

Was ist das KI-Suchranking?

Unter dem Begriff „KI-Ranking“ versteht man eine Vielzahl von Algorithmen des maschinellen Lernens, die zur Optimierung der Reihenfolge von Suchergebnissen eingesetzt werden.

Bei jeder Suchanfrage kann es zahlreiche relevante Ergebnisse geben. Hier kommt die Rangfolge der Suchergebnisse ins Spiel.

Das Ranking wird zunehmend durch künstliche Intelligenz (KI) gestützt, die eine Vielzahl von Algorithmen des maschinellen Lernens umfasst.

In diesem Artikel werde ich einige der verschiedenen Ansätze für das KI-Ranking beschreiben und kurz auf einige der Herausforderungen eingehen, die mit der Erzielung besserer Ergebnisse verbunden sind.

Präzision vs. Recall

Um das Ranking der Suchergebnisse zu verbessern, muss man es messen können. Zwei einfache Maßstäbe für die Relevanz sind Präzision und Recall.

• Die Präzision ist der prozentuale Anteil der gefundenen Dokumente, die relevant sind. Im Idealfall enthalten die Suchergebnisse ausschließlich relevante Einträge, doch dies ist nicht immer der Fall. Bei einer Suche nach „iPhone“ werden beispielsweise möglicherweise iPhone-Hüllen angezeigt, obwohl der Kunde eigentlich nach einem Smartphone sucht.
• Die Trefferquote ist der prozentuale Anteil aller relevanten Dokumente, die gefunden werden. Im Idealfall erscheint jeder für die Suchanfrage relevante Datensatz in den Ergebnissen, doch es kann vorkommen, dass einige relevante Dokumente nicht gefunden werden. Ein Beispiel hierfür wäre ein Datensatz, der „NYC“ enthält, bei der Suchanfrage „New York“.

Dies sind nützliche Kennzahlen, anhand derer wir feststellen können, ob die Ergebnisse gut sind. Im Idealfall würden sowohl der Recall als auch die Präzision 100 % erreichen, doch in der Praxis ist das sehr schwierig. Außerdem kann die Relevanz subjektiv sein!

Nehmen wir zur Veranschaulichung an, es ist Zeit, einen neuen Fernseher zu kaufen, und Sie suchen auf der Website Ihres Lieblingshändlers nach„großer Fernseher“.Sie erhalten 119 Ergebnisse. Unter den Ergebnissen sind einige Artikel durchaus relevant. Andere hingegen sind es nicht (zum Beispiel die unten gezeigten TV-Ständer und Schränke). Das ist die Präzision. Es gab viele weitere relevante Produkte auf der Website, die nicht in den Ergebnissen enthalten waren. Dies bezeichnen wir als Recall.

Um eine höhere Präzision und einen höheren Recall zu erzielen, können Sie die Suchanfrage verfeinern. Sie könnten beispielsweise nach „Fernseher über 40“suchen – und dieses Mal (siehe unten) erhalten Sie 262 Ergebnisse! Es sieht so aus, als gäbe es in den neuen Ergebnissen mehr Fernseher, aber nur einige davon erfüllen tatsächlich die Suchbedingung „über 40 Zoll“.

Tatsächlich kann zwischen Präzision und Recall ein Yin-Yang-Verhältnis bestehen; die Verbesserung des einen kann sich nachteilig auf das andere auswirken.

Es kann viele relevante TV-Geräte geben. Das beste Ergebnis ist jedoch dasjenige, an dem die Kunden am meisten interessiert sind. Dies lässt sich anhand von Klicks, Käufen, Bewertungen, der geringsten Rücklaufquote usw. ermitteln. Die am höchsten platzierten Ergebnisse erzielen das größte Interesse; umgekehrt gilt: Wenn Nutzer die besten Ergebnisse nicht ohne Weiteres finden, verlassen sie Ihre Website wahrscheinlich oder suchen nach einer anderen Möglichkeit, Antworten auf ihre Fragen zu erhalten, beispielsweise durch das Eröffnen eines Support-Tickets.

Präzision und Recall können uns helfen, das Ranking durch künstliche Intelligenz konzeptionell besser zu verstehen. Bei einer Suchanfrage müssen Suchmaschinen feststellen, ob die Ergebnisse relevant sind, und sie anschließend in einer Reihenfolge von den besten bis zu den schlechtesten Ergebnissen einstufen.

Traditionell wurden verschiedene statistische Methoden verwendet, um Ergebnisse anhand der Häufigkeit von Begriffen innerhalb einer Dokumentensammlung zu ordnen. Stichwortsuchmaschinen suchen nach Wörtern der Suchanfrage und deren Alternativen; anschließend können diese Ergebnisse mithilfe eines Algorithmus nach ihrer Relevanz geordnet werden – von der höchsten bis zur geringsten. Diese Methoden sind sehr effizient und schnell, erfordern jedoch zahlreiche zusätzliche Heuristiken. Zu den erweiterten Funktionen zur Verbesserung rein statistischer Ranking-Modelle gehören unter anderem:

• Synonymbibliotheken mit weiteren Alternativen zu den ursprünglichen Suchbegriffen (z. B. „tv“ oder „Fernsehen“ oder „Fernseher“)
• Regeln zur Verarbeitung bestimmter Arten von Suchanfragen (z. B.: „Wenn die Suchanfrage ‚über NUMBER‘ enthält, dann wandle sie in einen Filter nach der Größe um, wie z. B. ‚Fernseher über 27 Zoll‘“)
• Abfrageverfahren wie Tippfehlertoleranz, Kategorisierung, Stemming und weitere Techniken
• Engagement-Kennzahlen (wie Klicks, Beliebtheit und Konversionen)

Diese „Signale“ können eine positive Rückkopplungsschleife mit Ergebnissen bewirken. Wie ich zeigen werde, bedeutet ein höheres Engagement, dass die Ergebnisse entsprechend neu gewichtet werden können, was wiederum zu mehr Engagement führen kann.