Vorschläge

Produkte & Ressourcen

Zurück zu allen Ressourcen

Zusammenfassung

Transparenz ist ein entscheidender Schritt im Prozess der KI-Implementierung. Dieses Whitepaper richtet sich an Führungskräfte aus Wirtschaft und Technik und beleuchtet anhand von Beispielen aus der Praxis, wie transparente KI in ihr Unternehmen integriert werden kann.

Einleitung

Da die Technologiebranche ihre Pläne zur Integration von Künstlicher Intelligenz (KI) in zentrale Geschäftsprozesse weiter konkretisiert, steigt der Druck auf CTOs und leitende Entwickler, die passenden KI-Lösungen zu implementieren. Eine der wichtigsten Anwendungen von KI ist die Suche, sei es auf Websites, in Apps oder in spezialisierten Suchumgebungen.

Als CTO oder Senior-Entwickler sind Sie für die Implementierung dieser Suchfunktionen verantwortlich. Funktionieren die Suchalgorithmen, finden Nutzer, was sie suchen, und nutzen die Suchfunktion mit höherer Wahrscheinlichkeit weiterhin. Sie interagieren mit Inhalten oder kaufen Produkte, und Ihre Stakeholder sind mit der Suchimplementierung zufrieden. Finden Nutzer nicht schnell, wonach sie suchen, suchen sie woanders nach den benötigten Produkten oder Informationen. Sie verpassen dann die Chance, diese Nutzer gezielt anzusprechen – seien es Käufer, die nach einem bestimmten Artikel suchen, Studenten, Leser oder Zuschauer, die nach bestimmten Inhalten suchen, oder Entscheidungsträger, die Informationen zu einem Produkt oder einer Lösung benötigen. Liefern Sie nicht die gewünschten Ergebnisse, entgehen Ihnen Umsatzchancen, Kundenbindungsmöglichkeiten, das Wachstum Ihres Unternehmens verlangsamt sich, und Sie müssen mitunter unangenehme Gespräche darüber führen, wie die KI funktioniert – oder eben nicht.

Dies sind die Kosten eines nicht optimierten KI-Suchalgorithmus, und viele suboptimale KI-Erfahrungen resultieren daraus, dass die Gründe für das Versagen einer KI-Lösung nicht nachvollziehbar sind. Kurz gesagt: Diese Lösungen sind hinsichtlich ihrer Entscheidungsprozesse während der Implementierung oder Feinabstimmung nicht transparent und verlieren dadurch das Vertrauen sowohl ihrer Endnutzer als auch der Stakeholder, die auf sie angewiesen sind.

Transparenz ist ein entscheidender Schritt im KI-Implementierungsprozess. Ohne sie wäre jeder Optimierungsversuch nichts weiter als das blinde Anpassen von Trainingsdaten und Modellparametern, bis das Modell hoffentlich besser wird. Selbst dann gibt es keine Garantie dafür, dass zukünftige Datenpunkte (mit denen das neue, verbesserte Modell nicht trainiert oder getestet wurde) dieselbe Leistungssteigerung erzielen, ohne zu verstehen, warum sich das Modell durch diese Anpassungen verbessert hat. Schon wenige negative Erfahrungen genügen, um das Vertrauen der Endnutzer zu verlieren – ein Risiko, das Sie bei Ihrem Suchalgorithmus nicht eingehen möchten.

Die Abhängigkeit einfacher Optimierung und letztlich des Nutzervertrauens von KI-Transparenz ist der Grund, warum sie zu den am schnellsten wachsenden Teilgebieten der Künstlichen Intelligenz zählt. Doch was bedeutet KI-Transparenz konkret? Zendesk definiert sie als „das Verständnis dafür, wie KI-Systeme Entscheidungen treffen, warum sie bestimmte Ergebnisse liefern und welche Daten sie verwenden“.

KI-Transparenz ist, wie viele Überbegriffe, zwar hilfreich, um eine Klasse von KI-Herausforderungen zu beschreiben, aber gleichzeitig nicht spezifisch genug, um diese direkt anzugehen. KI-Transparenz umfasst jedoch Konzepte wie KI-Interpretierbarkeit und KI-Erklärbarkeit. Hier können wir konkrete Handlungsempfehlungen für die Implementierung transparenter KI-Lösungen geben. Transparenz, Erklärbarkeit und Interpretierbarkeit werden oft synonym verwendet, doch für Anwender dieser Konzepte ist eine präzise Definition wichtig.

Laut Richard Manns „Unlocking AI Algorithms: A Journey into Explainable Artificial Intelligence“ ist „erklärbare KI (XAI) eine Reihe von Prinzipien, Techniken und Verfahren, die Nutzern und Entwicklern von KI-Modellen helfen zu verstehen, wie diese Modelle Entscheidungen treffen.“ Dies ist ein gutes Beispiel, da es einfach und nutzerzentriert ist, aber gleichzeitig die Grundlage dafür schafft, Erklärbarkeit als Werkzeug zur Verbesserung der KI selbst, der Probleme, die sie lösen soll, und der Geschäftsergebnisse, für die sie verantwortlich ist, zu nutzen.

Interpretierbare KI ist zwar ähnlich wie Transparenz, aber ein eigenständiges Konzept, das sich von erklärbarer KI unterscheidet. IBM definiert Interpretierbarkeit als „das Ausmaß, in dem ein Beobachter die Ursache einer Entscheidung verstehen kann. Sie entspricht der Erfolgsquote, mit der Menschen das Ergebnis einer KI-Ausgabe vorhersagen können. Erklärbarkeit geht einen Schritt weiter und untersucht, wie die KI zu diesem Ergebnis gelangt ist.“ Demnach ist Interpretierbarkeit ein vorab gegebenes Verständnis des Entscheidungsprozesses eines Modells bzw. der Faktoren, die Entscheidungen beeinflussen, während Erklärbarkeit ein nachträgliches Verständnis oder eine Analyse dessen ist, wie genau ein Modell zu einer Entscheidung gelangt ist.

Im Glossar am Ende finden Sie leicht verständliche Definitionen dieser Konzepte im Zusammenhang mit KI-Transparenz. Einen ausführlicheren Überblick über die Prinzipien erklärbarer KI bietet dieser Artikel.

Mit diesen Definitionen im Hinterkopf wollen wir nun einige Beispiele aus der Praxis betrachten, wie man transparente KI in sein Unternehmen integrieren kann.

Einfachere, selbstinterpretierbare Modelle

Manche Modelle sind so einfach, dass sie sich selbst erklären. Laut Built In sind „selbstverständliche Modelle selbst die Erklärungen und können direkt von einem Menschen gelesen und interpretiert werden… Zu den gängigsten selbstverständlichen Modellen gehören Entscheidungsbäume und Regressionsmodelle, einschließlich logistischer Regression.“

Obwohl die Begriffe interpretierbar und erklärbar synonym verwendet werden und man argumentieren könnte, dass die aufgeführten Modelle sowohl selbstinterpretierbar als auch selbsterklärend sind, ist dies ein guter Ausgangspunkt, um zu verstehen, wie man seine Modelle vertrauenswürdig und transparent gestaltet.

Wenn Sie ein erfahrener Data Scientist sind, der die oben genannten Modelle bereits optimal implementiert und erläutert, können Sie direkt zu Seite 13, „Modellunabhängige Transparenzmethoden“, springen. Sind Sie hingegen CTO, Führungskraft oder arbeiten Sie eng mit Data Scientists zusammen? Dann lesen Sie weiter und erfahren Sie, wie einfache, selbsterklärende Modelle Best Practices für KI-Transparenz integrieren können.

Lineare Regression

Die lineare Regression ist ein Modell des maschinellen Lernens, das eine lineare Beziehung zwischen zwei Variablen herstellt, um zukünftige Datenpunkte entlang derselben Geraden vorherzusagen. Sie wird häufig verwendet, um bekannte Kennzahlen wie Suchanfragen, Klicks oder Seitenaufrufe zu nutzen, um schwerer zu erfassende oder noch nicht erfasste Kennzahlen wie Checkouts, Verkäufe oder andere nachgelagerte KPIs mit begrenzter Verfügbarkeit zu ergänzen oder vorherzusagen. Lineare Regressionsmodelle gelten zudem als selbsterklärend und interpretierbar. Dies ist von Vorteil, denn wenn man dem Modell, das fehlende oder zukünftige Daten generiert hat, nicht vertraut, kann man auch den Daten selbst nicht vertrauen, was zu einer geringen Akzeptanz im Unternehmen führt.

Das Starten einer linearen Regression liefert nicht automatisch eine Erklärung. Auch lässt sich die visualisierte Ausgabe (eine Ausgleichsgerade, wie unten dargestellt) nicht einfach visuell beurteilen und als optimal bestätigen. Lineare Regressionsmodelle sind daher nicht so selbsterklärend wie manche menschliche Entscheidungen oder einfachere Technologien wie tagbasierte Klickverfolgung.

Dennoch zählt die lineare Regression zu den am besten erklärbaren und interpretierbaren Formen der KI, da man die Berechnung für mehrere Datenpunkte durchführen und nachvollziehen kann, wie die Ausgleichsgerade ermittelt wurde. Ein lineares Regressionsmodell minimiert die untenstehende Verlustfunktion, indem es sicherstellt, dass der quadrierte Mittelwert der Differenz zwischen jedem Datenpunkt und der gewählten Geraden so klein wie möglich ist.

S = Σ(i=1..n) d_i² S = Σ(i=1..n) [y_i − f(x_i)]² S = d_1² + d_2² + d_3² + … + d_n²

Lineare Regressionsmodelle sind, wie die meisten selbstinterpretierbaren Modelle, sehr einfach aufgebaut, sodass man leicht darauf vertrauen kann, dass sie korrekt implementiert wurden. Hier ist ein vollständiges Machine-Learning-Modell in Python, vorausgesetzt, Sie haben Ihre Spalten bereits als abhängige Variable y und unabhängige Variablen x definiert.

from sklearn.linear_model import LinearRegression lrm = LinearRegression() lrm.fit(x_train, y_train) predictions = lrm.predict(x_test)

Dies erfordert üblicherweise eine Datenbereinigung im Vorfeld, die Aufteilung der Daten in Trainings- und Testdatensätze sowie die anschließende Evaluierung des Modells. Es handelt sich um einfachen Code, der (viele) einfache mathematische Operationen durchführt und leicht nachvollziehbar ist.

Die lineare Regression ist auch deshalb einzigartig, weil man die Algorithmen mit einer einzigen Kennzahl aus der Mittelstufe erklären kann: der Steigung einer Geraden oder dem Koeffizienten des linearen Regressionsmodells. Hier ist die entsprechende Codezeile:

lrm.coef_

Dies liefert eine Aufschlüsselung darüber, um wie viel die abhängige Variable x zunimmt, wenn die unabhängige Variable y um eine Einheit steigt. Wenn Ihr lineares Regressionsmodell die Anzahl der Suchanfragen auf Ihrer Website anhand der Anzahl der Website-Aufrufe vorhersagt, lässt sich ein Koeffizient von zwei wie folgt erklären: „Für jeden zusätzlichen Website-Aufruf sind zwei zusätzliche Suchanfragen zu erwarten.“

Dies ist ein Beispiel für eine sehr einfache Metrik zur Vorabinterpretierbarkeit, die Ihnen zeigt, wie das Modell zukünftige Datenpunkte vorhersagt, sowie für eine Metrik zur nachträglichen Erklärbarkeit, mit der Sie einen gegebenen Datenpunkt erklären können, indem Sie ihn auf der Regressionsgeraden platzieren. Sie können mit den gegebenen Informationen sogar zukünftige Datenpunkte vorhersagen, wie im obigen Beispiel.

Doch kein Modell ist perfekt. Das Vertrauensproblem bleibt bestehen, wenn das Modell anfängt, Vorhersagen zu verfehlen. Falsche Vorhersagen sind unter Umständen schwer zu erklären, wenn man das Modell für unfehlbar hält. Ein guter Data Scientist kann schnell Kennzahlen liefern, die belegen, wie vertrauenswürdig dieses Modell ist (mehr dazu im nächsten Abschnitt). Dadurch wird es sehr leicht erklärbar, selbst wenn es in einem geringen Prozentsatz der Fälle falsch liegt.

Der mittlere quadratische Fehler (RMSE) dient dazu, zu bewerten, wie stark die Vorhersagen eines linearen Modells von den realen, überprüfbaren Testdaten abweichen. Er ist eine wichtige Kennzahl für die Interpretierbarkeit und Erklärbarkeit, da man so die zu erwartende Leistungsfähigkeit des Modells vor dessen Einsatz abschätzen kann.

Logistische Regression und andere Klassifikationsmodelle

Betrachten wir nun genauer, wie die Modellleistung mit Interpretierbarkeit und Erklärbarkeit zusammenhängt. Um die Modellleistung zu erörtern, müssen wir auf einige Codezeilen zurückkommen, die wir oben noch nicht erwähnt haben: die Aufteilung in Trainings- und Testdaten. Obwohl sie Bestandteil jedes Machine-Learning-Skripts ist, gehört sie nicht zum Modell selbst. Das einfachste Skript zur Implementierung eines Machine-Learning-Modells sähe folgendermaßen aus:

  1. Datenbereinigung und -sammlung – damit verbringen Datenwissenschaftler den größten Teil ihrer Zeit.
  2. Importieren Sie ein Modell, ähnlich der oben genannten linearen Regression, das jedoch für komplexere Modelle oder intern entwickelte Algorithmen abweichen kann.
  3. Die Daten werden in (1) Prädiktoren und abhängige Variable und anschließend weiter in (2) Trainings- und Testdaten unterteilt, worüber wir jetzt sprechen werden.
  4. Instanziieren Sie das Modell (gegebenenfalls mit Kundenparametern).
  5. Passe das Modell an (trainiere es mit dem Trainingsdatensatz)
  6. Vorhersagen treffen
  7. Analysiere die Vorhersagen (gegenüber dem Testdatensatz)

Hier ist der Python-Code, der diese Aufteilung in Trainings- und Testdaten (Schritt 3.2) auf dem berühmten Titanic-Überlebenden-Datensatz beinhaltet und vorhersagt, ob ein Passagier überlebt hat oder nicht, basierend auf einer Vielzahl von Faktoren, darunter Geschlecht, Klasse, Alter usw.

from sklearn.model_selection import train_test_split x_train, x_test, y_train, y_test = train_test_split(train.drop('Survived',axis=1), train['Survived'], test_size=0.30, random_state=101)

Warum ist diese Aufteilung notwendig? Weil neue Vorhersagen nicht einfach überprüft werden können, ermöglicht die Aufteilung in Trainings- und Testdatensätze, das Modell mit einem Datensatz zu trainieren und die Vorhersagen anschließend mit den Testdaten zu vergleichen. Das ist vergleichbar mit einem Lehrer, der in einer Prüfung nur Fragen stellt, für die er bereits die Lösungen kennt, anstatt die Schüler mit unbekannten Aufgaben zu testen. Es bringt uns nichts, zu sagen: „Ich habe alle Daten verwendet und das Modell ist trainiert, jetzt kann es Vorhersagen generieren“, denn die nächste Frage lautet sofort: „Wie gut sind diese Vorhersagen?“ Deshalb halten wir einen Teil der Daten als Testdaten zurück. Wir trainieren das Modell mit x_train und y_train, verwenden dann x_test für Vorhersagen und vergleichen diese anschließend mit y_test. Erst wenn wir mit der Leistung zufrieden sind, sagen wir neue Datenpunkte voraus, die wir nicht überprüfen können, wohl wissend, dass diese neuen Vorhersagen beispielsweise zu 98 % korrekt sein sollten.

Mit zunehmender Komplexität nimmt die Transparenz naturgemäß ab.

Dieser Prozess, bei dem überprüft wird, ob ein Modell gut lernt und ausreichend gut funktioniert, bevor es auf neue Daten angewendet wird, wird als überwachtes Lernen bezeichnet. Und überwachtes Lernen ermöglicht sehr einfache Interpretationen und Erklärungen.

Wenn Sie Data Scientist sind, mag Ihnen das selbstverständlich sein, aber wenn Sie CTO sind oder in einem datenwissenschaftlich verwandten Bereich arbeiten, fragen Sie sich vielleicht, wie genau Modelle sind und in welchem ​​Maße.

Eine Konfusionsmatrix, eine gängige visuelle Analyse der Leistungsfähigkeit eines Modells, zeigt, wie ein Klassifikationsmodell wie die logistische Regression richtig oder falsch abgeschnitten hat:

  Tatsächlich: Positiv (1) Istwert: Negativ (0)
Vorhersage: Positiv (1) TP FP
Vorhersage: Negativ (0) FN TN

Richtig Positive (TP) und Richtig Negative (TN) lassen sich einfach definieren: Hat Ihr Modell die positiven bzw. negativen Ergebnisse korrekt vorhergesagt? Wenn Sie vorhersagen, wann Nutzer auf einen Button klicken, haben Sie dann korrekt vorhergesagt, wann sie klicken (Richtig Positiv) und wann nicht (Richtig Negativ)? Falsch Positive (FP) liegen vor, wenn Ihr Modell einen Klick vorhersagte, dieser aber nicht erfolgte (Sie haben ein positives Ergebnis vorhergesagt, was aber falsch war). Falsch Negative (FN) liegen vor, wenn Sie einen Klick nicht vorhergesagt haben, dieser aber erfolgte (Sie haben ein negatives Ergebnis vorhergesagt, was aber falsch war).

Auch hier gilt: Die Ausgabe einer Konfusionsmatrix wie im obigen Bild ist einfacher Code. Wenn Sie diese jedoch in ein Modell einbinden und die Zuverlässigkeit des Modells erklären möchten, gehört es zur Transparenz, zu wissen, wie und wann man sie verwendet und was sie bedeutet:

from sklearn.metrics import confusion_matrix print(confusion_matrix(y_test,pred))

Achtung, Reduktionismus! Genau das tun selbstfahrende Autos im Grunde. Natürlich kommen komplexe neuronale Netze zum Einsatz, die diese Aufgabe erfüllen, nicht nur eine einfache logistische Regression, aber das Ziel ist dasselbe: Dinge zu klassifizieren.

Sie klassifizieren Bildausschnitte als „Auto“ oder „Nicht-Auto“. Ihr Auto wird versuchen, Autos zu meiden. Es wird versuchen, „Nicht-Auto“ weiter zu klassifizieren und es möglicherweise an ein anderes Machine-Learning-Modell oder eine Gruppe von Neuronen in einem Netzwerk weiterzuleiten, die auf die Klassifizierung von Objekten wie Personen, Verkehrsschildern oder Nebelschwaden spezialisiert sind. (Anmerkung: Aus diesem Grund wird komplexere KI als „Algorithmus“ bezeichnet, während eine einzelne Machine-Learning-Instanz oder ein Skript einfach ein „Modell“ ist.)

Die Folgen einer Fehlklassifizierung eines Fahrzeugs als „kein Fahrzeug“ (ein falsch negatives Ergebnis) könnten das Leben der Insassen sein. Die Einstufung einer beschädigten Betonfläche als Fahrzeug könnte eine Vollbremsung oder ein unnötiges Ausweichmanöver auslösen.

Für transparente und vertrauenswürdige KI müssen Ihre Data-Science-Teams nicht nur die Fehlertypen verstehen, sondern auch die am wenigsten schädlichen Fehler optimieren (was bedeutet, dass sie sowohl Fachexperten als auch Data Scientists sein müssen). Anschließend müssen sie die Gesamtleistung des Modells optimieren (was bedeutet, dass Ihre Data Scientists sowohl Fachexperten als auch Data Scientists sein müssen).

Präzision, Trefferquote und F1-Score vergleichen die Vorhersagen eines Klassifikationsmodells wie der logistischen Regression oder der k-nächsten Nachbarn mit Testwerten, sodass Modelle bei der Anwendung als genau und vertrauenswürdig gelten können oder als ungenau, sodass Sie mehr Daten sammeln, ein neues Modell auswählen oder Parameter anpassen können, um die Genauigkeit zu verbessern.

Hier ist ein Beispiel für einen Klassifizierungsbericht eines logistischen Regressionsmodells auf Basis desselben Titanic-Datensatzes:

from sklearn.metrics import classification_report print(classification_report(y_test,predictions))
             Präzision Recall F1-Score Support 0 0,81 0,93 0,86 163 1 0,85 0,65 0,74 104 Durchschnitt/Gesamt 0,82 0,82 0,81 267

Diese Aufteilung in Trainings- und Testdaten und die anschließende Modellanalyse sind von grundlegender Bedeutung für:

  1. Das richtige Modell auswählen, das gute Leistungen erbringt
  2. Sicherstellen, dass das Modell mit genügend Daten trainiert wird, um seine Aufgabe zu erfüllen
  3. Zu wissen, inwieweit wir den Vorhersagen unseres Modells vertrauen können.
  4. Berücksichtigung des Kontexteinflusses bestimmter Fehlertypen wie falsch positive oder falsch negative Ergebnisse

Das alles soll heißen, dass transparente KI mehr benötigt als nur die richtigen Modelle; sie braucht die richtigen Teams und die richtigen Geschäftsprozesse, die sie unterstützen, darunter:

  1. Gute Daten für das Training
  2. Gute Datenteams, die die richtigen Modelle oder Algorithmen implementieren.
  3. Gründliche und kontinuierliche Analysen, um sicherzustellen, dass das Modell sein erklärtes Ziel erreicht.

All das und diese Modelle sollten selbsterklärend sein!

Komplexe, selbstinterpretierbare Modelle

Lineare Regression, logistische Regression und andere einfache Klassifikationsmodelle wie k-nächste Nachbarn lassen sich recht einfach visualisieren, verstehen und berechnen und bieten daher einfachere Erklärungs- und Interpretationsmöglichkeiten. Doch hier beginnt die eigentliche Herausforderung.

Entscheidungsbäume

Entscheidungsbäume sind ein Machine-Learning-Modell, das sich sowohl für Klassifizierungs- als auch für Regressionsprobleme eignet. Sie können große Datenmengen gleichzeitig verarbeiten. Da sie dem gleichen grundlegenden Ablauf und im Wesentlichen dem gleichen Code wie die oben genannten Machine-Learning-Skripte folgen, sind sie äußerst leistungsstarke Werkzeuge zur Problemlösung mithilfe von KI. Bei komplexeren Problemen werden leistungsfähigere Modelle benötigt, allerdings gehen diese dadurch auch an Transparenz einher. Dieser Zielkonflikt zwischen Komplexität und Transparenz wird deutlich, wenn wir die Unterschiede zwischen Entscheidungsbäumen und dem komplexeren Random-Forest-Modell genauer betrachten.

Decision trees use mathematical formulae to maximize information gain with each logical split, which is to say they try to make splits that result in the greatest number of one class’ outcomes being put on one side. For example, if most of the time when it's not raining you play golf, then that's where the decision tree will make the split. Node one on the decision tree will be “is raining” and that first split will be “true” or “false.” Node two might be something like “temperature” and that split will be “>70” or “<70,” if you often don’t play when it's above that.

Falls Ihnen das wie eine zu starke Vereinfachung vorkommt oder Sie den Faden verloren haben, keine Sorge, der Punkt ist, dass Entscheidungsbäume leicht zu erklären sind, weil man die Knoten sehen kann, die Kriterien für eine Aufteilung identifizieren kann und eine Entscheidung entlang der Zweige des Baums verfolgen kann.

Hier ist ein Beispiel aus dem Gesundheitswesen, das die Überlebenswahrscheinlichkeit bei Krebspatienten anstelle von Golf vorhersagt. Anstelle von Temperatur und Wetter werden Patientendaten wie „Alter“, „Operationsdatum“ und die Anzahl der „Knoten“ verwendet. Mit wenigen Zeilen Python-Code in einem Jupyter-Notebook erhalten Sie eine Ausgabe wie diese:

Es wird sofort deutlich, dass Entscheidungsbäume mit numerischen Daten weit mehr Aufteilungen ermöglichen als nur eine Aufteilung entlang der Mitte und auch mehr als nur die Aufteilung anhand der Anzahl der Variablen. Dennoch lässt sich der Baum für einen bestimmten Fall recht einfach bis zu seinem Blatt verfolgen, sodass man nachvollziehen kann, wie er seine Vorhersage getroffen hat. Solange man den Code zur Visualisierung des Baums hat – wie dieser Medium-Artikel erklärt –, handelt es sich um eine sehr gut erklärbare KI.

Zufallswälder

Und wie wäre es damit? Immer noch leicht verständlich?

Abgesehen davon, dass es deutlich mehr Bäume gibt (und das Bild daher zwangsläufig viel kleiner ist), gehen Random Forests bei der Aufteilung der Daten anders vor. Sie maximieren nicht mehr nur den Informationsgewinn bei jeder Aufteilung, sondern jeder Baum wählt unterschiedliche Aufteilungen, um zukünftige Daten zu berücksichtigen. Indem sie Überanpassung vermeiden, erzielen sie oft Ergebnisse, wo einzelne Bäume versagen. Außerdem simulieren sie in der Regel Hunderte von Schätzern, anstatt nur einen Baum oder die fünf oben gezeigten.

Das ist vergleichbar damit, den Weg eines einzelnen Nutzers durch eine Suchmaschine zu verfolgen und anschließend eine Übersicht aller Nutzerwege zu erhalten. Es handelt sich um eine weitere Ebene der Extrapolation beim Herauszoomen, aber angesichts des Verständnisses und des Vertrauens in das zugrunde liegende Konzept eignet es sich gut, dieses Konzept auch im großen Maßstab zu verstehen und ihm zu vertrauen.

Man kann nicht einfach einem einzelnen Entscheidungsbaum folgen und sagen: „So hat das Modell seine Vorhersage getroffen“, da das Random-Forest-Modell die Einzelentscheidungen mehrerer Bäume zu einer endgültigen Entscheidung zusammenfasst, entweder durch Abstimmung, Mittelwertbildung oder durch Ausgabe einer prozentualen Wahrscheinlichkeit für ein bestimmtes Ergebnis. Die Entscheidung lässt sich aber in relativ einfachen Worten erklären.

Sie können die Genauigkeit von Entscheidungsbaummodellen weiterhin mithilfe von Konfusionsmatrizen erklären, um falsch positive und falsch negative Ergebnisse zu identifizieren und die Auswirkungen verschiedener Fehlertypen in der Praxis abzuwägen. Klassifizierungsberichte können weiterhin zur Bewertung der Modellleistung und gegebenenfalls zur Feinabstimmung verwendet werden. Diese Aspekte sind grundlegend für eine gute Datenanalyse und somit auch für die Erklärbarkeit von KI, wie wir im Abschnitt zur logistischen Regression dieses Artikels erläutert haben.

Aber Entscheidungsbäume und Random Forests bieten noch etwas mehr in unserem Instrumentarium zur Erklärbarkeit: einen Wichtigkeitswert.

Der Wichtigkeitswert ist unser erstes Beispiel für eine echte nachträgliche Erklärbarkeitsmetrik für KI, die erklärt, wie ein Modell seine Entscheidungen trifft, ohne notwendigerweise die Funktionsweise des Modells zu analysieren oder seine Mechanismen zu zerlegen. Wichtigkeitswerte sind tendenziell globale Interpretationsmethoden, die Einblick in die Entscheidungsfindung des Modells für alle Datenpunkte geben, anstatt wie lokale Erklärbarkeitsmethoden eine einzelne Entscheidung rückwärts zu erklären.

Wichtigkeitswerte sind einfach und grundlegend, um die Entscheidungen von Random Forests zu erklären (siehe Artikel für weitere Informationen).

Einfache Algorithmen

Wir werden nun zügig von der Betrachtung einzelner Arten von Machine-Learning-Modellen zum Fokus auf die Frage übergehen, wie KI-Algorithmen im Allgemeinen mit zunehmender Komplexität an Transparenz verlieren. Anschließend werden wir einige Erklärbarkeitsmethoden besprechen, die für jeden Typ von Machine-Learning-Modell anwendbar sind.

Das Verständnis der zusätzlichen Extrapolationsebene – wo wir von „Modellen“ zu „Algorithmen“ gelangen – ist sowohl für die Erklärbarkeit von KI als auch für Data-Science-Teams, die die effektivsten Modelle implementieren wollen, von Bedeutung.

Ein Algorithmus lässt sich grob als eine Abfolge von Schritten definieren, die ein Programm ausführt. Streng genommen kann jedes Skript, das auch nur ein einziges Machine-Learning-Modell verwendet, als Algorithmus bezeichnet werden. Schließlich umfasst er auch mehrere Schritte wie Datenbereinigung, -aufteilung und die Ausgabe verschiedener Metriken.

Wie das Beispiel des selbstfahrenden Autos bereits andeutete, geht man bei der Verarbeitung von Informationen durch mehrere Modelle von Einzelmodellen zu Algorithmen von Modellen über.

Rastersuche

GridSearch ist eine Methode, die systematisch mehrere Modelle testet, um dasjenige zu verwenden, das die beste Leistung erbringt.

Viele Modelle des maschinellen Lernens verwenden Parameter, die dem Modell übergeben werden. Die meisten dieser Parameter haben Standardwerte, die selten angepasst werden. Beispiele für solche Kriterien, die unten in der Standard-Fit-Methode für die jeweiligen scikit-learn-Modelle dargestellt sind, umfassen die Anzahl der Cluster für k-Means-Clustering, die Anzahl der Schätzer für Random Forests und die C- oder Gamma-Werte für Support-Vector-Classifier, die Bias und Varianz kalibrieren, um Unter- bzw. Überanpassung zu korrigieren. Hinweis: Dies sind drei separate Beispiele für die Instanziierung verschiedener Modelle mit unterschiedlichen, nicht standardmäßigen Parametern – keine aufeinanderfolgenden Codezeilen. In den obigen Beispielen haben wir einige dieser Felder leer gelassen, wodurch die Funktion in Python die Standardparameter verwendet.

kmeans = KMeans(n_clusters=4)
rfc = RandomForestClassifier(n_estimators=600)
svc_model = SVC(C=10, gamma=0.1)

GridSearch verwendet ein kriterienloses Machine-Learning-Modell als Eingabe und führt es mehrfach mit unterschiedlichen Kriterien aus, um die Genauigkeit zu maximieren. Das ist vergleichbar damit, mehreren Bewerbern im Vorstellungsgespräch dasselbe reale Problem zu präsentieren, denjenigen einzustellen, der es am besten gelöst hat, und zu sagen: „Herzlichen Glückwunsch, Sie leiten jetzt dieses Projekt, weil Ihr Modell im Bewerbungsprozess so gut abgeschnitten hat!“

Speziell für das Support Vector Classifier (SVC)-Modell, ein weiteres gängiges Machine-Learning-Modell, das etwas komplexer ist als die oben genannten, können Sie unterschiedliche C- und Gamma-Werte übergeben, damit Grid Search den genauesten Wert auswählt.

from sklearn.model_selection import GridSearchCV
param_grid = {'C': [0.1,1, 10, 100], 'gamma': [1,0.1,0.01,0.001]}
grid = GridSearchCV(SVC(), param_grid)
grid.fit(X_train,y_train)

Beachten Sie, wie das SVC-Modell innerhalb der GridSearchCV-Funktion ohne festgelegte Parameter instanziiert wird und dass der GridSearch-Algorithmus selbst nun das Objekt ist, für das die fit-Methode aufgerufen wird. Dies signalisiert, dass GridSearchCV ein Algorithmus ist, der ein Machine-Learning-Modell und das ihm übergebene Parameterwörterbuch integriert.

GridSearch verringert nicht zwangsläufig die Transparenz von KI. Es geht vielmehr darum, das richtige Modell zu implementieren, sodass alle oben genannten Methoden der Erklärbarkeit und Interpretierbarkeit weiterhin Gültigkeit haben. Es dient lediglich dazu, sicherzustellen, dass der Weg von den Daten zur Vorhersage der optimale und direkteste ist.

Gradientenboosting

Eine weitere Methode, um von einzelnen Modellen zu Algorithmen zu gelangen, ist Gradient Boosting. Dabei werden Modelle miteinander verknüpft, sodass jedes die Fehler seiner Vorgänger korrigieren kann – ähnlich wie Menschen von ihren Eltern lernen. XGBoost ist eine solche Python-Bibliothek für Gradient-Boosting-basierte Entscheidungsbäume und kann ähnlich wie scikit-learn in den obigen Codebeispielen instanziiert werden. Ein Beispiel für die Verwendung von XGBoost finden Sie im GitHub-Repository XAI-for-practitioners .

Gradient-Boosting-Algorithmen erhöhen die Komplexität Ihres Algorithmus und können ein selbsterklärendes Modell wie einen Entscheidungsbaum erst im Nachhinein verständlich machen – ähnlich wie ein Random-Forest-Klassifikator, der die Modellkomplexität über die visuelle Interpretierbarkeit hinaus erhöht. Erinnern Sie sich an das Bild eines einzelnen Entscheidungsbaums im Vergleich zu einem Wald? Stellen Sie sich vor, wie sie sich gegenseitig beeinflussen, anstatt nebeneinander. Denken Sie daran: Mit zunehmender Komplexität nimmt die Transparenz zwangsläufig ab.

Überwachtes Lernen ermöglicht sehr einfache Interpretationen und Erklärungen.

Daher gewinnen nachträgliche Erklärbarkeitsmethoden bei „geboosteten“ Algorithmen und anderen Arten von KI-Algorithmen eine extrem hohe Bedeutung, und letztendlich bleiben uns noch weniger Möglichkeiten für Transparenzmethoden beim Deep Learning und neuronalen Netzen.

Modellunabhängige Transparenzmethoden

Da viele dieser Modelle so komplex geworden sind, gibt es keine spezifischen Methoden mehr, jedes einzelne Modell zu analysieren, wie beispielsweise beim linearen Regressionskoeffizienten. Daher entwickelt sich die Transparenz von KI zu einem eigenen Forschungsfeld, das Algorithmen auf viele dieser „Black-Box“-Modelle aufsetzt. Mit dem Fortschritt der KI-Erklärbarkeit entstehen ganze Klassen von Erklärbarkeits- und Interpretierbarkeitsmetriken, die auf nahezu jedes Modell anwendbar sind. Diese lassen sich grob in zwei Typen unterteilen: globale und lokale.

Globale modellagnostische Erklärbarkeitsmethoden sind eigene Algorithmen, die auf dem KI-Algorithmus aufsetzen und eine umfassende Erklärung des gesamten Datensatzes liefern, während lokale modellagnostische Erklärbarkeitsmethoden darauf abzielen, einzelne Vorhersagen zu erklären.

Diese modellunabhängigen Erklärbarkeitsmethoden sind selbst Algorithmen, die entwickelt wurden, um den jeweiligen KI-Algorithmus nachträglich zu analysieren – ähnlich wie ein SaaS-Unternehmen ein Analyseprodukt anbietet, das seine Kernprodukte ergänzt. So wie bestimmte Produkte den Wert, die Akzeptanz oder die Benutzerfreundlichkeit anderer Produkte steigern, erhöhen diese Algorithmen den Wert, die Akzeptanz und die Leistung Ihrer KI-Algorithmen.

Globale modellagnostische Methoden

Globale Methoden eignen sich hervorragend, um die Bedeutung einzelner Merkmale für die Modelle insgesamt aufzuzeigen. Betrachten wir folgendes Beispiel: Ihr Unternehmen verwendet einen Random-Forest-Klassifikator, um vorherzusagen, ob Kunden, die einen Ihrer Dienste abonniert haben, abwanderungsgefährdet sind. Sie importieren alle Salesforce-Felder für jeden Abonnenten (ehemalige und aktuelle) und trainieren das Modell mit diesen Feldern. Perfekt, Sie haben nun eine Liste gefährdeter Kunden, auf die Sie sich konzentrieren können, basierend auf den Abonnenten, die in der Vergangenheit abgewandert sind.

Aber warum haben diese Abonnenten gekündigt, und wie können Sie Ihren Service zukünftig verbessern? Wenn Sie verstehen, wie wichtig die einzelnen Felder für den Random-Forest-Klassifikator sind, können Sie herausfinden, was Unternehmen davon abhalten könnte, ihr Abonnement zu kündigen! Erheben Sie Gebühren, die Sie senken sollten? Ist die Nutzung bestimmter Funktionen für Ihre Abonnenten unerlässlich, um einen Mehrwert zu erkennen? Erleichtert Ihr Servicemodell ihnen die Kontaktaufnahme und die Lösung von Problemen? Wenn Ihr Modell anhand von Kennzahlen wie der Anzahl der in den letzten drei Jahren zugewiesenen Account Manager, der genutzten Funktionen oder der Kosten trainiert wird, kommen Sie der Antwort einen Schritt näher. Transparenz kann sogar wertvoller sein als das Modell selbst.

Die Permutations-Feature-Importance (die offizielle Bezeichnung für Importance Score, wie oben im Abschnitt über Random Forests erläutert) ist eine globale Methode, die den Anstieg des Vorhersagefehlers misst, wenn jedes Feature im Trainingsdatensatz verändert oder entfernt wird. Dadurch wird ein Score berechnet, der angibt, wie wichtig jedes Feature für die Vorhersagegenauigkeit ist (siehe Beispiel in der Importance Score-Tabelle auf Seite 11) .¹

Partielle Abhängigkeitsdiagramme (PDPs) ordnen Erhöhungen jedes Merkmals marginalen Erhöhungen des vorhergesagten Wertes (bei Regressionsproblemen) bzw. durchschnittlichen Erhöhungen der Zielklassenwahrscheinlichkeit (bei Klassifizierungsproblemen) zu. Ähnlich wie der Regressionskoeffizient angibt, um wie viel die abhängige Variable zu erwarten ist, wenn unabhängige Variablen erhöht werden, funktionieren PDPs auch bei nichtlinearen Beziehungen zwischen den Variablen, im Gegensatz zur Methode `coef_` beim linearen Regressionsmodell.

1 Referenz .

ALE-Plots (Accumulated Local Effect) berechnen die Unterschiede in den Vorhersagen für kleine Bereiche der Merkmalswerte. Sie helfen Datenwissenschaftlern zu visualisieren, wie sich Extremwerte in den Daten auf die Entscheidungsfindung des Modells auswirken. Generell gilt: Wenn ein Merkmal einen extremen Unterschied aufweist, ist dieses Merkmal wichtig für den Entscheidungsprozess des Modells. Wenn sich das Modellergebnis bei den Maximal- und Minimalwerten eines Merkmals kaum unterscheidet, ist dieses Merkmal weniger wichtig. Wir sehen, dass (bei einem Datensatz zur Kundenzufriedenheit von Flugreisenden) nur extreme Werte des WLAN-Services an Bord einen signifikanten Einfluss auf die Modellvorhersagen haben, während Flüge im Privatreiseverkehr generell eher die Kundenzufriedenheit negativ beeinflussen. Die Einfachheit der Online-Buchung scheint zwar polarisierend zu sein, aber die Skala ist sehr klein, und Anpassungen dieser Kennzahl haben keinen signifikanten Einfluss auf die Vorhersage der Kundenzufriedenheit durch das Modell (weshalb sie ein Kandidat für die Entfernung aus dem Datensatz ist).

Lokale modellagnostische Methoden

Lokale Methoden versuchen, einzelne Vorhersagen zu erklären. Nehmen wir an, Sie wollten Kunden für einen Ihrer Abonnementdienste binden. Ihr Random-Forest-Modell hat beispielsweise die Abwanderung eines wichtigen Abonnenten vorhergesagt. Dieser Abonnent meldete sich plötzlich nicht mehr und kündigte dann tatsächlich – ohne dass es dafür eine Erklärung gab. Lokale, modellunabhängige Transparenzmethoden ermöglichen es Ihnen, die Vorhersage des Modells genauer zu analysieren und zu verstehen, warum dieser Kunde als „gefährdet“ eingestuft wurde. Sie werden den genauen Grund für die Abwanderung vielleicht nie erfahren, aber Ihr Modell kann Ihnen zumindest eine fundierte Vermutung liefern. Zukünftig können Sie versuchen, diese Probleme für ähnliche Nutzer zu beheben, die zwar als „gefährdet“ gelten, aber noch nicht abgewandert sind.

Die individuelle bedingte Erwartung (ICE) ähnelt der Vorhersageprognose (PDP). Während eine PDP die durchschnittliche Änderung der Vorhersage bei Änderung eines Merkmals im gesamten Datensatz darstellt, zeigt die ICE die Vorhersageabhängigkeit für jeden einzelnen Fall. Die Visualisierung und Auswertung der Datenmenge kann oft überwältigend sein, insbesondere wenn man eine einzelne Vorhersage isolieren möchte. Sie kann Datenwissenschaftlern jedoch helfen, Bereiche der Merkmals-Vorhersage-Interaktion zu identifizieren, anstatt nur die aggregierte PDP-Grafik zu betrachten. Dies ist vergleichbar damit, warum ein Datenanalyst eher einen Boxplot oder Quartile als den einfachen Durchschnitt einer Kennzahl betrachtet.

Hier ist ein weiteres Beispiel aus dem Bereich der Kundenzufriedenheit bei Fluggesellschaften, wo man erneut die Bandbreite der Unterschiede im WLAN-Service an Bord für die vielen einzelnen Ergebnisse der Kundenzufriedenheitsprognose erkennen kann.

Eine additive Erklärung nach SHAP (SHAP) ist ein Ansatz aus der kooperativen Spieltheorie, der es ermöglicht, spezifische Beispiele zu analysieren, indem jedes Merkmal des Datensatzes als Spieler in einem Spiel (dem Modell) betrachtet wird. Je nach Gewinn oder Verlust im Vergleich zum Gesamtgewinn oder Vorhersagewert wird geprüft, ob ein Merkmal am Spiel teilnimmt oder nicht. Anstatt eines Datenpunkts, der in den PDP (Prognose-Prognose-Prognose-Probability) eingemittelt wird, zeigt SHAP den Beitrag jedes Merkmals und jedes Datenpunkts zum Modelloutput an. Die folgende Abbildung veranschaulicht, wie stark jedes Merkmal eines Datensatzes (in diesem Fall Immobiliendaten) dazu beiträgt, vom allgemeinen Basiswert des Datensatzes zur spezifischen Vorhersage (Vorhersage des natürlichen Logarithmus des mittleren Hauspreises) zu gelangen:

Eine lokale, interpretierbare, modellunabhängige Erklärung (LIME) ist eine weitere gängige nachträgliche Erklärung für einzelne Datenpunkte. Dabei werden Datenpunkte in der Umgebung des Zieldatenpunkts erfasst und die Entscheidungen für diese anderen Datenpunkte danach gewichtet, wie nah sie im Raum am Zieldatenpunkt liegen. Die Ausgabe zeigt die wichtigsten Merkmale für die Entscheidung des Modells, die Werte für diesen spezifischen Datenpunkt für diese fünf Merkmale sowie die Wahrscheinlichkeit des Ergebnisses (falls das ursprüngliche Modell eine Klassifizierungsaufgabe durchführt), in diesem Fall die Überlebenswahrscheinlichkeit der Passagiere an Bord der Titanic.

exp.show_in_notebook(show_table=True)

NLP, Neuronale Netze, Deep Learning und LLMs

Hier wollen wir einige Konzepte besprechen, um besser zu verstehen, wie neuronale Netze, insbesondere Transformer-basierte (das T in Chat-GPT) Modelle, die sich auf die Verarbeitung natürlicher Sprache (NLP) konzentrieren, mit transparenter, vertrauenswürdiger KI zusammenhängen.

Beginnen wir mit den Grundlagen der natürlichen Sprachverarbeitung (NLP). Ein erster Schritt in jedem NLP-Algorithmus ist die Umwandlung eines Wortes in einen numerischen Code, die sogenannte Tokenisierung, und die Verknüpfung dieses Wortes mit anderen Wörtern auf verschiedene Weise. Die Komprimierung der Bedeutung und der Assoziationen dieses Wortes in einen Vektor im Raum wird als Vektorisierung bezeichnet.

Julien Lemoine, Mitbegründer und ehemaliger CTO von Algolia, erklärt in diesem Artikel mehr über den Tokenisierungsprozess und die nächsten Schritte im Bereich NLP.

Vektorisierung und Dimensionsreduktion verwenden komplexe mathematische Verfahren. Dies ist relevant für die Transparenz von KI, da die Vektoren, die in den meisten Sprachmodellen die Bedeutung eines einzelnen Wortes ausdrücken, für Menschen zunächst unverständlich sind. Stellen Sie sich vor, jeder Punkt unten ist viel mehr als nur ein Punkt; er repräsentiert das semantische Verständnis eines Wortes und aller zugehörigen Wörter im Trainingsdatensatz.

Komplexe KI-Algorithmen lassen sich nicht einfach analysieren und ihre Bestandteile nicht greifbar machen. Daher entwickeln wir eine Reihe weiterer Algorithmen und Methoden, um zu analysieren, wie das Modell zu einer bestimmten Entscheidung gelangt (mithilfe lokaler Methoden wie ICE, SHAP und LIME) oder Entscheidungen im Allgemeinen trifft (mithilfe globaler Methoden wie PDP, ALE usw.).

Letztendlich können selbst die meisten Menschen die volle Bedeutung eines Wortes nicht prägnant ausdrücken. Sie könnten wahrscheinlich fast jedes Wort Ihrer Sprache auch ohne Wörterbuch treffend definieren, aber können Sie wirklich alles, was das Wort „Zuhause“ für Sie bedeutet, zusammenfassen?

Neuronale Netze, insbesondere solche, die mit natürlicher Sprache arbeiten, sind etwas spezialisierter. Da sie technologisch führend sind, verfügen viele von ihnen über eigene Werkzeuge zur Visualisierung, Analyse oder anderweitigen Erklärung der Entscheidungen eines internen Mechanismus.

Beispielsweise bieten Self-Attention-Modelle wie BERT (Bidirectional Encoder Representations from Transformers) hervorragende Werkzeuge, mit denen Entwickler Wortassoziationen visualisieren können. Man kann sich Self-Attention-Modelle wie BERT als eine Art übergeordnetes Wortassoziationsnetzwerk vorstellen. Das Modell versteht also nicht nur die allgemeine Bedeutung eines einzelnen Wortes, sondern auch dessen Kontext innerhalb eines Satzes oder Textes.

Hier ist ein Beispiel für eine Visualisierung eines Selbstaufmerksamkeitsmechanismus.

Es gibt einige offensichtliche Nachteile. Wenn man sich Vigs GitHub-Repository genauer ansieht, fällt auf, dass es in einer einzelnen Visualisierung Dropdown-Menüs für „Layer“ und „Head“ mit vielen Optionen gibt. Das liegt daran, dass dieses Sprachmodell ein neuronales Netzwerk ist, in dem viele verschiedene Eingaben innerhalb eines komplexen KI-Algorithmus weitergeleitet werden – nicht nur von Neuron zu Neuron, sondern an mehrere „Heads“, die ihre Erkenntnisse zusammenführen (anders als ein Random Forest, der durch Mittelwertbildung oder Abstimmung Übereinstimmung zwischen mehreren baumbasierten Modellen sucht; eher vergleichbar mit verschiedenen Abteilungen in einem Unternehmen, die sich auf unterschiedliche Bereiche spezialisieren, aber alle das Ziel verfolgen, den Unternehmenserfolg zu sichern).

Bei 12 Schichten und 12 Köpfen führt der Algorithmus 144 Sprachanalysen gleichzeitig durch, um die Zusammenhänge zwischen den Wörtern in einer Eingabe zu verstehen.

Jede der 144 Analysen könnte wie folgt aussehen:

  • Welches Wort steht vor dem fraglichen Wort?
  • Welches Wort folgt danach?
  • Was ist das Objekt dieses Nomens?
  • Auf welches Substantiv bezieht sich dieses Pronomen?

Aber das sind keine grammatikbasierten Lernprozesse und auch keine von Menschen überwachten; hier lernt das Modell Sprache ähnlich wie Menschen – indem es auf den Kontext achtet. Und dann all das.

Zusätzlich zu dieser Komplexität muss man innerhalb jeder Layer-Head-Kombination jedes Wort einzeln durchscrollen, um die Beziehungen zu den anderen Wörtern zu erkennen. Es ist unmöglich, eine Layer-Head-Kombination ohne animiertes GIF oder Video, das das Scrollen durch jedes Wort zeigt, prägnant in einem Bild darzustellen. Die tatsächliche Anzahl der Berechnungen im BERT-Algorithmus liegt daher eher bei: 144 mal der Anzahl der Wörter oder Sonderzeichen in der Eingabe, multipliziert mit der Anzahl der Wörter oder Sonderzeichen in der Eingabe. Eine realistische Schätzung liegt bei etwa 144 * 11² Berechnungen, also ungefähr 17.000 – um dies sicher zu bestätigen, müsste man jedoch zahlreiche Visualisierungen analysieren.

Andere neuronale Netze oder Deep-Learning-Algorithmen verwenden ähnliche Visualisierungen. TensorFlow bietet beispielsweise diese Visualisierung für ein Deep-Learning-Netzwerk. Wie die Abbildung unten zeigt, verbirgt der Algorithmus trotz seiner Komplexität im aktuellen Zustand drei Verarbeitungsebenen, da der Entscheidungsprozess nur schwer lesbar und analysierbar ist. Solche Visualisierungen veranschaulichen eher, wie die Genauigkeit des Modells auf Änderungen der Neuronen- oder Schichtanzahl reagiert, als dass sie das eigentliche Entscheidungsfindungsprozess erklären.

In einem neuronalen Netzwerk passiert so viel, dass es für den Menschen schwerfällt, aus dieser Informationsflut ein klares Verständnis zu gewinnen. Visualisierungen ermöglichen zwar die Analyse einzelner Bestandteile eines Algorithmus, aber sie können dennoch nicht alle Entscheidungsprozesse vollständig aufklären. Um auf das Beispiel der Suchfunktion zurückzukommen: Wenn eines der oben genannten Modelle Ihren Suchalgorithmus repräsentieren würde, hätten Sie dann eine Idee, wie Sie ihn verbessern könnten, um irrelevante Suchergebnisse zu korrigieren? Man sollte meinen, dass es bessere Möglichkeiten gibt, die Ausgabe eines Suchmaschinenalgorithmus für eine bestimmte Suche zu erklären, wenn das Vertrauen der Nutzer und die Einnahmen vom Ergebnis abhängen.

Ein weiterer Nachteil der oben genannten Visualisierungen, insbesondere im Fall von BERT, ist ihr hoher Rechenaufwand. Der Betreiber des GitHub-Repositorys für Self-Attention merkt dazu an: „Dieses Tool ist für kurze Eingaben ausgelegt und kann bei sehr langen Eingabetexten und/oder großen Modellen langsam laufen.“ Anschließend beschreibt er detailliert Möglichkeiten zur Reduzierung des Rechenaufwands. Als CTO oder Architekt denken Sie vielleicht: „Rechenintensiv = teuer.“

So wie es beispielsweise beim Versuch, das Wort „Zuhause“ zu erklären, ist es sehr schwierig und arbeitsintensiv zu verstehen, was ein BERT-Modell alles über ein Wort oder eine Phrase weiß.

Aber warum ist das so schwierig? Weil die Aufgabe eines BERT-Modells darin besteht, die gesamte Sprache zu verstehen. In früheren Beispielen wurde ein Modell trainiert, um einen Wert ay anhand bestimmter x-Werte vorherzusagen. Große Sprachmodelle (LLMs) hingegen haben keine spezifische Aufgabe, außer Sprache im Allgemeinen zu lernen – als Grundlage für alle weiteren Aufgaben. Deshalb werden diese Modelle als „fundamentale“ oder „vortrainierte“ Modelle bezeichnet (das P in Chat-GPT).

Um KI-Lösungen vertrauen zu können, muss die Überwachung in die Lösung selbst und möglicherweise sogar in die Funktionsweise des Algorithmus integriert werden.

Maßgeschneiderte KI-Lösungen

Von der Diskussion einzelner Modelle des maschinellen Lernens bis hin zu KI-Algorithmen – betrachten wir nun eine umfassende KI-Lösung. Der Fokus einer KI-Lösung liegt nicht auf dem Modell oder Algorithmus selbst, sondern darauf, wie dieser in einem funktionalen oder geschäftlichen Kontext eingesetzt werden kann. Daher sind grundlegende Modelle, die durch bekannte generative KI (das „G“ in Chat-GPT) populär geworden sind, im Hinblick auf die Erklärbarkeit von KI möglicherweise nicht die richtige Antwort.

Zunächst einmal werden sie mit nahezu dem gesamten Internet trainiert. Der KI-Branchenveteran und derzeitige MIT-Forschungsmitarbeiter Irving Wladawsky-Berger thematisiert dieses Problem in seinem Blogbeitrag „Das aufkommende datenzentrierte KI-Zeitalter: Woher kommen all die Daten?“. Kürzlich moderierte er auf dem MIT Sloan CIO Symposium 2024 eine Podiumsdiskussion zu genau diesem Thema. „Generative KI-Modelle sind stark von der Qualität und Quantität der Trainingsdaten abhängig. Viele dieser Modelle werden jedoch mit riesigen, heterogenen und uneinheitlich dokumentierten Datensätzen trainiert, was ernsthafte Bedenken hinsichtlich der damit verbundenen rechtlichen und ethischen Risiken aufwirft“, heißt es in der Podiumsdiskussion. „Die Diskussionsteilnehmer werden die Komplexität der Verwendung großer, heterogener Datensätze für das Training generativer KI-Modelle, die Schwierigkeiten beim Verständnis der Datenherkunft sowie die notwendigen Werkzeuge und Standards für den verantwortungsvollen Einsatz dieser leistungsstarken Modelle erörtern.“

Da grundlegende Modelle beim Training nicht auf einen bestimmten Zweck ausgerichtet sind, erzielen sie möglicherweise nicht die optimale Leistung. Mike Mason, Chief AI Officer der Technologieberatung Thoughtworks, erklärte in derselben Podiumsdiskussion : „Wir haben mit einer Deep-Learning-basierten Anwendung für einen Modehändler gearbeitet, der Kunden beim Stöbern im Online-Katalog Artikel empfiehlt. Das bestehende System war mit jahrelangen Daten so gut trainiert und seine Algorithmen so hochentwickelt, dass das neue GenAI-Modell tatsächlich schlechter abschnitt. Je nach Zielsetzung kann ein hochentwickeltes, domänenspezifisches Deep-Learning-Modell besser geeignet sein als ein sehr allgemeines Modell.“ Wladawsky-Berger fasst die Diskussion wie folgt zusammen: „Es gibt Fälle, in denen ein relativ kleines, gut trainiertes, aufgabenspezifisches Modell bessere Ergebnisse liefert als ein großes, universelles GenAI-Modell.“

Lemoine trägt dazu bei, einen kausalen Zusammenhang zwischen hochpräzisen, domänenspezifischen Modellen und starker Leistungsfähigkeit herzustellen. Er sagt: „Wenn ein Unternehmen nicht erklären kann, warum Suchergebnisse in einer bestimmten Reihenfolge angezeigt werden, ist es unmöglich, alternative Wege zur Optimierung und Verbesserung der Ergebnisse zu testen.“ Transparente KI ist daher eng mit leistungsstarker KI verknüpft.

Schließlich erfordert KI-Transparenz auch Aufsicht. Um KI-Lösungen vertrauen zu können, muss die Aufsicht in die Lösung selbst und möglicherweise sogar in die Funktionsweise des Algorithmus integriert werden.

Algolia liefert ein Beispiel dafür, wie menschliche Kontrolle die Korrektheit der Modellausgabe sicherstellen kann: Kunden ihrer KI-Suchlösung können die Rangfolge der Suchergebnisse manuell anpassen und erhalten Einblick in die Gründe für ein bestimmtes Suchergebnis. Siehe Abbildung unten für einen Bericht zu den Ranking-Kriterien:

Rangfolgekriterium Wert
0 Sortieren nach: Hervorgehoben FALSCH
1 Sortieren nach: hatBild WAHR
2 Anzahl der Tippfehler 0
3 passende Wörter 1
4 passende Filter 0
5 Näheabstand 0
6. Am besten passendes Attribut Titel (1. Wort)
7 genaue Wörter zählen 0
8 Benutzerdefinierte Rangliste Verkaufsrang = 1
9 Personalisierungswert 0

Beachten Sie, dass bei den Ranking-Kriterien die Entscheidung eines Kunden, ein Ergebnis hervorzuheben, als Kriterium Null gilt (sogar vor Kriterium Eins in der Hierarchie) und dass auch das benutzerdefinierte Ranking-Kriterium berücksichtigt wird. Dieser Bericht ähnelt der LIME-Methode, zeigt aber nicht die fünf wichtigsten Merkmale an, sondern alle möglichen.

Wie die bereits erwähnte SHAP-Methode zeigt auch diese Methode, ob jedes Merkmal (oder Kriterium) die Ergebnisse beeinflusst hat – manchmal binär (wahr/falsch), manchmal numerisch (z. B. Anzahl übereinstimmender Wörter, Verkaufsrang für das Kriterium „Benutzerdefiniertes Ranking“ oder Personalisierungswert). Erwägen Sie, etwas Ähnliches in Ihre eigenen transparenten KI-Modelle zu integrieren und dabei auf etablierte Methoden für KI-Transparenz zurückzugreifen.

Fazit

Lasst uns das alles wieder zusammenführen, um einen Leitfaden für transparente KI zu erstellen – von Anfang bis Ende.

  • Wie Wladawsky-Berger anmerkt, beginnt transparente KI mit guten Daten.
  • Grundlagenmodelle können einen Vorsprung beim Training bieten, aber das geht auf Kosten der Transparenz, da man nicht immer weiß, worauf sie trainiert wurden.
  • Wenn Ihr Unternehmen eine fokussiertere Lösung benötigt, sollten Sie eine speziell entwickelte KI in Betracht ziehen, die mit spezifischen, für ihre Aufgabe relevanten Datensätzen trainiert wurde.

Wie jede andere KI benötigt auch transparente KI gute Datenteams und eine gute Modellauswahl, um Folgendes zu verstehen:

  • Fehlerraten
  • Die Auswirkungen bestimmter Fehlertypen
  • Wie lassen sich die schädlichsten Auswirkungen am besten abmildern, entweder durch die Anpassung bestimmter Modellparameter oder durch die Verwendung eines komplexeren Algorithmus, um die optimale Lösung zu finden?

Sobald wir wissen, dass die Modelle gut funktionieren und ihre potenziellen Auswirkungen so positiv wie möglich sind, sollten wir uns damit befassen, wie die Modelle zu ihren Entscheidungen gelangen. Methoden zur Interpretierbarkeit gewinnen mit der Entwicklung und dem späteren Einsatz der Modelle enorm an Bedeutung. Wie Mason und Lemoine in separaten Artikeln betonten, sind diese Transparenzmethoden für die Feinabstimmung der Modelle bei Tests mit immer mehr Daten unerlässlich. Erklärbarkeitsmethoden ermöglichen die kontinuierliche Analyse neuer Entscheidungen. Sie sollten daher überlegen, wie Ihre Modelle ihre Entscheidungen am effizientesten dokumentieren können, ohne endlose Python-Skripte, teure Arbeitsstunden von Data Scientists oder den Kauf von GPUs bei Ihrem Cloud-Anbieter zu erfordern.

Mit diesen Schritten im Hinterkopf sind Sie hoffentlich bereit, transparente KI-Lösungen für die Implementierung Ihrer Suchfunktion in Betracht zu ziehen. Falls Sie als CTO oder leitender Entwickler für die Implementierung der Website-Suche in Ihrem Unternehmen verantwortlich sind, suchen Sie möglicherweise nach einer umfassenden KI-Lösung, die nicht nur transparent und feinabstimmbar, sondern auch blitzschnell und hochgradig anpassbar ist.

Algolia-Nutzer müssen sich nicht auf Interpretationstechniken für Algorithmen verlassen oder sich Gedanken über die Erklärbarkeit von Modellen machen. Unsere Kunden im Bereich der Suchdienste profitieren von einem transparenten White-Box-Modell, das die Berechnung der Suchrelevanz nachvollziehbar macht. So können unsere Nutzer beispielsweise sehen, wie Suchergebnisse anhand von Personalisierungs- und Relevanzfaktoren geordnet werden und diese anschließend manuell an ihre Bedürfnisse anpassen.

Über Algolia

Algolia ist die weltweit einzige durchgängige KI-Such- und Entdeckungsplattform. Unsere Ingenieure haben eine bahnbrechende KI-Anwendung entwickelt, die die Suche und Entdeckung exponentiell verbessert. Algolias proprietäre NeuralSearch-Technologie kombiniert vektorbasierte Verarbeitung natürlicher Sprache und Keyword-Matching in einer einzigen API.

Algolia verarbeitet 1,75 Billionen Suchanfragen pro Jahr bzw. mehr als 30 Milliarden pro Woche und ermöglicht so mehr als 17.000 Kunden in über 150 Ländern, ihren In-App-Nutzern und/oder Online-Besuchern blitzschnelle und relevante Such- und Entdeckungserlebnisse mit jedem Web-, Mobil- oder Sprachgerät zu bieten – indem die gewünschten Inhalte sofort und in großem Umfang bereitgestellt werden.

Fordern Sie unteralgolia.com/demorequesteine Demo der KI-Suchlösung von Algolia an oder erfahren Sie mehr unteralgolia.com/blog/ai/

Anhang A: Glossar der Begriffe

Begriff Bedeutung/Beschreibung (im Zusammenhang mit KI-Transparenz)
KI-Erklärbarkeit Da wir im Nachhinein sehen, wie der KI-Algorithmus zu seiner Entscheidung gelangt ist
KI-Interpretierbarkeit Die Vorhersage dessen, was ein KI-Algorithmus auf der Grundlage seiner Eingaben entwickeln könnte, oder die Ableitung der Informationen, die er zur Entscheidungsfindung verwenden wird, im Allgemeinen ante hoc (vor dem Ausführen des Modells).
KI-Transparenz Ein Oberbegriff, der unter anderem KI-Erklärbarkeit, KI-Transparenz, Governance und Aufsicht umfasst.
Algorithmus Ein komplexes Regelwerk, das festlegt, wie Informationen innerhalb eines Programms für künstliche Intelligenz von Modell zu Modell oder von Funktion zu Funktion fließen.
Aufmerksamkeit Ein Mechanismus, der häufig in neuronalen Netzen zur Verarbeitung natürlicher Sprache verwendet wird und der Assoziationen zwischen Wörtern, zwischen Körpern (im Falle der bloßen Aufmerksamkeit) oder innerhalb einer Texteingabe (im Falle der Selbstaufmerksamkeit) versteht.
Bias-Varianz-Kompromisse Die Annahme, dass ein Machine-Learning-Modell mit zunehmender Varianz dazu neigt, die Trainingsdaten zu überanpassen, und mit zunehmender Verzerrung dazu neigt, die Daten zu unteranpassen, wodurch das Modell weniger oder besser generalisierbar wird oder in der Lage ist, zukünftige Werte vorherzusagen, mit denen es nicht trainiert wurde, im Gegenzug für eine genauere Abbildung auf die Trainingsdaten.
Klassifizierungsbericht Ein Standardbericht für ein Klassifizierungsmodell des maschinellen Lernens, der Präzision, Trefferquote und F1-Score umfasst.
Komplette KI-Lösung Es geht nicht nur um ein trainierbares Modell, sondern auch um die dazugehörigen Ressourcen, wie einen umfangreichen Datensatz zum Trainieren des Modells für seinen Zweck und die Geschäftsprozesse zur Datenerfassung, -verwaltung, -optimierung, zur Einrichtung von Kontroll- und Eingriffsverfahren sowie zur Berichterstattung über Leistung und wichtige Entscheidungen.
Abwägung zwischen Komplexität und Transparenz Die Vorstellung, dass Modelle mit zunehmender Komplexität an Transparenz verlieren und Erklärbarkeit gegen bloße Interpretierbarkeit eingetauscht werden muss.
Konfusionsmatrix Die Ausgabe der vorhergesagten Datenpunkte im Verhältnis zu den tatsächlichen Datenpunkten erfolgt in Form einer Matrix und liefert die Anzahl der richtig positiven, falsch positiven, falsch negativen und richtig negativen Ergebnisse.
Deep Learning Ein KI-Algorithmus mit mehreren Schichten von „Neuronen“ zwischen Eingabe und Ausgabe; das Gegenteil von transparenter KI, da sie per Definition mehrere verborgene Schichten aufweist.
Dimensionsreduktion Algorithmen oder mathematische Formeln, die viele Merkmale zu Merkmalsgruppen für ein maschinelles Lernmodell zusammenfassen; reduziert die Interpretierbarkeit von KI erheblich.
F1-Ergebnis Das harmonische Mittel aus Präzision und Trefferquote ergibt eine Metrik, die versucht, beide Fehlertypen auszugleichen, sie aber beide zum Ausdruck bringt.
Grundlagen Trainiert ohne konkrete Aufgabe oder mit einer Scheinaufgabe, mit der Absicht, dass das Modell grundlegendes Wissen wie Sprache erlernt, und anschließend für die Ausführung einer spezifischen Aufgabe optimiert wird.
Globale modellagnostische Methoden Methoden zur Erklärbarkeit von KI, die eine umfassende Erklärung des gesamten Datensatzes in Bezug auf das Modell liefern, z. B. Permutationswichtigkeit, PDP, ALE
Gradient Boosting Ein Algorithmus, der die Ausgabe eines Modells als Eingabe für das nächste Modell verwendet, wobei jedes nachfolgende Modell in der Kette darauf abzielt, die Fehler des vorherigen Modells zu korrigieren; erhöht die Komplexität und verringert die Transparenz.
GridSearch Ein Algorithmus, der ein Machine-Learning-Modell mehrmals mit verschiedenen vordefinierten Parametern ausführt, um zu ermitteln, welcher Parametersatz die beste Modellgenauigkeit liefert; verringert nicht die Transparenz
Ebene Schritte innerhalb eines neuronalen Netzes, die die Ausgaben eines Neurons als Eingabe an das nächste Neuron weiterleiten; in neuronalen Netzen zur Verarbeitung natürlicher Sprache werden häufig mehrere Schichten verwendet, und einige sind im Falle des Deep Learning oft für den Entwickler verborgen.
Lokale modellagnostische Methoden Methoden zur Erklärbarkeit von KI, die darauf abzielen, einzelne Vorhersagen eines Modells zu erklären, z. B. ICE, SHAP, LIME.
Verlustfunktion Die mathematische Formel, die ein Modell des maschinellen Lernens zu minimieren versucht, um die beste Option zu finden; beispielsweise versucht ein lineares Regressionsmodell, die Verlustfunktion der kleinsten Quadrate zu minimieren, um die optimale Ausgleichsgerade zu finden.
Neuronales Netzwerk Ein KI-Algorithmus, der mehrere Neuronen kombiniert, welche mathematische Funktionen auf Eingaben anwenden, um den Lernprozess zu beschleunigen, und diese Informationen als Ausgabe an das nächste Neuron oder an die letzte Schicht zur Dekodierung weiterleitet.
Mehrköpfige Aufmerksamkeit Eine Variante eines Aufmerksamkeitsmechanismus, der es verschiedenen „Köpfen“ innerhalb eines neuronalen Netzwerks zur Verarbeitung natürlicher Sprache ermöglicht, sich gleichzeitig auf unterschiedliche Wortassoziationen zu konzentrieren.
Überanpassung Die Vorstellung, ein Modell so spezifisch auf einem Datensatz zu trainieren, dass die daraus gewonnenen Erkenntnisse nicht allgemein auf den Testdatensatz oder zukünftige Datensätze anwendbar sind.
Parameter Eine Funktion innerhalb eines vorgefertigten Machine-Learning-Modells, die es dem Data Scientist ermöglicht, die Trainingsmethoden des Modells anzupassen, z. B. die Anzahl der Cluster (k-Means), die Anzahl der Schätzer (Random Forests), C oder Gamma (Support Vector Machines).
Präzision Eine Kennzahl, die angibt, wie oft ein Modell des maschinellen Lernens korrekte Ergebnisse vorhersagt und wie viele davon falsch positiv sind; ein Modell mit hoher Präzision ist sehr vertrauenswürdig, wenn es ein positives Ergebnis vorhersagt.
Vorgeschult Siehe „Grundlagen“.
Zweckgebaut Nicht grundlegend, sondern völlig neu für eine spezifische Aufgabe entwickelt und nur mit relevanten Daten trainiert, um diese Aufgabe zu erfüllen.
Abrufen Eine Kennzahl, die angibt, wie oft ein Modell des maschinellen Lernens Ergebnisse korrekt vorhersagt, im Vergleich zu der Anzahl der tatsächlich korrekten Ergebnisse; ein Modell mit einer hohen Trefferquote (Recall) verfehlt selten ein Ergebnis, das positiv vorhergesagt werden sollte.
Selbstinterpretierbar Selbstinterpretierbare Modelle sind selbst die Erklärungen und können direkt von einem Menschen gelesen und interpretiert werden, z. B. Entscheidungsbäume und Regressionsmodelle, einschließlich logistischer Regression.
Überwachtes Lernen Arten von Modellen des maschinellen Lernens, die Vorhersagen basierend auf Trainingsdaten mit tatsächlichen Testdatensätzen vergleichen können, die während des Trainings nicht verwendet wurden.
Tokenisierung Die Umwandlung eines Wortes in einen Zahlencode; ein früher Schritt in den meisten Algorithmen zur Verarbeitung natürlicher Sprache.
Transformator Eine breite Kategorie neuronaler Netze, die eine Eingabesequenz in eine Ausgabesequenz umwandeln, z. B. einen englischen Satz in einen französischen Satz, eine Frage in ihre Antwort oder eine textbasierte Aufforderung in eine schriftliche Arbeit.
Unbeaufsichtigt Arten von Modellen des maschinellen Lernens oder KI-Algorithmen, die ohne menschliches Eingreifen lernen, z. B. Clustering, bestimmte neuronale Netze
Vektorisierung Der in den meisten Algorithmen zur Verarbeitung natürlicher Sprache verwendete Prozess, ein Wort und alle seine zugehörigen Bedeutungen oder Assoziationen in einen Vektor im Raum zu komprimieren.

Anhang B: Quellenmaterial

Jeden in die Lage versetzen, hervorragende Such- und Entdeckungsfunktionen zu entwickeln

Demo anfordern
Kostenlos starten