Was ist erklärbare KI (XAI)?

Explainable AI, oder XAI, bezieht sich auf Techniken, die Menschen helfen zu verstehen, wie ein AI-System zu einem bestimmten Ergebnis gelangt ist. Dies ist besonders relevant für Machine Learning und Deep Learning, wo Modelle Muster aus Daten lernen, anstatt von Menschen geschriebenen Regeln zu folgen.

Je leistungsfähiger Modelle werden, desto schwerer sind ihre Entscheidungen nachzuvollziehen. Deep-Learning-Modelle können Milliarden von Parametern enthalten. Dadurch ist es schwer zu verstehen, warum sie eine Transaktion genehmigt, Betrug gemeldet, einen Kredit abgelehnt oder eine Anomalie in einem MRI erkannt haben. Dies wird oft als „Black-Box“-Problem bezeichnet.

XAI hilft dabei, diese Black Box zu öffnen, indem es Teams Möglichkeiten bietet, zu bewerten, ob ein Modell folgende Kriterien erfüllt:

• Präzise: Trifft das Modell die richtige Vorhersage?
• Fair: Behandelt das Modell verschiedene Gruppen konsistent?
• Zuverlässig: Können Teams das Ergebnis verstehen und ihm vertrauen?
• Konform: Kann das Unternehmen Entscheidungen erklären, wenn dies erforderlich ist?

Da AI immer weitreichendere Entscheidungen übernimmt, ist es ebenso wichtig zu verstehen, warum ein Modell zu einer Antwort gelangt ist, wie die Antwort selbst. Dieser Artikel behandelt die wichtigsten XAI-Methoden, die Techniken, auf die sich Daten- und AI-Teams verlassen, und wie man zwischen ihnen wählt.

Warum Methoden für Explainable AI wichtig sind

Entscheidungen in Bereichen wie Kreditvergabe, Personalbeschaffung, Gesundheitswesen, Betrugserkennung oder Versicherungen können erhebliche Folgen für Einzelpersonen haben. Menschen haben ein Recht darauf zu erfahren, warum ihre Bewerbung abgelehnt, eine Transaktion markiert oder eine bestimmte Behandlung empfohlen wurde – insbesondere, wenn AI im Spiel war. Ein Mangel an Transparenz ist nicht nur unangenehm. In vielen Kontexten kann er ein rechtliches Risiko darstellen. Hier sind vier praktische Gründe, warum XAI-Methoden wichtig sind:

• Vertrauen. Nutzer, Regulierungsbehörden und Unternehmensleiter sind eher bereit, AI einzuführen, wenn sie verstehen, wie sie funktioniert. Ein Modell, das eine Entscheidung ohne Erklärung liefert, ist schwerer zu akzeptieren und schwerer zu verteidigen.
• Debugging. Entwickler können Modellfehler, Bias oder Drift schneller finden und beheben, wenn sie sehen, was die Ergebnisse antreibt. Ohne Einblick in das Modellverhalten ist die Fehlerbehebung reine Ratesache.
• Compliance. Da sich Vorschriften wie der EU AI Act und Artikel 22 der GDPR weiterentwickeln, um AI-bezogene Fragen zu regeln, verpflichten sie Organisationen zunehmend dazu, automatisierte Entscheidungen zu erklären, die sich auf Einzelpersonen auswirken. Artikel 86 des EU AI Acts verlangt von Bereitstellern ausdrücklich „klare und aussagekräftige Erklärungen“ für AI-gestützte Entscheidungen in bestimmten Hochrisikokontexten.
• Fairness. XAI-Methoden helfen dabei, verborgene Vorurteile (Biases) in Bezug auf ethnische Herkunft, Geschlecht, Alter oder Geografie aufzudecken, bevor ein AI-System echte Menschen beeinträchtigen kann.

Das Modellverhalten kann sich im Laufe der Zeit auch ändern, wenn sich reale Daten verändern. Erklärbarkeit unterstützt die kontinuierliche Überwachung.

Wie XAI-Methoden funktionieren

XAI-Methoden lassen sich im Allgemeinen in zwei Kategorien einteilen: Modelle, die von Grund auf erklärbar sind, und Methoden, die ein Modell im Nachhinein erklären. In der ersten Kategorie ist die Struktur des Modells einfach genug, um sie direkt zu verstehen. Beispiele hierfür sind Entscheidungsbäume, lineare Regressionen oder regelbasierte Systeme.

In der zweiten Kategorie ist das Modell zu komplex, um es direkt zu verstehen. Daher wird nach dem Training eine separate Technik angewendet, um zu untersuchen, was das Modell tut. Zu den beispielhaften Techniken gehören die Durchführung von Experimenten an einem bereits trainierten Modell, die Annäherung des Modells durch eine einfachere Variante oder die Rückverfolgung, welche Eingaben den größten Einfluss auf ein bestimmtes Ergebnis hatten.

In beiden Fällen ändert die Analyse jedoch nicht das Modell, sondern hinterfragt es.

Der grundlegende Workflow sieht wie folgt aus:

1. Auswählen, was erklärt werden soll: Wählen Sie das Modell und die spezifische Vorhersage, das Ergebnis oder das Verhalten aus, das erklärt werden muss.
2. Die richtige XAI-Methode auswählen: Treffen Sie die Wahl basierend auf dem Modelltyp – Entscheidungsbaum, neuronales Netz oder Transformer – und ob Sie eine einzelne Vorhersage oder das Gesamtverhalten erklären müssen.
3. Die Erklärung ausführen: Wenden Sie die Methode an, um zu analysieren, wie das Modell zu seinem Ergebnis gelangt ist.
4. Das Ergebnis überprüfen: Interpretieren Sie das Ergebnis, wie z. B. einen Feature-Importance-Score, eine visuelle Heatmap, ein einfacheres Proxy-Modell oder ein Was-wäre-wenn-Szenario.
5. Die Erklärung an die Zielgruppe anpassen: Ein Entwickler benötigt Feature-Scores und technische Details. Ein Auditor benötigt Dokumentation und Rückverfolgbarkeit. Ein Endnutzer benötigt eine einfache, verständliche Sprache.

Schlüsselbegriffe: Interpretierbarkeit vs. Erklärbarkeit, global vs. lokal

Bevor wir uns mit bestimmten Methoden befassen, gibt es vier Begriffe, die in XAI-Diskussionen häufig vorkommen. Sie zu kennen, hilft, die späteren Erläuterungen besser zu verstehen.

Was sind die wichtigsten Arten von Methoden für Explainable AI?

XAI-Methoden werden in der Regel danach gruppiert, wie sie Erklärungen generieren. Die folgenden drei Beschreibungen decken die wichtigsten derzeit verwendeten Techniken sowie die Kompromisse ab, die Sie in Bezug auf Transparenz, Genauigkeit und praktische Eignung berücksichtigen müssen.

Intrinsisch interpretierbare Modelle

Intrinsisch interpretierbare Modelle sind von Grund auf transparent. Die Struktur des Modells selbst zeigt, wie es Entscheidungen trifft, sodass kein zusätzliches Tool oder Verfahren erforderlich ist, um die Logik des Modells zu analysieren. Beispiele hierfür sind Entscheidungsbäume, die einem Flussdiagramm aus Ja/Nein-Regeln folgen, die man manuell durchgehen kann, sowie die lineare und logistische Regression, die jeder Eingabe ein numerisches Gewicht zuweist, sodass Sie genau sehen können, wie jedes Feature zum Ergebnis beiträgt. Generalisierte additive Modelle und regelbasierte Systeme funktionieren ähnlich.

Der Kompromiss liegt hier bei der Genauigkeit. Interpretierbare Modelle sind leicht zu erklären, aber bei schwierigen Problemen wie Bilderkennung oder Sprachverstehen oft ungenauer als komplexe Modelle. Für streng regulierte Branchen, in denen jede Entscheidung vertretbar sein muss, sind sie jedoch oft die Standardwahl.

Post-hoc-Erklärungsmethoden

Post-hoc-Methoden werden angewendet, nachdem ein Modell trainiert wurde. Wenn die meisten Menschen von XAI sprechen, meinen sie genau das. Tools wie SHAP, LIME und kontrafaktische Erklärungen (Counterfactuals) gehören alle dazu.

Post-hoc-Methoden sind in der Regel die einzige Option für Deep-Learning-Modelle, Large Language Models (LLMs) und andere komplexe Systeme, bei denen die zugrunde liegende Mathematik zu komplex ist, um sie direkt zu verstehen. Der Kompromiss besteht jedoch darin, dass Post-hoc-Erklärungen Annäherungen und keine exakten internen Berechnungen sind.

Visualisierungsbasierte Methoden

Diese Kategorie bezieht sich auf Methoden, die eine visuelle Ausgabe erzeugen, die zeigt, welcher Teil der Eingabe die Entscheidung des Modells beeinflusst hat. Beispiele hierfür sind Saliency Maps und Grad-CAM, die beide hervorheben, welche Pixel in einem Bild am wichtigsten waren. Attention-Visualisierungen zeigen, auf welche Wörter in einem Satz sich das Modell konzentriert hat. Für Bild- und Textmodelle ist eine Heatmap oder eine Hervorhebung oft intuitiver als eine Liste von Zahlen, was diese Methoden besonders nützlich macht, wenn Ergebnisse an nicht-technische Stakeholder kommuniziert werden sollen. Wie Post-hoc-Methoden sollten auch Visualisierungsergebnisse als informative Signale und nicht als endgültiger Beweis betrachtet werden.

Gängige Methoden für Explainable AI

Die folgende Tabelle fasst die am häufigsten verwendeten XAI-Methoden zusammen, gefolgt von detaillierteren Beschreibungen der fünf Techniken, die in der Praxis am häufigsten eingesetzt werden.

SHapley Additive exPlanations

Die als SHapley Additive exPlanations (SHAP) bekannte XAI-Methode weist jedem Eingabe-Feature einen numerischen Wert zu, der zeigt, wie stark es eine Vorhersage im Vergleich zu einem Basiswert nach oben oder unten verschoben hat. Wenn Sie SHAP fragen, warum ein Kredit abgelehnt wurde, könnte die Antwort lauten, dass das Verhältnis von Schulden zu Einkommen des Antragstellers die Genehmigungswahrscheinlichkeit um 22 Punkte verringert hat, während die Beschäftigungshistorie 8 Punkte hinzugefügt hat. Die Methode basiert auf Shapley-Werten aus der kooperativen Spieltheorie – einem fundierten Ansatz zur fairen Aufteilung von Beiträgen –, was SHAP ein solideres theoretisches Fundament verleiht als den meisten Alternativen.

Die Hauptstärken von SHAP liegen darin, dass es modellunabhängig (model-agnostic) ist und sowohl lokale (einzelne Vorhersage) als auch globale (Gesamtmodell) Erklärungen liefert. Es ist zudem das primäre Erklärbarkeitstool, das von Databricks AutoML und dem automatischen Logging von MLflow unterstützt wird. Der Nachteil sind die Rechenkosten. SHAP kann bei großen Datensätzen oder komplexen Modellen langsam sein und sollte bei der Ressourcenplanung entsprechend berücksichtigt werden.

Local Interpretable Model-agnostic Explanations

Die LIME-Methode (Local Interpretable Model-agnostic Explanations) von XAI wählt eine Vorhersage aus, die Sie verstehen möchten, und erstellt dann ein kleineres, leicht verständliches Modell, um zu analysieren, wie diese Vorhersage zustande kommt. Dazu verändert LIME die Eingabe viele Male leicht und beobachtet, wie sich die Ausgabe des Modells verändert. Es nutzt diese Ergebnisse, um ein vereinfachtes Ersatzmodell (Surrogatmodell) – meist ein lineares Modell – anzupassen, das die zu analysierende KI approximiert. Das Ergebnis ist eine Rangliste der Features und ihres jeweiligen Einflusses auf die Vorhersage.

LIME funktioniert mit jedem Modelltyp und liefert schnell punktuelle Erklärungen. Der Nachteil ist, dass die Erklärungen instabil sein können. Da LIME mit zufälligen Störungen (Perturbationen) arbeitet, kann die zweimalige Ausführung für dieselbe Vorhersage zu deutlich unterschiedlichen Ergebnissen führen. In kritischen Bereichen oder Kontexten, in denen Audits erforderlich sind, kann dies ein echtes Problem darstellen.

Kontrafaktische Erklärungen

Eine kontrafaktische Erklärung beantwortet eine direkte Frage: Was hätte sich ändern müssen, damit das Modell eine andere Entscheidung trifft? Ein Beispiel hierfür ist die Aussage: "Wenn Ihr Jahreseinkommen um 10.000 $ höher gewesen wäre, wäre dieser Antrag genehmigt worden." Das ist ein Kontrafaktum.

Diese Art von XAI spricht auch ein nicht-technisches Publikum an, da sie handlungsorientiert ist. Kontrafaktische Erklärungen passen natürlicherweise dazu, wie Menschen über Ursache und Wirkung nachdenken, und geben ihnen konkrete Anhaltspunkte an die Hand. Sie eignen sich auch gut für regulatorische Rahmenbedingungen, die ein Recht auf Erklärung vorsehen, wie etwa Artikel 22 der GDPR. Der Nachteil ist meist praktischer Natur: Eine kontrafaktische Erklärung ist nur dann nützlich, wenn die vorgeschlagene Änderung realistisch ist und im Einflussbereich der Person liegt. "Wenn Sie 10 Jahre jünger wären" ist keine umsetzbare Erklärung.

Saliency Maps und Grad-CAM

Saliency Maps und Grad-CAM sind visuelle XAI-Techniken für bildbasierte Modelle. Sie erzeugen eine Heatmap, die über das Originalbild gelegt wird und zeigt, auf welche Pixel oder Regionen sich das Modell bei seiner Vorhersage konzentriert hat. Im Kontext der medizinischen Bildgebung könnte eine Grad-CAM-Ausgabe bei einer Röntgenklassifizierung zeigen, dass sich das Modell auf einen bestimmten Bereich der Lunge konzentriert hat – genau das, was ein Radiologe sehen muss, bevor er dem Ergebnis vertraut.

Diese Methoden sind in der Computer-Vision, der medizinischen Bildgebung, autonomen Systemen und der industriellen Qualitätskontrolle weit verbreitet. Untersuchungen haben jedoch gezeigt, dass Saliency Maps überzeugend wirken können, ohne das tatsächliche Verhalten des Modells präzise widerzuspiegeln. Betrachten Sie sie als ein Signal von vielen, nicht als endgültiges Ergebnis.

Attention-Visualisierung für LLMs und Transformer

Transformer-Modelle bilden die Architektur hinter den meisten modernen LLMs und verfügen über integrierte Attention-Mechanismen, die gewichten, wie stark jedes Eingabe-Token zu jedem Ausgabe-Token beiträgt. Attention-Visualisierungen wandeln diese Gewichtungen in eine Hervorhebungskarte über dem Text um und zeigen, auf welche Eingabewörter sich das Modell bei der Generierung einer bestimmten Antwort am meisten gestützt hat.

Die Visualisierungen sind ohne Fachwissen verständlich, was sie zu einem der zugänglicheren Erklärbarkeitstools für LLMs macht. Sie sind jedoch nicht immer eine originalgetreue Erklärung der endgültigen Ausgabe. Untersuchungen haben gezeigt, dass Features mit hohen Attention-Gewichten nicht immer die tatsächliche Entscheidung des Modells korrekt widerspiegeln.

So wählen Sie die richtige XAI-Methode aus

Die Wahl der richtigen XAI-Methode hängt vom Modell, der Zielgruppe und der Frage ab, die Sie beantworten möchten. Der folgende Leitfaden kann Ihnen bei der Entscheidung helfen:

1. Frage identifizieren: Erklären Sie eine bestimmte Vorhersage (lokal), das allgemeine Modellverhalten (global) oder etwas, das das Ergebnis ändern würde (kontrafaktisch)?
2. An den Modelltyp anpassen: Beginnen Sie bei baumbasierten Modellen auf tabellarischen Daten mit SHAP. Verwenden Sie für Bilder Grad-CAM oder Integrated Gradients. Nutzen Sie für Text und LLMs die Attention-Visualisierung oder LIME. Ziehen Sie bei neuronalen Netzen im Allgemeinen LRP oder Integrated Gradients in Betracht. Siehe auch die Tabelle der Methoden oben.
3. Zielgruppe berücksichtigen: Entwickler benötigen Feature-Scores und technische Details. Auditoren benötigen Nachvollziehbarkeit und Dokumentation. Endnutzer benötigen leicht verständliche kontrafaktische Erklärungen oder einfache Regeln.
4. Rechenkosten einkalkulieren: SHAP und Integrated Gradients können bei großen Datensätzen teuer sein. Planen Sie die Ressourcen entsprechend ein, bevor Sie sich für eine Methode im Produktivbetrieb entscheiden.
5. Methoden kombinieren: Keine einzelne XAI-Methode zeigt das ganze Bild. Die Kombination einer globalen Methode (wie Permutation Importance) mit einer lokalen (wie SHAP oder LIME) liefert ein vollständigeres Bild sowohl des Gesamtverhaltens als auch einzelner Vorhersagen.
6. Erklärung validieren: Unterziehen Sie die Ergebnisse einer Plausibilitätsprüfung anhand von Fachwissen. Wenn eine Erklärung den Erwartungen von Fachexperten widerspricht, untersuchen Sie dies, bevor Sie ihr vertrauen.

Grenzen von Methoden der erklärbaren KI (XAI)

XAI-Methoden sind leistungsstark, aber nicht perfekt. Jeder, der sie im Produktivbetrieb einsetzt, sollte ihre Grenzen kennen.

Erklärungen sind Annäherungen, nicht endgültig

Die meisten Post-hoc-Methoden wie SHAP, LIME oder Saliency Maps nähern das Verhalten des Modells lediglich an, anstatt die exakte interne Berechnung offenzulegen. Zwei verschiedene Methoden, die auf dieselbe Vorhersage angewendet werden, können unterschiedliche Erklärungen liefern. Betrachten Sie XAI-Ergebnisse als Anhaltspunkte, nicht als Beweise.

Rechenaufwand

Wie bereits erwähnt, können Methoden wie SHAP und Integrated Gradients bei großen Datensätzen oder komplexen Modellen langsam sein. Die Ausführung vollständiger Erklärungen für jede einzelne Vorhersage in einem hochvolumigen Produktivsystem ist oft nicht machbar, und eine selektive Anwendung wirft Fragen hinsichtlich der Repräsentativität auf. Planen Sie bei der Auswahl einer XAI-Methode sowohl die Rechenkosten als auch die Modellierungskosten ein.

Stabilität und Zuverlässigkeit

Einige Methoden, insbesondere LIME, liefern bei wiederholten Durchläufen für dieselbe Vorhersage unterschiedliche Ergebnisse, was auf die Zufallsstichproben im Perturbationsprozess zurückzuführen ist. Diese Instabilität ist in prüfungsrelevanten oder regulierten Kontexten ein echtes Problem. Adversarial Attacks (gegnerische Angriffe) können zudem Post-hoc-Erklärungen manipulieren, um das tatsächliche Modellverhalten zu verschleiern. Obwohl an Gegenmaßnahmen geforscht wird, sind solche Angriffe ein weiterer Grund, Erklärungen nicht als manipulationssicher zu betrachten.

Der Kompromiss zwischen Genauigkeit und Erklärbarkeit

Die am besten interpretierbaren Modelle sind bei komplexen Problemen oft am ungenauesten, und die genauesten Modelle sind oft am schwersten zu erklären. Dies ist kein lösbares technisches Problem, sondern eine bewusste Designentscheidung. Unternehmen müssen ihre Prioritäten abwägen: Möchten sie ein weniger genaues, aber völlig transparentes Modell oder ein genaueres Black-Box-Modell mit einer darüber gelagerten XAI-Tool-Schicht? Die Antwort sollte sich nach der Tragweite der Entscheidung richten. In kritischen Bereichen wie dem Gesundheitswesen, der Kreditvergabe oder der Strafjustiz ist es oft gerechtfertigt, der Erklärbarkeit Vorrang einzuräumen, selbst wenn dies zu Lasten der reinen Genauigkeit geht.

Praxisanwendungen von Methoden für erklärbare KI

XAI-Methoden sind in regulierten Branchen und Bereichen mit hohem Risiko bereits im produktiven Einsatz. So werden die verschiedenen Methoden typischerweise in den einzelnen Branchen eingesetzt:

• Finanzdienstleistungen: Banken nutzen SHAP und kontrafaktische Erklärungen (Counterfactuals), um Kreditablehnungen zu begründen, Vorschriften zur fairen Kreditvergabe einzuhalten und Antragstellern konkrete nächste Schritte aufzuzeigen.
• Gesundheitswesen: Krankenhäuser nutzen Saliency Maps und Grad-CAM, um zu überprüfen, ob sich medizinische Bildgebungsmodelle auf klinisch relevante Regionen konzentrieren und nicht auf Artefakte in den Daten.
• Versicherungen: Underwriting-Modelle nutzen globale Erklärungen, um Aufsichtsbehörden aufzuzeigen, welche Faktoren die Preisentscheidungen beeinflussen.
• Betrugserkennung: Analysten nutzen lokale Erklärungen, um markierte Transaktionen zu untersuchen, Fehlalarme (False Positives) zu reduzieren und Ergebnisse an Compliance-Teams zu kommunizieren.
• Personalwesen und Recruiting: Kontrafaktische Erklärungen helfen Unternehmen, Einstellungsmodelle auf Verzerrungen (Bias) zu prüfen und neue Vorschriften für den KI-Einsatz im Recruiting zu erfüllen.
• Kundenabwanderung und Marketing: Methoden zur Bestimmung der Feature-Wichtigkeit (Feature Importance) helfen Teams zu verstehen, welche Verhaltensweisen eine Abwanderung vorhersagen. So können sie gezielt auf die zugrunde liegenden Faktoren reagieren und nicht nur auf das Ergebnis.

Wie Databricks erklärbare KI unterstützt

MLflow, die von Databricks entwickelte Open-Source-Plattform für den ML-Lebenszyklus, unterstützt das Modell-Tracking, die Versionierung und das Protokollieren von Erklärungsartefakten direkt zusammen mit dem Modell selbst. Für unterstützte Modell-Flavors kann das Autologging von MLflow SHAP-Werte und Feature-Importance-Scores erfassen. Dadurch bleiben die Erklärungen direkt mit der spezifischen Modellversion und dem Trainingslauf verknüpft, durch die sie generiert wurden.

Databricks AutoML generiert zudem automatisch SHAP-Diagramme und Shapley-Value-Notebooks für die erstellten Modelle. Dies bietet Teams einen direkten Einstiegspunkt für die Erklärbarkeit ohne manuellen Einrichtungsaufwand.

Unity Catalog bietet die Governance-Ebene, die Erklärungen langfristig auditierbar macht. Diese Ebene umfasst Modell-Lineage, Versionierung, zentralisierte Zugriffskontrolle und Audit-Logs, mit denen Teams nachverfolgen können, welche Daten für das Training welches Modells verwendet wurden und wer darauf zugegriffen hat. Zusammen, MLflow und Unity Catalog bieten Daten- und KI-Teams die Infrastruktur, um Erklärbarkeit direkt in den Modell-Lebenszyklus zu integrieren, anstatt sie erst nachträglich hinzuzufügen.

Häufig gestellte Fragen

Sind XAI-Erklärungen immer korrekt?

Nein. Die meisten XAI-Methoden, insbesondere Post-hoc-Techniken wie SHAP und LIME, liefern Annäherungen an das Modellverhalten und keine exakten Rekonstruktionen der internen Berechnungen. Zwei auf dieselbe Vorhersage angewandte Methoden können unterschiedliche Erklärungen liefern. Betrachten Sie XAI-Ergebnisse daher als Anhaltspunkte, nicht als endgültigen Beweis. Die Validierung von Erklärungen anhand von Fachwissen und die Kombination mehrerer Methoden liefern ein zuverlässigeres Bild.

Was ist der Unterschied zwischen XAI und interpretierbarer KI?

Interpretierbare KI bezieht sich auf Modelle, die von Grund auf transparent gestaltet sind und deren Struktur so einfach ist, dass man sie direkt nachvollziehen kann. Erklärbare KI (XAI) ist weiter gefasst und umfasst sowohl interpretierbare Modelle als auch komplexe Black-Box-Modelle, die mit separaten Techniken kombiniert werden, um ihr Verhalten nachträglich zu erklären. Ein interpretierbares Modell benötigt keine XAI-Tools, ein erklärbares Modell hingegen schon.

Was ist der Unterschied zwischen globalen und lokalen Erklärungen?

Eine globale Erklärung beschreibt, wie sich das Modell über alle Eingaben hinweg verhält – also beispielsweise, welche Features insgesamt am wichtigsten sind oder welche Muster die Vorhersagen im Allgemeinen bestimmen. Eine lokale Erklärung beschreibt, warum das Modell eine bestimmte Vorhersage für eine bestimmte Eingabe getroffen hat. Beide Arten sind nützlich. Best Practices für XAI sehen vor, globale Methoden zum Verständnis des Modells und lokale Methoden zur Erklärung einzelner Entscheidungen zu nutzen.

Was ist der Unterschied zwischen XAI und verantwortungsvoller KI?

Verantwortungsvolle KI ist die übergeordnete Disziplin, die Fairness, Sicherheit, Datenschutz, Transparenz und Rechenschaftspflicht über den gesamten KI-Lebenszyklus hinweg abdeckt. Erklärbare KI ist die Gesamtheit der Methoden, die das Modellverhalten transparent und auditierbar machen. Erklärbarkeit ist also eine notwendige, aber allein nicht ausreichende Voraussetzung für verantwortungsvolle KI. Ein Modell kann erklärbar sein und dennoch verzerrt, unsicher oder missbräuchlich verwendet werden.

Können XAI-Methoden auch für generative KI verwendet werden?

Ja, obwohl sich die Techniken von denen für traditionelle ML-Modelle unterscheiden. Für LLMs und andere Transformer-basierte Systeme ist die Visualisierung von Attention (Attention Visualization) der am weitesten verbreitete Ansatz. LIME kann auch auf Texteingaben angewendet werden. Dennoch stellt generative KI größere Herausforderungen an die Erklärbarkeit als tabellarische oder Bildmodelle, da die Ausgaben vielfältiger sind, die Kontextfenster länger sind und die Beziehung zwischen Eingabe-Tokens und generiertem Text komplexer ist. Die Erklärbarkeit für generative KI ist ein aktives Forschungsfeld, und aktuelle Methoden sollten eher als Teilhinweise denn als vollständige Erklärungen betrachtet werden.

Erste Schritte mit kontrollierter XAI auf Databricks

XAI-Methoden geben Daten- und KI-Teams die Werkzeuge an die Hand, um Systeme zu entwickeln, die verständlich, vertrauenswürdig und auditierbar sind. Die Wahl der richtigen Methode hängt vom Modell, der Zielgruppe und der Tragweite der getroffenen Entscheidung ab. Das zugrunde liegende Ziel ist jedoch dasselbe: das KI-Verhalten so transparent zu machen, dass man darauf basierend vertrauensvoll handeln kann.

Erfahren Sie mehr darüber, wie Databricks verantwortungsvolle, kontrollierte KI unterstützt – in unserem Enterprise Data Governance Framework oder dem Databricks AI Governance Framework.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag