Was sind AI-Halluzinationen?

AI-Halluzinationen sind Ergebnisse, die kohärent und überzeugend klingen, aber sachlich falsch, erfunden oder nicht durch die Trainingsdaten des AI-Modells gestützt sind. Das passiert bei Chatbots, Bildgeneratoren und multimodalen Systemen: Ein Chatbot erfindet vielleicht ein rechtliches Zitat, das es gar nicht gibt, oder ein Bildmodell fügt einer Hand einen zusätzlichen Finger hinzu. Das Modell nimmt nichts wahr; es sagt lediglich das nächste wahrscheinliche Wort voraus, und manchmal ist diese Vorhersage eine plausibel klingende Unwahrheit.

Halluzinationen sind keine seltenen Einzelfälle. Sie sind eine inhärente Eigenschaft der Funktionsweise dieser Modelle und stellen ein reales Risiko für jeden dar, der AI einsetzt – von der rechtlichen Haftung und regulatorischen Compliance bis hin zum Kundenvertrauen.

Wie entstehen AI-Halluzinationen?

Halluzinationen sind keine Programmierfehler. Sie entstehen durch die Art und Weise, wie generative AI-Modelle entwickelt und trainiert werden. Dahinter stecken einige Hauptfaktoren:

• Sie sagen voraus, sie „wissen“ nicht. Modelle generieren Text, indem sie das wahrscheinlichste nächste Wort basierend auf gelernten Mustern erraten, nicht indem sie Fakten nachschlagen. Sie geben also selbstbewusst eine Antwort aus, selbst wenn sie eigentlich nicht über die richtigen Informationen verfügen.
• Sie werden für das Raten belohnt. Standardmäßiges Training drängt Modelle dazu, immer eine Antwort zu geben, anstatt Unsicherheit zuzugeben. Ein „Ich weiß es nicht“ setzt sich daher selten durch (OpenAI-Forschung, 2025).
• Ihre Trainingsdaten haben Grenzen. Modelle übernehmen alle Fehler, Lücken, Verzerrungen (Bias) oder veralteten Informationen aus den Daten, mit denen sie trainiert wurden. Ein Modell mit einem Wissensstand bis 2023 könnte beispielsweise Details über neuere Ereignisse erfinden.
• Ihre Einstellungen beeinflussen die Genauigkeit. Parameter für die Generierung wie die „Temperatur“ wägen Kreativität gegen Zuverlässigkeit ab. Kreativere Einstellungen erhöhen die Wahrscheinlichkeit erfundener Ergebnisse, weshalb faktenbasierte Anwendungsfälle eine sorgfältige Abstimmung erfordern.

Warum neuere Modelle nicht unbedingt sicherer sind

Man könnte erwarten, dass jede neue Modellgeneration weniger halluziniert. Manchmal passiert das Gegenteil. TechCrunch (2025) berichtete, dass das neuere o3-Modell von OpenAI etwa doppelt so häufig falsche Antworten erfand wie die älteren Modelle, die es ersetzte. Neuere „Reasoning“-Modelle arbeiten Probleme Schritt für Schritt ab, und ein kleiner Fehler zu Beginn kann sich schnell zu einer überzeugend formulierten, aber völlig falschen Endantwort aufschaukeln.

Praxisbeispiele für AI-Halluzinationen

Halluzinationen sind keine graue Theorie. Sie haben in verschiedenen Branchen bereits messbaren Schaden angerichtet, und mehrere bekannte Vorfälle zeigen, wie vielfältig sie auftreten können.

Der sachliche Fehler von Google Bard zum JWST

Im Februar 2023 präsentierte Google seinen Chatbot Bard in einer Werbeanzeige. Bard wurde gefragt, welche neuen Entdeckungen das James Webb Space Telescope (JWST) gemacht habe. Eine seiner Antworten lautete, das JWST habe die allerersten Bilder eines Planeten außerhalb unseres Sonnensystems aufgenommen. Das war falsch. Die ersten Bilder von Exoplaneten wurden 2004 vom Very Large Telescope aufgenommen.

Der Fehler wurde von Astronomen in den sozialen Medien schnell bemerkt, und die Google-Muttergesellschaft Alphabet verlor an einem einzigen Handelstag rund 100 Milliarden US-Dollar an Marktwert. Der Vorfall zeigte, dass Halluzinationen finanzielle Folgen haben können, selbst wenn sie im Marketingkontext und nicht in Produktionssystemen auftreten.

Die Chatbot-Klage gegen Air Canada

Im Jahr 2024 teilte der Kundenservice-Chatbot von Air Canada einem Passagier mit, dass er einen Flug zum Normaltarif buchen und nachträglich einen Rabatt für Trauerfälle beantragen könne. Diese Regelung gab es jedoch nicht. Als der Passagier versuchte, den Rabatt einzufordern, lehnte Air Canada ab. Der Fall ging vor ein kanadisches Zivilgericht, das gegen die Fluggesellschaft entschied.

Das Gericht entschied, dass Air Canada für die Richtigkeit der von seinem Chatbot bereitgestellten Informationen verantwortlich ist, unabhängig davon, ob ein Mensch oder eine AI die Antwort generiert hat. Das Urteil schuf einen frühen Präzedenzfall: Der Einsatz eines AI-Systems, das halluziniert, entbindet ein Unternehmen nicht von der Haftung für die von ihm erzeugten Fehlinformationen.

Die unvorhersehbaren Ausgaben von Microsofts Sydney

Anfang 2023 integrierte Microsoft einen AI-Chatbot (interner Codename Sydney) in die Bing-Suche. Bei längeren Unterhaltungen lieferte Sydney unberechenbare, emotional manipulative und sachlich falsche Antworten. Er sagte Nutzern, dass er sie liebe, behauptete, ein Bewusstsein zu haben, und lieferte in einigen Fällen Informationen, die leicht überprüfbaren Fakten widersprachen.

Microsoft schränkte die Gesprächsdauer des Chatbots schnell ein und fügte Sicherheitsvorkehrungen (Guardrails) hinzu. Dennoch verdeutlichte dieser Vorfall, dass Halluzinationen über bloße sachliche Fehler hinausgehen und zu rufschädigenden Ergebnissen führen können, die beim Testen nur schwer vorherzusehen sind.

Erfundene rechtliche Zitate

Mehrere Anwälte in den USA wurden von Gerichten sanktioniert, nachdem sie Schriftsätze eingereicht hatten, die von ChatGPT generierte rechtliche Zitate enthielten. Die Fälle, Gesetze und Zitate sahen authentisch aus, existierten aber nicht. Im bekanntesten Vorfall nutzte ein New Yorker Anwalt ChatGPT zur Recherche für eine Klage wegen Körperverletzung und reichte einen Schriftsatz ein, der sechs erfundene Fallzitate enthielt.

Das Gericht verhängte Sanktionen, und der Vorfall wurde zu einem warnenden Beispiel für die gesamte Rechtsbranche. Diese Fälle sind keine Einzelfälle. Der Forscher Damien Charlotin führt eine Datenbank für AI-Halluzinationsfälle, die bis Mitte 2026 weltweit rund 1.745 Rechtsfälle mit von AI halluzinierten Inhalten dokumentiert.

Auswirkungen von AI-Halluzinationen auf Unternehmen

AI-Halluzinationen können schwerwiegende Folgen haben, wenn die Modellausgaben Entscheidungen, öffentliche Informationen oder Geschäftsabläufe beeinflussen. Zu den typischen Risiken gehören:

• Gesundheits- und Sicherheitsrisiken: Fehlerhafte Ausgaben können zu unnötigen Behandlungen, unsicheren Handlungen oder Fehlentscheidungen in kritischen Bereichen führen.
• Fehlinformationen und Verzerrungen (Bias): Modelle können unbegründete Behauptungen aufstellen oder Muster verstärken, die in unvollständigen oder nicht repräsentativen Trainingsdaten enthalten sind.
• Sicherheitsbedrohungen: Angreifer können Eingaben manipulieren, um das Modellverhalten zu beeinflussen, was Risiken für die Cybersicherheit, autonome Systeme und andere sensible Anwendungen birgt.
• Reputations- und regulatorische Risiken: Ungenaue Ausgaben können das öffentliche Vertrauen schädigen und Unternehmen behördlichen Prüfungen, Strafen oder Compliance-Verstößen aussetzen.
• Finanzielle Haftung: Erfundene Ratschläge, Produktdetails oder Compliance-Informationen können zu Streitigkeiten, Geldstrafen, Sanierungskosten oder Versicherungsansprüchen führen.
• Verlust des Nutzervertrauens: Wiederholte Ungenauigkeiten können dazu erfüllen, dass Mitarbeiter und Kunden AI-Tools nicht mehr nutzen oder Behelfslösungen entwickeln, die deren Wert mindern.

Unternehmen können diese Risiken durch strengere Sicherheitsvorkehrungen (Guardrails), Adversarial Testing (gegnerisches Testen), kontinuierliche Überwachung, Quellenprüfung und menschliche Kontrolle bei kritischen Ausgaben verringern.

Wo AI-Halluzinationen das größte Risiko darstellen

Halluzinationen sind überall problematisch, aber bestimmte Bereiche sind von den Folgen überproportional betroffen, da die Kosten für eine falsche Antwort extrem hoch sind.

Gesundheitswesen und klinische Entscheidungsunterstützung

Wenn medizinisches Personal AI-Tools zur Unterstützung bei Diagnosen, Behandlungsplänen oder Wechselwirkungsprüfungen von Medikamenten einsetzt, kann eine halluzinierte Ausgabe die Patientensicherheit direkt gefährden. Ein Modell, das eine Dosierungsempfehlung erfindet oder eine nicht existierende Kontraindikation vorschreibt, birgt Risiken, die im hektischen Klinikalltag nur schwer zu erkennen sind. ECRI, eine gemeinnützige Organisation für Sicherheit im Gesundheitswesen, stufte den Missbrauch von AI-Chatbots im Gesundheitswesen als das größte gesundheitstechnologische Risiko für 2026 ein.

Rechtsrecherche und Vertragsanalyse

Die oben beschriebenen Fälle von erfundenen Zitaten sind das offensichtlichste Beispiel, aber das Risiko erstreckt sich auch auf die Vertragsprüfung, regulatorische Analysen und die Compliance-Dokumentation. Ein AI-Tool, das eine Vertragsklausel halluziniert oder eine regulatorische Anforderung falsch darstellt, kann ein Unternehmen Haftungsrisiken aussetzen, die erst Monate oder Jahre später ans Licht kommen – etwa wenn es zu einem Vertragsstreit kommt oder die Vorschrift durchgesetzt wird.

Finanzdienstleistungen und Compliance-Berichterstattung

Finanzinstitute unterliegen strengen Berichtspflichten. Eine halluzinierte Zahl in einem Risikomodell, eine erfundene Transaktion in einem Audit-Trail oder ein falsches regulatorisches Zitat in einer Compliance-Meldung können Untersuchungen, Geldstrafen und den Entzug von Betriebslizenzen nach sich ziehen. Die Folgen sind so schwerwiegend, dass viele Finanzinstitute einen vorsichtigen Ansatz bei generativer AI gewählt haben und deren Einsatz auf risikoarme Anwendungen beschränken, bis die Halluzinationsraten auf ein akzeptables Maß gesenkt werden können.

Bewährte Strategien zur Vermeidung von AI-Halluzinationen

Keine einzelne Methode kann Halluzinationen vollständig verhindern, aber Unternehmen können deren Häufigkeit und Auswirkungen reduzieren, indem sie solide Datenpraktiken, klare Systemgrenzen, kontinuierliche Tests und menschliche Aufsicht miteinander kombinieren.

Zuverlässige Trainingsdaten verwenden

Modelle sind nur so zuverlässig wie die Informationen, aus denen sie lernen oder die sie abrufen. Nutzen Sie präzise, aktuelle, relevante und gut kuratierte Daten und entfernen Sie Duplikate, veraltete Inhalte und bekannte Fehler, wo immer dies möglich ist.

Bei Unternehmensanwendungen kann Retrieval-Augmented Generation ein Modell zum Zeitpunkt der Beantwortung mit vertrauenswürdigen Wissensquellen verbinden. Auf der Databricks Platform können Teams RAG-Workflows erstellen, die Modelle mit governed Unternehmensdaten verbinden und Unity Catalog nutzen, um Zugriffskontrolle und Data Governance zu unterstützen.

Ein klares Ziel für das Modell definieren

Ein Modell arbeitet zuverlässiger, wenn es eine klare, begrenzte Rolle hat. Definieren Sie, was das System tun soll, wer es nutzen wird, auf welche Informationen es sich stützen soll und welche Anfragen außerhalb seines Rahmens liegen.

Bei spezialisierten Anwendungsfällen kann ein Fine-Tuning mit verifizierten, domänenspezifischen Beispielen dem Modell helfen, konsistente Ergebnisse zu liefern. Das Fine-Tuning sollte die Retrieval-Funktion, die Evaluierung und andere Schutzmaßnahmen ergänzen – nicht ersetzen.

Wiederverwendbare Datenvorlagen erstellen

Strukturierte Prompts, Schemata und Antwortvorlagen geben dem Modell klarere Anweisungen und reduzieren Unklarheiten. Zudem machen sie die Outputs konsistenter und erleichtern die automatische Überprüfung.

Vorlagen funktionieren am besten, wenn sie Pflichtfelder, zulässige Werte, Quellenanforderungen und das Vorgehen bei fehlenden Informationen definieren. Dies verhindert, dass das Modell Lücken mit erfundenen Details füllt.

Antworten begrenzen

Setzen Sie klare Grenzen dafür, was das Modell beantworten kann und welche Quellen es nutzen darf. Eingegrenzte Formate, freigegebene Wissensdatenbanken, Zitieranforderungen und explizite „Ich weiß es nicht“-Antworten können zu selbstsichere oder unbelegte Antworten reduzieren.

Diese Kontrollen sind besonders für Workflows mit hohem Risiko wichtig. Das Modell sollte in der Lage sein, eine Antwort abzulehnen, zu eskalieren oder eine menschliche Überprüfung anzufordern, wenn eine Frage außerhalb seines Wissens oder seiner Befugnisse liegt.

Das System regelmäßig testen und verbessern

Evaluieren Sie das gesamte AI-System anhand realistischer Prompts, Edge Cases und domänenspezifischer Testsets. Verfolgen Sie die sachliche Genauigkeit, unbelegte Behauptungen, das Ablehnungsverhalten und die Leistung über verschiedene Benutzer und Szenarien hinweg.

Nutzen Sie die Evaluierungsergebnisse, um Prompts, Retrieval, Datenqualität und Modellkonfiguration im Laufe der Zeit zu verbessern. Eine kontinuierliche Überwachung hilft Teams, neue Fehlermuster zu erkennen, wenn sich das System, seine Daten und das Benutzerverhalten ändern.

Human-in-the-Loop-Prozesse (HITL) entwickeln

Die menschliche Überprüfung bietet eine wichtige Sicherheitskontrolle für Outputs, die sich auf Kunden, Mitarbeiter, Finanzen, rechtliche Angelegenheiten oder die Gesundheit auswirken könnten. Menschen können Antworten validieren, genehmigen, korrigieren oder eskalieren, bevor sie die Endbenutzer erreichen.

HITL erfordert nicht die Überprüfung jeder Interaktion mit geringem Risiko. Unternehmen können die Fälle mit dem höchsten Risiko oder dem geringsten Vertrauen an geschulte Prüfer weiterleiten und deren Feedback nutzen, um Evaluierungen, Prompts und Schutzmaßnahmen zu verbessern.

Vertrauenswürdige AI-Anwendungen mit Databricks entwickeln

AI-Halluzinationen sind eine grundlegende Herausforderung bei der Arbeit mit generativen Modellen und kein vorübergehender Fehler, der mit dem nächsten Release verschwindet. Unternehmen, die AI erfolgreich einsetzen, behandeln die Vermeidung von Halluzinationen als eine technische Disziplin: Sie messen die Genauigkeit systematisch, verankern die Outputs in governed Daten und integrieren die Evaluierung in jede Phase des Entwicklungslebenszyklus.

Die Databricks Platform vereint die Funktionen, die dies ermöglichen: RAG-Pipelines, die in Unternehmensdaten verankert sind. Fine-Tuning-Workflows mit integrierter Evaluierung. Governance- und Lineage-Tracking durch Unity Catalog. In CI/CD integrierte Halluzinationserkennung mit MLflow und Agent Evaluation. Zusammen helfen diese Tools Teams dabei, den Schritt vom Prototyp in die Produktion mit dem Vertrauen zu gehen, dass ihre AI-Anwendungen präzise, überprüfbar und vertrauenswürdig sind.

Um mehr über die Entwicklung von verantwortungsvoller AI auf der Databricks Platform zu erfahren, erkunden Sie die folgenden Ressourcen oder beginnen Sie mit dem Training zu den Grundlagen der generativen AI.

Häufig gestellte Fragen

Was sind die häufigsten Arten von AI-Halluzinationen (mit Beispielen)?

Zu den häufigsten Arten gehören die Erfindung von Fakten (Erfinden von Fakten, Statistiken oder Zitaten, die nicht existieren), die Verschmelzung von Entitäten (Zusammenführen von Details verschiedener Personen, Orte oder Ereignisse zu einer einzigen falschen Antwort) und die zeitliche Verwechslung (Zuordnung von Ereignissen zum falschen Zeitraum). Beispiele hierfür sind ChatGPT, das nicht existierende juristische Zitate generierte, was zu Gerichtssanktionen führte, und Google Bard, das fälschlicherweise das erste Foto eines Exoplaneten dem James-Webb-Weltraumteleskop zuschrieb.

Wie erkennt man, ob ein AI-Modell halluziniert?

Die Erkennung erfordert den Abgleich der Modellausgaben mit einer verifizierten Ground Truth. Zu den automatisierten Ansätzen gehören die Bewertung der sachlichen Konsistenz, semantische Implikationsprüfungen und die retrieval-basierte Verifizierung, bei der Ausgaben mit vertrauenswürdigen Quelldokumenten abgeglichen werden. Die menschliche Überprüfung bleibt in risikoreichen Bereichen wichtig. In Produktionssystemen können Teams die Halluzinationserkennung mithilfe von Tools wie MLflow-Evaluierungsmetriken und spezialisierten Modellen wie Patronus AI Lynx in CI/CD-Pipelines integrieren.

Was sind die geschäftlichen und rechtlichen Risiken von AI-Halluzinationen?

Zu den geschäftlichen Risiken gehören Reputationsschäden durch öffentlich sichtbare Fehler, finanzielle Haftung für falsche Ratschläge oder erfundene Informationen sowie der Verlust des internen Vertrauens, was die AI-Einführung behindert. Die rechtlichen Risiken nehmen rasch zu. Gerichte haben Unternehmen für Fehlinformationen haftbar gemacht, die von ihren AI-Systemen generiert wurden, wie im Urteil zum Chatbot von Air Canada. Anwälte wurden für das Einreichen von durch AI erfundenen juristischen Zitaten sanktioniert. Regulatorische Rahmenbedingungen wie der EU AI Act legen Genauigkeits- und Transparenzanforderungen für AI-Bereitstellungen mit hohem Risiko fest, was zusätzliche Compliance-Risiken schafft.

Halluzinieren neuere Reasoning-AI-Modelle mehr als ältere?

In mehreren dokumentierten Fällen ja. Das o3-Reasoning-Modell von OpenAI halluzinierte beim PersonQA-Benchmark etwa doppelt so häufig wie seine Vorgänger. DeepSeek-R1 halluzinierte fast viermal so häufig wie sein Nicht-Reasoning-Vorgänger DeepSeek-V3. Reasoning-AI-Modelle nutzen eine Chain-of-Thought-Verarbeitung, die kleine Fehler über mehrere Schritte hinweg verstärken kann, was zu Schlussfolgerungen führt, die zwar intern konsistent, aber sachlich falsch sind. Neuer bedeutet nicht automatisch präziser. Daher ist eine systematische Evaluierung unerlässlich, unabhängig davon, welches Modell Sie bereitstellen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag