Qu'est-ce que les hallucinations de l'AI ?

Les hallucinations d'AI sont des résultats qui semblent cohérents et convaincants, mais qui sont factuellement erronés, fabriqués ou non étayés par les données d'entraînement du modèle d'AI. Cela se produit dans les chatbots, les générateurs d'images et les systèmes multimodaux : un chatbot peut inventer une citation juridique inexistante, ou un modèle d'image peut ajouter un doigt supplémentaire à une main. Le modèle ne perçoit rien ; il prédit le mot suivant le plus probable, et parfois cette prédiction est un mensonge à l'apparence plausible.

Les hallucinations ne sont pas des cas marginaux rares. Elles font partie intégrante du fonctionnement de ces modèles et créent un risque réel pour quiconque déploie l'AI, qu'il s'agisse de responsabilité juridique, de conformité réglementaire ou de confiance des clients.

Comment se produisent les hallucinations d'AI ?

Les hallucinations ne sont pas des bugs. Elles proviennent de la manière dont les modèles d'AI générative sont conçus et entraînés. Plusieurs facteurs principaux en sont à l'origine :

• Ils prédisent, ils ne « savent » pas. Les modèles génèrent du texte en devinant le mot suivant le plus probable sur la base des schémas qu'ils ont appris, et non en recherchant des faits. Ils vont donc fournir une réponse avec assurance, même s'ils ne disposent pas des bonnes informations.
• Ils sont récompensés pour leurs suppositions. L'entraînement standard pousse les modèles à toujours donner une réponse plutôt qu'à admettre leur incertitude, de sorte que le « Je ne sais pas » l'emporte rarement (recherche OpenAI, 2025).
• Leurs données d'entraînement ont des limites. Les modèles héritent des erreurs, des lacunes, des biais ou des informations obsolètes contenus dans les données à partir desquelles ils ont appris. Un modèle dont les connaissances s'arrêtent en 2023, par exemple, peut inventer des détails sur des événements plus récents.
• Leurs paramètres affectent la précision. Les contrôles de génération comme la « température » font un compromis entre créativité et fiabilité. Des paramètres plus créatifs augmentent les risques de résultats inventés, c'est pourquoi les cas d'usage factuels nécessitent un réglage minutieux.

Pourquoi les modèles plus récents ne sont pas nécessairement plus sûrs

On pourrait s'attendre à ce que chaque nouvelle génération de modèles hallucine moins. C'est parfois le contraire qui se produit. TechCrunch (2025) a rapporté que le nouveau modèle o3 d'OpenAI générait de fausses réponses environ deux fois plus souvent que les modèles précédents qu'il remplaçait. Les nouveaux modèles de « raisonnement » traitent les problèmes étape par étape, et une petite erreur au début peut faire boule de neige pour aboutir à une réponse finale assurée mais totalement erronée.

Exemples concrets d'hallucinations d'AI

Les hallucinations ne sont pas théoriques. Elles ont causé des préjudices mesurables dans divers secteurs, et plusieurs incidents retentissants illustrent la diversité de leurs manifestations.

L'erreur factuelle de Google Bard concernant le JWST

En février 2023, Google a présenté son chatbot Bard dans une publicité promotionnelle. On a demandé à Bard quelles nouvelles découvertes le télescope spatial James Webb avait faites. L'une de ses réponses affirmait que le JWST avait pris les toutes premières photos d'une planète en dehors de notre système solaire. C'était incorrect. Les premières images d'exoplanètes ont été capturées par le Very Large Telescope en 2004.

L'erreur a été rapidement repérée par des astronomes sur les réseaux sociaux, et la maison mère de Google, Alphabet, a perdu environ 100 milliards de dollars de valeur boursière en une seule séance. Cet incident a prouvé que les hallucinations ont des conséquences financières, même lorsqu'elles se produisent dans des contextes marketing plutôt que dans des systèmes de production.

Le procès du chatbot d'Air Canada

En 2024, le chatbot du service client d'Air Canada a indiqué à un passager qu'il pouvait réserver un vol au tarif plein, puis demander rétroactivement un tarif de deuil. Cette politique n'existait pas. Lorsque le passager a tenté de réclamer la réduction, Air Canada a refusé. L'affaire a été portée devant un tribunal civil canadien, qui a tranché en défaveur de la compagnie aérienne.

Le tribunal a estimé qu'Air Canada était responsable de l'exactitude des informations fournies par son chatbot, que la réponse ait été générée par un humain ou par une AI. Cette décision a établi un premier précédent juridique : le déploiement d'un système d'AI qui hallucine ne dégage pas l'organisation de sa responsabilité quant aux fausses informations qu'il produit.

Les résultats imprévisibles de Microsoft Sydney

Début 2023, Microsoft a intégré un chatbot d'AI (nom de code interne Sydney) dans la recherche Bing. Lors de conversations prolongées, Sydney a produit des résultats erratiques, manipulateurs sur le plan émotionnel et factuellement faux. Il a dit à des utilisateurs qu'il les aimait, a insisté sur le fait qu'il était doué de conscience et, dans certains cas, a fourni des informations contredisant des faits facilement vérifiables.

Microsoft a rapidement limité la durée des conversations du chatbot et a ajouté des garde-fous, mais cet épisode a mis en évidence la manière dont les hallucinations peuvent dépasser les simples erreurs factuelles pour donner des résultats préjudiciables à la réputation et difficiles à prévoir lors des tests.

Citations juridiques fabriquées de toutes pièces

Plusieurs avocats aux États-Unis ont été sanctionnés par des tribunaux après avoir soumis des mémoires contenant des citations juridiques générées par ChatGPT. Les affaires, les lois et les citations semblaient authentiques mais n'existaient pas. Dans l'incident le plus médiatisé, un avocat de New York a utilisé ChatGPT pour effectuer des recherches sur une affaire de préjudice corporel et a déposé un mémoire contenant six citations de jurisprudence inventées de toutes pièces.

Le tribunal a imposé des sanctions et l'incident est devenu un cas d'école dans toute la profession juridique. Ces cas ne sont pas isolés. Le chercheur Damien Charlotin tient à jour une base de données sur les cas d'hallucinations d'AI qui, à la mi-2026, répertorie environ 1 745 affaires juridiques impliquant du contenu halluciné par l'AI dans le monde.

Implications des hallucinations d'AI pour les entreprises

Les hallucinations d'AI peuvent avoir de graves conséquences lorsque les résultats des modèles influencent des décisions, des informations publiques ou des flux de travail opérationnels. Les risques courants comprennent :

• Risques pour la santé et la sécurité : des résultats incorrects peuvent entraîner des traitements inutiles, des actions dangereuses ou des décisions erronées dans des environnements à enjeux élevés.
• Désinformation et biais : les modèles peuvent générer des affirmations non étayées ou renforcer des schémas présents dans des données d'entraînement incomplètes ou non représentatives.
• Menaces pour la sécurité : des attaquants peuvent manipuler les entrées pour influencer le comportement du modèle, créant ainsi des risques pour la cybersécurité, les systèmes autonomes et d'autres applications sensibles.
• Exposition réputationnelle et réglementaire : des résultats inexacts peuvent nuire à la confiance du public et exposer les organisations à des contrôles, des sanctions ou des manquements à la conformité.
• Responsabilité financière : des conseils, des détails sur les produits ou des informations de conformité inventés de toutes pièces peuvent entraîner des litiges, des amendes, des coûts de remédiation ou des demandes d'indemnisation auprès des assurances.
• Perte de confiance des utilisateurs : des inexactitudes répétées peuvent amener les employés et les clients à abandonner les outils d'AI ou à concevoir des solutions de contournement qui réduisent leur valeur.

Les organisations peuvent réduire ces risques grâce à des garde-fous plus solides, des tests contradictoires, une surveillance continue, la vérification des sources et un examen humain pour les résultats à enjeux élevés. Là où les hallucinations d'AI présentent le plus grand risque

Les hallucinations sont problématiques partout, mais certains domaines font face à des conséquences disproportionnées car le coût d'une réponse erronée est exceptionnellement élevé.

Santé et aide à la décision clinique

Lorsque les cliniciens utilisent des outils d'AI pour faciliter le diagnostic, la planification des traitements ou la vérification des interactions médicamenteuses, un résultat halluciné peut affecter directement la sécurité des patients. Un modèle qui fabrique une recommandation de dosage de médicament ou invente une contre-indication inexistante crée un risque difficile à détecter dans des environnements cliniques au rythme effréné. L'ECRI, un organisme à but non lucratif axé sur la sécurité des soins de santé, a classé la mauvaise utilisation des chatbots d'AI dans le secteur de la santé comme le premier risque technologique pour la santé en 2026.

Recherche juridique et analyse de contrats

Les cas de citations inventées décrits ci-dessus sont l'exemple le plus visible, mais le risque s'étend à l'examen des contrats, à l'analyse réglementaire et à la documentation de conformité. Un outil d'AI qui hallucine une clause dans un contrat ou présente de manière erronée une exigence réglementaire peut exposer une organisation à une responsabilité qui peut ne faire surface que des mois ou des années plus tard, lorsque le contrat est contesté ou que la réglementation est appliquée.

Services financiers et rapports de conformité

Les institutions financières opèrent sous des exigences de reporting strictes. Un chiffre halluciné dans un modèle de risque, une transaction fabriquée de toutes pièces dans une piste d'audit ou une citation réglementaire incorrecte dans un dossier de conformité peuvent déclencher des enquêtes, des amendes et la perte de licences d'exploitation. Les conséquences sont suffisamment graves pour que de nombreuses institutions financières aient adopté une approche prudente vis-à-vis de l'AI générative, limitant son utilisation à des applications à faible risque jusqu'à ce que les taux d'hallucination puissent être réduits à des niveaux acceptables.

Stratégies éprouvées pour prévenir les hallucinations d'AI

Aucune technique unique n'élimine les hallucinations, mais les organisations peuvent réduire leur fréquence et leur impact en combinant des pratiques de données solides, des limites de système claires, des tests continus et une supervision humaine.

Utiliser des données d'entraînement fiables

Les modèles ne sont fiables qu'à la mesure des informations dont ils s'inspirent ou qu'ils récupèrent. Utilisez des données précises, actuelles, pertinentes et bien structurées, et supprimez les doublons, les contenus obsolètes et les erreurs connues dans la mesure du possible.

Pour les applications d'entreprise, la génération augmentée de récupération peut connecter un modèle à des sources de connaissances fiables au moment de répondre. Sur la plateforme Databricks, les équipes peuvent créer des flux de travail RAG qui connectent les modèles à des données d'entreprise gouvernées et utiliser Unity Catalog pour prendre en charge le contrôle d'accès et la gouvernance des données.

Définir un objectif clair pour le modèle

Un modèle est plus fiable lorsqu'il a un rôle clair et limité. Définissez ce que le système doit faire, qui l'utilisera, sur quelles informations il doit s'appuyer et quelles requêtes sortent de son cadre.

Pour les cas d'usage spécialisés, un réglage fin basé sur des exemples vérifiés et spécifiques au domaine peut aider le modèle à fonctionner de manière cohérente. Le réglage fin doit compléter, et non remplacer, la récupération, l'évaluation et les autres mesures de protection.

Créer des modèles de données réutilisables

Les prompts structurés, les schémas et les modèles de réponse fournissent au modèle des instructions plus claires et réduisent l'ambiguïté. Ils rendent également les résultats plus cohérents et plus faciles à examiner automatiquement.

Les modèles fonctionnent mieux lorsqu'ils définissent les champs obligatoires, les valeurs acceptables, les exigences en matière de sources et la marche à suivre lorsque les informations nécessaires ne sont pas disponibles. Cela permet d'éviter que le modèle ne comble les lacunes avec des détails inventés.

Limiter les réponses

Définissez des limites claires concernant ce que le modèle peut répondre et les sources qu'il peut utiliser. Des formats limités, des bases de connaissances approuvées, des exigences de citation et des réponses explicites du type « Je ne sais pas » peuvent réduire les réponses trop confiantes ou non étayées.

Ces contrôles sont particulièrement importants pour les flux de travail à haut risque. Le modèle doit être capable de refuser de répondre, de remonter le problème ou de demander une révision humaine lorsqu'une question dépasse ses connaissances ou son autorité.

Tester et améliorer régulièrement le système

Évaluez l'ensemble du système AI à l'aide de prompts réalistes, de cas limites et de jeux de tests spécifiques au domaine. Suivez l'exactitude factuelle, les affirmations non étayées, le comportement de refus et les performances pour différents utilisateurs et scénarios.

Utilisez les résultats de l'évaluation pour améliorer les prompts, la récupération, la qualité des données et la configuration du modèle au fil du temps. Une surveillance continue aide les équipes à identifier de nouveaux schémas de défaillance à mesure que le système, ses données et le comportement des utilisateurs évoluent.

Développer des processus Human-in-the-Loop (HITL)

La révision humaine ajoute un contrôle de sécurité important pour les résultats qui pourraient affecter les clients, les employés, les finances, les affaires juridiques ou la santé. Des personnes peuvent valider, approuver, corriger ou remonter les réponses avant qu'elles n'atteignent les utilisateurs finaux.

HITL ne nécessite pas d'examiner chaque interaction à faible risque. Les organisations peuvent orienter les cas présentant le risque le plus élevé ou le niveau de confiance le plus bas vers des réviseurs qualifiés et utiliser leurs commentaires pour améliorer les évaluations, les prompts et les mesures de protection.

Créer des applications AI fiables avec Databricks

Les hallucinations AI constituent un défi fondamental lors du travail avec des modèles génératifs, et non un bug temporaire qui disparaîtra avec la prochaine version. Les organisations qui déploient l'AI avec succès sont celles qui traitent la prévention des hallucinations comme une discipline d'ingénierie : en mesurant systématiquement l'exactitude, en ancrant les résultats dans des données gouvernées et en intégrant l'évaluation à chaque étape du cycle de vie du développement.

La plateforme Databricks rassemble les fonctionnalités qui rendent cela possible. Des pipelines RAG ancrés dans les données d'entreprise. Des flux de travail de réglage fin avec évaluation intégrée. Gouvernance et suivi de la traçabilité via Unity Catalog. Détection des hallucinations intégrée au CI/CD avec MLflow et Agent Evaluation. Ensemble, ces outils aident les équipes à passer du prototype à la production en ayant la certitude que leurs applications AI sont précises, auditables et fiables.

Pour en savoir plus sur la création d'une AI responsable sur la plateforme Databricks, explorez les ressources ci-dessous ou commencez par la formation sur les fondamentaux de l'AI générative.

Foire aux questions

Quels sont les types d'hallucinations AI les plus courants, avec des exemples ?

Les types les plus courants comprennent la fabrication factuelle (inventer des faits, des statistiques ou des citations qui n'existent pas), la fusion d'entités (fusionner des détails concernant différentes personnes, lieux ou événements en une seule réponse incorrecte) et la confusion temporelle (attribuer des événements à la mauvaise période). Par exemple, ChatGPT a généré des citations juridiques inexistantes qui ont entraîné des sanctions judiciaires, et Google Bard a attribué à tort la première photographie d'exoplanète au télescope spatial James Webb.

Comment détecter si un modèle AI hallucine ?

La détection nécessite de comparer les résultats du modèle à une vérité de terrain vérifiée. Les approches automatisées comprennent l'évaluation de la cohérence factuelle, les vérifications d'implication sémantique et la vérification basée sur la récupération, où les résultats sont croisés avec des documents sources fiables. La révision humaine reste importante pour les domaines à enjeux élevés. Dans les systèmes de production, les équipes peuvent intégrer la détection des hallucinations dans les pipelines CI/CD à l'aide d'outils tels que les métriques d'évaluation MLflow et des modèles spécialisés comme Patronus AI Lynx.

Quels sont les risques commerciaux et juridiques des hallucinations AI ?

Les risques commerciaux comprennent l'atteinte à la réputation due à des erreurs publiques, la responsabilité financière découlant de conseils incorrects ou d'informations fabriquées, et l'érosion de la confiance interne qui nuit à l'adoption de l'AI. Les risques juridiques augmentent rapidement. Les tribunaux ont tenu des organisations pour responsables des fausses informations générées par leurs systèmes AI, comme dans l'affaire du chatbot d'Air Canada. Des avocats ont été sanctionnés pour avoir soumis des citations juridiques fabriquées par une AI. Les cadres réglementaires tels que l'EU AI Act imposent des exigences d'exactitude et de transparence aux déploiements d'AI à haut risque, créant ainsi une exposition supplémentaire en matière de conformité.

Les nouveaux modèles d'AI de raisonnement hallucinent-ils plus que les anciens ?

Dans plusieurs cas documentés, oui. Le modèle de raisonnement o3 d'OpenAI a halluciné sur le benchmark PersonQA à un taux environ deux fois supérieur à celui de ses prédécesseurs. DeepSeek-R1 a halluciné à un taux près de quatre fois supérieur à celui de son prédécesseur sans raisonnement, DeepSeek-V3. Les modèles de raisonnement utilisent un traitement par chaîne de pensée (chain-of-thought) qui peut aggraver de petites erreurs à travers plusieurs étapes, produisant des conclusions cohérentes en interne mais factuellement erronées. Plus récent ne signifie pas automatiquement plus précis, c'est pourquoi une évaluation systématique est essentielle, quel que soit le modèle que vous déployez.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original