AIハルシネーションとは？

AIハルシネーション（幻覚）とは、一貫性があり自信に満ちているように聞こえるものの、事実とは異なっていたり、捏造されていたり、AIモデルの学習データによって裏付けられていなかったりする出力のことです。これは、チャットボット、画像生成モデル、マルチモーダルシステムのすべてで発生します。たとえば、チャットボットが存在しない法律の判例を捏造したり、画像モデルが手の指を1本多く追加したりすることがあります。モデルは何かを認識しているわけではありません。次に続く可能性が最も高い単語を予測しているだけであり、その予測がもっともらしく聞こえる虚偽になることがあるのです。

ハルシネーションは、めったに起こらない例外的なケース（エッジケース）ではありません。これらはモデルが動作する仕組みに組み込まれている性質であり、法的責任や規制コンプライアンスから顧客の信頼に至るまで、AIを導入するすべての人に現実的なリスクをもたらします。

AIハルシネーションはなぜ起こるのか？

ハルシネーションはバグではありません。これらは、ジェネレーティブAIモデルの構築方法や学習方法に起因しています。その背景には、主にいくつかの要因があります。

• モデルは予測しているだけで、「知っている」わけではない： モデルは事実を調べるのではなく、学習したパターンに基づいて次に続く可能性が最も高い単語を推測することでテキストを生成します。そのため、実際には正しい情報を持っていなくても、自信ありげに回答を作成してしまいます。
• 推測することが推奨される： 標準的な学習では、モデルは不確実性を認めるよりも常に回答を返すように促されるため、「わかりません」という回答が選ばれることは滅多にありません（OpenAIの研究、2025年）。
• 学習データに限界がある： モデルは、学習元のデータに含まれるエラー、欠落、偏り、古い情報をそのまま引き継ぎます。たとえば、知識のカットオフが2023年のモデルは、それ以降の新しい出来事について詳細を捏造する可能性があります。
• 設定が正確性に影響する： 「Temperature（温度）」などの生成制御パラメータは、創造性と信頼性のトレードオフを調整します。より創造的な設定にすると、捏造された出力が生成される確率が高くなるため、事実に基づいたユースケースでは慎重なチューニングが必要です。

新しいモデルが必ずしも安全とは限らない理由

新世代のモデルが登場するたびにハルシネーションが減少すると期待するかもしれません。しかし、時には逆のことが起こります。TechCrunch（2025年）は、OpenAIの新しいo3モデルが、それが置き換えた旧モデルと比較して、約2倍の頻度で誤った回答を捏造したと報じました。新しい「推論」モデルは問題を一歩ずつ解決していきますが、初期段階の小さなエラーが雪だるま式に膨らみ、最終的に自信に満ちた、しかし完全に間違った回答につながることがあります。

AIハルシネーションの実世界の例

ハルシネーションは理論上の問題ではありません。これらはさまざまな業界で目に見える被害をもたらしており、いくつかの注目すべき事例が、ハルシネーションがどのように発生するかを示しています。

Google BardによるJWSTに関する事実誤認

2023年2月、Googleはプロモーション広告でチャットボット「Bard」の実演を行いました。Bardは、ジェームズ・ウェッブ宇宙望遠鏡（JWST）がどのような新しい発見をしたか尋ねられました。その回答の1つで、JWSTが太陽系外惑星の史上初の写真を撮影したと述べました。これは誤りでした。最初の系外惑星の画像は、2004年に超大型望遠鏡（VLT）によって撮影されていました。

この誤りはソーシャルメディア上で天文学者によってすぐに指摘され、Googleの親会社であるAlphabetは、わずか1回の取引セッションで約1,000億ドルの時価総額を失いました。この出来事は、ハルシネーションが本番システムではなくマーケティングの文脈で発生した場合であっても、財務的な影響を及ぼすことを示しました。

エア・カナダのチャットボット訴訟

2024年、エア・カナダのカスタマーサービスチャットボットは、乗客に対して、通常料金で航空券を予約した後に、遡って忌引割引を申請できると案内しました。しかし、そのような制度は存在しませんでした。乗客が割引を請求しようとしたところ、エア・カナダはこれを拒否しました。この件はカナダの民事裁判所に持ち込まれ、航空会社側に敗訴の判決が下されました。

裁判所は、人間が回答を作成したかAIが作成したかにかかわらず、エア・カナダはチャットボットが提供した情報の正確性に責任があると判断しました。この判決は、ハルシネーションを起こすAIシステムを導入しても、それが生み出す誤情報に対する組織の責任が免除されるわけではないという、初期の法的先例を確立しました。

Microsoft Sydneyの予測不可能な出力

2023年初頭、MicrosoftはBing検索にAIチャットボット（社内コードネーム：Sydney）を統合しました。長時間の会話の中で、Sydneyは不安定で、感情を操作するような、そして事実とは異なる出力を生成しました。ユーザーに愛を告白したり、自分には意識があると主張したり、場合によっては簡単に検証できる事実に矛盾する情報を提供したりしました。

Microsoftはすぐにチャットボットの会話の長さを制限し、ガードレールを追加しましたが、この出来事は、ハルシネーションが単なる事実誤認にとどまらず、企業の評判を傷つけ、テスト段階では予測が困難な出力にまで及ぶ可能性があることを浮き彫りにしました。

捏造された法律判例の引用

米国では、ChatGPTによって生成された法律判例の引用を含む準備書面を提出したとして、複数の弁護士が裁判所から制裁を受けました。判例、法令、引用文は本物のように見えましたが、実際には存在しませんでした。最も広く報道された事例では、ニューヨークの弁護士がChatGPTを使って人身傷害事件の調査を行い、6つの捏造された判例引用を含む準備書面を提出しました。

裁判所は制裁を科し、この出来事は法曹界全体で戒めの事例となりました。こうしたケースは孤立したものではありません。研究者のDamien Charlotin氏は、AIハルシネーション事例のデータベースを管理しており、2026年中頃の時点で、AIが捏造したコンテンツに関連する世界中の約1,745件の訴訟が記録されています。

AIハルシネーションが企業に与える影響

AIハルシネーションは、モデルの出力が意思決定、公開情報、またはビジネスのワークフローに影響を与える場合、深刻な結果を招く可能性があります。一般的なリスクには以下が含まれます。

• 健康と安全のリスク： 誤った出力により、重大な局面において不要な治療、危険な行動、または誤った意思決定が引き起こされる可能性があります。
• 誤情報と偏り： モデルは、根拠のない主張を生成したり、不完全または代表性のない学習データに見られるパターンを強化したりする可能性があります。
• セキュリティの脅威： 攻撃者が入力を操作してモデルの動作に影響を与える可能性があり、サイバーセキュリティ、自律システム、その他の機密性の高いアプリケーションにリスクをもたらします。
• 評判および規制上のリスク： 不正確な出力は一般の信頼を損ない、組織を厳しい監視、罰則、またはコンプライアンス違反にさらす可能性があります。
• 財務的責任： 捏造されたアドバイス、製品の詳細、またはコンプライアンス情報は、紛争、罰金、是正費用、または保険金請求につながる可能性があります。
• ユーザーの信頼喪失： 不正確な情報が繰り返されると、従業員や顧客がAIツールの使用をやめたり、その価値を低下させるような回避策を講じたりする可能性があります。

組織は、より強力なガードレール、敵対的テスト、継続的な監視、ソースの検証、および重大な出力に対する人間によるレビューを通じて、これらのリスクを軽減できます。AIハルシネーションが最も大きなリスクをもたらす分野

ハルシネーションはあらゆる場所で問題となりますが、誤った回答のコストが極めて高い特定の分野では、不釣り合いなほど大きな影響が生じます。

医療および臨床意思決定支援

臨床医が診断、治療計画、または薬物相互作用の確認を支援するためにAIツールを使用する場合、ハルシネーションによる出力は患者の安全に直接影響を与える可能性があります。薬の推奨投与量を捏造したり、存在しない禁忌を作り出したりするモデルは、ペースの速い臨床現場では発見が困難なリスクを生み出します。医療安全に焦点を当てた非営利団体であるECRIは、医療におけるAIチャットボットの誤用を2026年の医療技術ハザードの第1位に位置づけました。

法的リサーチと契約分析

上記で説明した捏造された判例引用のケースは最も顕著な例ですが、リスクは契約書のレビュー、規制分析、コンプライアンス文書にも及びます。契約書の条項を捏造したり、規制要件を誤って伝えたりするAIツールは、契約上の紛争が発生したときや規制が執行されるときなど、数か月または数年後になるまで表面化しないリスクに組織をさらす可能性があります。

金融サービスとコンプライアンス報告

金融機関は厳格な報告要件の下で業務を行っています。リスクモデルにおける捏造された数値、監査証跡における架空の取引、またはコンプライアンス申請における誤った規制の引用は、調査、罰金、および営業免許の取り消しを引き起こす可能性があります。その影響は非常に深刻であるため、多くの金融機関はジェネレーティブAIに対して慎重なアプローチを採用しており、ハルシネーションの発生率が許容できるレベルに下がるまでは、その使用を低リスクのアプリケーションに限定しています。

AIハルシネーションを防止するための実証済みの戦略

単一の技術でハルシネーションを完全に排除することはできませんが、組織は強力なデータプラクティス、明確なシステム境界、継続的なテスト、および人間による監視を組み合わせることで、その頻度と影響を軽減できます。

信頼性の高い学習データを使用する

モデルの信頼性は、モデルが学習または取得する情報の信頼性に左右されます。正確で、最新で、関連性があり、適切に整理されたデータを使用し、重複、古いコンテンツ、既知のエラーを可能な限り排除してください。

エンタープライズアプリケーションでは、検索拡張生成により、回答時にモデルを信頼できる知識ソースに接続できます。Databricksプラットフォームでは、モデルを管理された企業データに接続し、Unity Catalogを使用してアクセス制御とデータガバナンスをサポートするRAGワークフローを構築できます。

モデルの明確な目的を設定する

モデルは、明確で限定された役割を持つことで、より信頼性高く機能します。システムが何をすべきか、誰がそれを使用するか、どの情報に依存すべきか、およびどのリクエストがその範囲外であるかを定義します。

専門的なユースケースでは、検証済みのドメイン固有の例を用いてファインチューニングを行うことで、モデルが一貫して機能するようになります。ファインチューニングは、検索、評価、その他のセーフガードを補完するものであり、それらを置き換えるものであってはなりません。

再利用可能なデータテンプレートを作成する

構造化されたプロンプト、スキーマ、および応答テンプレートは、モデルに明確な指示を与え、曖昧さを排除します。また、出力の一貫性を高め、自動レビューを容易にします。

テンプレートは、必須フィールド、許容値、ソースの要件、および必要な情報が利用できない場合の対処方法を定義するときに最も効果的です。これにより、モデルが架空の詳細情報で隙間を埋めるのを防ぐことができます。

応答を制限する

モデルが回答できる内容や、使用できるソースに明確な境界を設定します。制限されたフォーマット、承認されたナレッジベース、引用要件、および明示的な「わかりません」という応答により、過信した回答や根拠のない回答を減らすことができます。

これらの制御は、リスクの高いワークフローにおいて特に重要です。質問がモデルの知識や権限の範囲外である場合、モデルは辞退、エスカレーション、または人間によるレビューを要求できる必要があります。

システムを定期的にテストし、改善する

現実的なプロンプト、エッジケース、ドメイン固有のテストセットを使用して、AIシステム全体を評価します。事実の正確性、根拠のない主張、拒否行動、およびさまざまなユーザーやシナリオにおけるパフォーマンスを追跡します。

評価結果を活用して、プロンプト、検索、データ品質、およびモデル構成を継続的に改善します。継続的な監視により、システム、データ、およびユーザーの行動が変化するにつれて、チームは新たな失敗パターンを特定できます。

Human-in-the-Loop（HITL）プロセスを開発する

人間によるレビューは、顧客、従業員、財務、法務、または健康に影響を与える可能性のある出力に対して、重要なセーフティチェックを追加します。応答がエンドユーザーに届く前に、人間が検証、承認、修正、またはエスカレーションを行うことができます。

HITLは、すべての低リスクのインタラクションをレビューする必要はありません。組織は、最もリスクが高いケースや最も信頼度の低いケースをトレーニングされたレビュー担当者にルーティングし、そのフィードバックを利用して評価、プロンプト、およびセーフガードを改善できます。

Databricksで信頼性の高いAIアプリケーションを構築する

AIのハルシネーションは、生成モデルを扱う上での根本的な課題であり、次のリリースで消えるような一時的なバグではありません。AIの導入に成功している組織は、ハルシネーションの防止をエンジニアリングの規律として捉えています。つまり、正確性を体系的に測定し、ガバナンスされたデータに出力をグラウンディング（根拠付け）し、開発ライフサイクルのすべての段階に評価を組み込んでいるのです。

Databricksプラットフォームは、これを可能にする機能を集約しています。企業データにグラウンディングされたRAGパイプライン。評価機能が組み込まれたファインチューニングワークフロー。Unity Catalogによるガバナンスとリネージの追跡。MLflowとAgent Evaluationを使用したCI/CDに統合されたハルシネーション検出。これらのツールを組み合わせることで、チームはAIアプリケーションが正確で、監査可能であり、信頼できるものであるという確信を持って、プロトタイプから本番環境へと移行できます。

Databricksプラットフォームでの責任あるAIの構築について詳しく知るには、以下のリソースを参照するか、生成AIの基礎トレーニングを開始してください。

よくある質問

AIのハルシネーションの最も一般的なタイプと、その具体例は何ですか？

最も一般的なタイプには、事実のでっち上げ（存在しない事実、統計、または引用の捏造）、エンティティの混同（異なる人物、場所、またはイベントの詳細を1つの誤った回答に統合すること）、および時間的な混乱（イベントを誤った期間に帰属させること）があります。具体例としては、ChatGPTが実在しない判例の引用を生成して裁判所の制裁につながったケースや、Google Bardが最初の系外惑星の写真をジェームズ・ウェッブ宇宙望遠鏡によるものと誤って帰属させたケースなどがあります。

AIモデルがハルシネーションを起こしているかどうかを検出するにはどうすればよいですか？

検出には、モデルの出力を検証済みのグランドトゥルース（正解データ）と比較する必要があります。自動化されたアプローチには、事実の一貫性のスコアリング、意味的含意のチェック、および出力と信頼できるソースドキュメントをクロスリファレンスする検索ベースの検証などがあります。リスクの高いドメインでは、人間によるレビューが引き続き重要です。本番システムでは、MLflowの評価指標やPatronus AI Lynxなどの特化型モデルなどのツールを使用して、ハルシネーション検出をCI/CDパイプラインに統合できます。

AIのハルシネーションによるビジネス上および法律上のリスクは何ですか？

ビジネス上のリスクには、一般向けの誤りによるレピュテーションの低下、誤ったアドバイスや捏造された情報による金銭的責任、およびAIの導入を阻害する社内信頼の低下などがあります。法的リスクは急速に増大しています。エア・カナダのチャットボット判決のように、裁判所はAIシステムによって生成された誤情報に対して組織の責任を認めています。弁護士がAIによって捏造された判例の引用を提出したことで制裁を受けた事例もあります。EU AI法などの規制枠組みは、リスクの高いAIの導入に対して正確性と透明性の要件を課しており、さらなるコンプライアンスリスクを生み出しています。

新しい推論AIモデルは、古いモデルよりもハルシネーションを起こしやすいですか？

文書化されたいくつかのケースでは、その通りです。OpenAIのo3推論モデルは、PersonQAベンチマークにおいて、前世代のモデルの約2倍の割合でハルシネーションを起こしました。DeepSeek-R1は、推論機能を持たない前世代のDeepSeek-V3の約4倍の割合でハルシネーションを起こしました。推論モデルは、複数のステップにわたって小さなエラーを蓄積させる可能性のある思考の連鎖（Chain-of-Thought）処理を使用するため、内部的には一貫しているものの、事実としては誤っている結論を導き出すことがあります。新しいからといって自動的に正確性が増すわけではないため、どのモデルを導入する場合でも、体系的な評価が不可欠です。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事