説明可能なAI（XAI）とは？

説明可能AI（XAI）とは、AIシステムがどのようにして特定の出力に至ったかを人々が理解できるようにするための技術を指します。これは、モデルが人間が書いたルールに従うのではなく、データからパターンを学習する機械学習やディープラーニングにおいて特に重要です。

モデルがより強力になるにつれて、その意思決定の追跡は難しくなる可能性があります。ディープラーニングモデルには数十億ものパラメータが含まれることがあり、なぜ取引を承認したのか、不正を検知したのか、ローンを否決したのか、あるいはMRI画像で異常を検出したのかを理解することが困難になります。これはしばしば「ブラックボックス」問題と呼ばれます。

XAIは、チームがモデルの以下の点を評価する方法を提供することで、そのブラックボックスを開けるのに役立ちます。

• 正確性（Accurate）：モデルは正しい予測を行っているか？
• 公平性（Fair）：モデルは各グループを一貫して扱っているか？
• 信頼性（Reliable）：チームはその結果を理解し、信頼できるか？
• コンプライアンス（Compliant）：組織は必要に応じて意思決定を説明できるか？

AIがより重大な意思決定を担うようになるにつれ、モデルがなぜその回答に達したのかを理解することは、回答そのものと同じくらい重要になります。この記事では、主要なXAIの手法、データチームやAIチームが信頼している技術、およびそれらの選択方法について解説します。

説明可能AIの手法が重要な理由

融資、採用、ヘルスケア、不正検知、保険などの分野における意思決定は、個人に大きな影響を与える可能性があります。特にAIが関与している場合、人々には、なぜ自分の申請が却下されたのか、取引がフラグ立てされたのか、あるいは特定の治療法が推奨されたのかを知る権利があります。透明性の欠如は単に不便なだけではありません。多くの状況において、それはリスクになり得ます。XAI手法が重要である4つの実用的な理由は以下の通りです。

• 信頼。ユーザー、規制当局、ビジネスリーダーは、AIの仕組みを理解しているときに、AIを導入しやすくなります。説明なしに意思決定を行うモデルは、受け入れにくく、正当化するのも困難です。
• デバッグ。開発者は、何が出力を動かしているのかを確認できるため、モデルのエラー、バイアス、ドリフトをより迅速に発見して修正できます。モデルの挙動が可視化されていなければ、トラブルシューティングは手探りになってしまいます。
• コンプライアンス。EU AI ActやGDPR第22条などの規制がAI関連の課題に対処するために進化するにつれ、組織に対して個人に影響を与える自動意思決定の説明を求める動きが強まっています。特にEU AI Actの第86条では、特定の高リスクな状況において、AIによる意思決定の「明確で有意義な説明」を提供することを導入者に義務付けています。
• 公平性。XAI手法は、AIシステムが実際の人々に影響を与える前に、人種、性別、年齢、地域に関連する隠れたバイアスを表面化させるのに役立ちます。

現実世界のデータが変化するにつれて、モデルの挙動も時間の経過とともに変化することがあります。説明可能性は、継続的なモニタリングをサポートします。

XAI手法の仕組み

XAIの手法は一般的に、設計段階から説明可能なモデルと、事後的にモデルを説明する手法の2つのカテゴリに分類されます。前者のカテゴリでは、モデルの構造が直接読み取れるほどシンプルです。例としては、決定木、線形回帰、ルールベースのシステムなどが挙げられます。

後者では、モデルが複雑すぎて直接読み取ることができないため、トレーニング後に別の技術を適用してモデルの動作を調査します。具体的な手法としては、トレーニング済みのモデルで実験を実行する、モデルをよりシンプルなもので近似する、あるいは特定の出力に最も影響を与えた入力を追跡する、などが挙げられます。

いずれの場合も、分析によってモデルが変更されるわけではなく、モデルに対して問いかけを行うことになります。

基本的なワークフローは以下の通りです。

1. 説明対象の選択：モデルと、説明が必要な特定の予測、出力、または挙動を選択します。
2. 適切なXAI手法の選択：決定木モデル、ニューラルネットワーク、Transformerなどのモデルタイプや、単一の予測を説明する必要があるのか、それとも全体の挙動を説明する必要があるのかに基づいて選択します。
3. 説明の実行：手法を適用して、モデルがどのようにしてその出力に至ったかを分析します。
4. 結果の確認：特徴量の重要度スコア、視覚的なヒートマップ、よりシンプルな代理モデル、What-Ifシナリオなどの出力を解釈します。
5. 対象読者に合わせた説明：開発者には特徴量スコアと技術的な詳細が必要です。監査人にはドキュメントと追跡可能性が必要です。エンドユーザーには平易な言葉が必要です。

重要な用語：解釈可能性と説明可能性、グローバルとローカル

具体的な手法に入る前に、XAIの議論で頻繁に登場する4つの用語を紹介します。これらを知っておくと、その後の議論が分かりやすくなります。

説明可能AI手法の主な種類とは？

XAI手法は通常、説明を生成する方法によってグループ化されます。以下の3つの説明では、現在使用されている主要な技術と、透明性、正確性、実用的な適合性に関して考慮すべきトレードオフについて説明します。

本質的に解釈可能なモデル

本質的に解釈可能なモデルは、設計段階から透明性があります。モデル自体の構造によって意思決定の方法が明らかになるため、モデルのロジックを分析するための追加のツールや技術は必要ありません。例としては、手作業でたどることができるYes/Noルールのフローチャートに従う決定木や、各入力に数値の重みを割り当てることで各特徴量が出力にどのように貢献しているかを正確に確認できる線形回帰やロジスティック回帰が挙げられます。一般化加法モデルやルールベースのシステムも同様に機能します。

ここでのトレードオフは正確性です。解釈可能なモデルは説明しやすいものの、画像認識や言語理解などの難しい問題においては、複雑なモデルよりも正確性が劣ることがよくあります。しかし、すべての意思決定に正当性が求められる規制の厳しい業界では、これらがデフォルトの選択肢となることがよくあります。

事後説明手法

事後手法は、モデルのトレーニング後に適用されます。一般的にXAIと言う場合、多くの人はこれを指しています。SHAP、LIME、反事実などのツールがこれに該当します。

事後手法は通常、ディープラーニングモデル、大規模言語モデル（LLM）、および基礎となる数学が複雑すぎて直接読み取ることができないその他の複雑なシステムにおける唯一の選択肢です。しかし、トレードオフとして、事後説明は近似値であり、正確な内部計算ではないという点があります。

可視化ベースの手法

このカテゴリは、入力のどの部分がモデルの意思決定を動かしたかを示す視覚的な出力を生成する手法を指します。例としては、画像内のどのピクセルが最も重要であったかを強調表示するサリエンシーマップやGrad-CAMが挙げられます。アテンションの可視化は、文中のどの単語にモデルが注目したかを強調表示します。画像モデルやテキストモデルの場合、ヒートマップやハイライトは数値のリストよりも直感的であることが多いため、非技術的なステークホルダーに結果を伝える際にこれらの手法は特に役立ちます。事後手法と同様に、可視化の出力は決定的な証拠ではなく、参考となるシグナルとして扱う必要があります。

一般的な説明可能AI手法

以下の表は、最も広く使用されているXAI手法をまとめたものです。その後に、実務者が最も頻繁に使用する5つの技術についての詳細な説明が続きます。

SHapley Additive exPlanations

SHAPと呼ばれるXAI手法は、各入力特徴量に対して、基準値（ベースライン）と比較して予測値をどれだけ上下させたかを示す数値スコアを割り当てます。たとえば、ローンが否認された理由をSHAPに尋ねると、申請者の返済負担率（DTI）が承認確率を22ポイント下げた一方で、雇用履歴が8ポイント上げた、といったことがわかります。この手法は、協力ゲーム理論のシャープレイ値（Shapley values）に根ざしています。これは貢献者の間で公平に手柄（クレジット）を分配するための原則的な方法であり、これによりSHAPは他の多くの代替手法よりも強固な理論的基盤を持っています。

SHAPの主な強みは、モデルに依存しない（モデルアグノスティックである）こと、そしてローカル（個々の予測）とグローバル（モデル全体）の両方の説明を生成できることです。また、Databricks AutoMLやMLflowのオートロギングでサポートされている主要な説明可能性ツールでもあります。トレードオフとなるのは計算コストです。SHAPは大規模なデータセットや複雑なモデルでは処理が遅くなる可能性があるため、それに応じた予算（リソース）を確保しておく必要があります。

Local Interpretable Model-agnostic Explanations

XAIのLIME（Local Interpretable Model-agnostic Explanations）手法は、理解したい1つの予測を選択し、その予測がどのように生成されたかを分析するために、より小さく読みやすいモデルを構築します。これを行うために、LIMEは入力を何度も少しずつ変化させ、モデルの出力がどのように変化するかを観察します。その結果を使用して、分析対象のAIを近似する、通常は線形モデルなどの簡略化された代理モデル（サロゲートモデル）を適合させます。出力されるのは、特徴量のランキングリストと、それらが予測に与える影響の方向性です。

LIMEはあらゆるモデルタイプに対応し、単発の説明を迅速に生成します。トレードオフは、説明が不安定になる可能性があることです。LIMEはランダムな摂動（データの微調整）を使用するため、同じ予測に対して2回実行すると、結果が大きく異なる場合があり、これは重要度の高い意思決定や監査が必要な状況において深刻な問題となる可能性があります。

Counterfactual explanations

反事実的説明は、「モデルが異なる決定を下すためには、何を変える必要があったか？」という直接的な疑問に答えます。たとえば、「もし年収が1万ドル高ければ、この申請は承認されていただろう」という記述が反事実的な説明にあたります。

このタイプのXAIは、具体的な行動につなげやすいため、非技術的なユーザーにも受け入れられやすいのが特徴です。反事実的説明は、人々が日頃から考えている因果関係の捉え方に自然にフィットし、得られた情報をもとに次に何をすべきかを示してくれます。また、GDPR第22条など、「説明を受ける権利」を含む規制の枠組みにも適しています。トレードオフは、実用面における制約です。反事実的説明は、提案された変更が現実的であり、本人のコントロールが及ぶ範囲内である場合にのみ役立ちます。「もし10歳若ければ」という説明は、行動に移せる説明（アクション可能な説明）ではありません。

Saliency maps and Grad-CAM

サリエンシーマップとGrad-CAMは、画像ベースのモデル向けの視覚的なXAI手法です。これらは、モデルが予測を行う際にどのピクセルや領域に注目したかを示すヒートマップを、元の画像に重ね合わせて生成します。医療画像の分野を例に挙げると、レントゲン写真の分類におけるGrad-CAMの出力は、モデルが肺の特定の領域に注目したことを示すことができ、これは放射線科医がその結果を信頼する前にまさに確認したい情報です。

これらの手法は、コンピュータビジョン、医療画像、自律型システム、産業用品質管理などで広く使用されています。しかし、研究により、サリエンシーマップは説得力があるように見えても、モデルの実際の挙動を正確に反映していない場合があることが示されています。これらは決定的な出力ではなく、1つのシグナルとして捉える必要があります。

Attention visualization for LLMs and transformers

Transformerモデルは、現代のほとんどのLLMの基盤となるアーキテクチャを提供しており、各入力トークンが各出力トークンにどれだけ貢献しているかを重み付けするアテンションメカニズムが組み込まれています。アテンションの可視化は、これらの重みをテキスト上のハイライトマップに変換し、モデルが特定の回答を生成する際にどの入力単語に最も依存したかを示します。

この可視化は専門知識がなくても理解しやすいため、LLMにおいて最も利用しやすい説明可能性ツールの1つとなっています。ただし、これらが常に最終的な出力を忠実に説明しているとは限りません。研究によると、アテンションの重みが大きい特徴量が、必ずしもモデルの実際の決定を正確に反映しているわけではないことが分かっています。

How to choose the right XAI method

適切なXAI手法の選択は、モデル、対象読者、および解決したい課題によって異なります。以下のフレームワークは、意思決定のガイドとして役立ちます。

1. 問いを特定する：説明しようとしているのは、特定の1つの予測（ローカル）ですか、モデル全体の挙動（グローバル）ですか、それとも結果を変化させる要因（反事実的）ですか？
2. モデルタイプに合わせる：表形式データのツリーベースモデルには、まずSHAPを検討します。画像には、Grad-CAMまたは統合勾配を使用します。テキストやLLMには、アテンションの可視化またはLIMEを使用します。ニューラルネットワーク全般には、LRPまたは統合勾配を検討してください。上記の「手法の一覧表」も参照してください。
3. 対象読者を考慮する：開発者は特徴量スコアや技術的な詳細を必要とします。監査人は追跡可能性（トレーサビリティ）やドキュメントを必要とします。エンドユーザーは、わかりやすい言葉による反事実的説明やシンプルなルールを必要とします。
4. 計算コストを考慮する：SHAPや統合勾配は、大規模なデータセットではコストが高くなる可能性があります。本番スケールで手法を導入する前に、それに応じたリソースを予算化してください。
5. 複数の手法を組み合わせる：単一のXAI手法だけで全体像を把握することはできません。グローバルな手法（順列重要度など）とローカルな手法（SHAPやLIMEなど）を組み合わせることで、全体的な挙動と個々の予測の両方をより詳細に把握できます。
6. 説明を検証する：ドメイン知識に照らし合わせて、出力結果の妥当性を確認（サニティチェック）します。説明が専門家の予測と矛盾する場合は、それを信頼する前に原因を調査してください。

Limitations of explainable AI methods

XAI手法は強力ですが、完璧ではありません。本番環境に導入する場合は、その限界を理解しておく必要があります。

Explanations are approximations, not definitive

SHAP、LIME、サリエンシーマップなどの事後（post hoc）手法の多くは、正確な内部計算を明らかにするのではなく、モデルの挙動を近似するものです。同じ予測に対して2つの異なる手法を適用すると、異なる説明が生成されることがあります。XAIの出力は決定的な「証明」ではなく、1つの「証拠」として扱ってください。

Computational cost

前述のように、SHAPや統合勾配などの手法は、大規模なデータセットや複雑なモデルでは処理が遅くなる可能性があります。大量の処理を行う本番システムにおいて、すべての予測に対して完全な説明を実行することは現実的ではない場合があり、一部にのみ選択的に適用すると、その代表性に疑問が生じます。どのXAI手法を選択するかを検討する際は、モデリングコストだけでなく、計算コストも予算に組み込んでください。

Stability and reliability

一部の手法、特にLIMEは、摂動プロセスにおけるランダムサンプリングにより、同じ予測に対して繰り返し実行すると異なる結果を出力することがあります。この不安定さは、監査が必要な環境や規制のある環境において深刻な懸念事項となります。また、敵対的攻撃によって事後の説明が操作され、実際のモデルの挙動が隠蔽される可能性もあります。対策の研究は進められていますが、このような攻撃の存在も、説明を「改ざん不可能なもの」として扱ってはならない理由の1つです。

The accuracy-explainability trade-off

最も解釈しやすいモデルは、複雑な問題に対して最も精度が低いことが多く、最も精度の高いモデルは、最も説明が困難であることがよくあります。これは解決可能なエンジニアリングの問題ではなく、意図的な設計上の選択です。組織は自社の優先事項を評価する必要があります。精度は劣るが完全に透明なモデルを求めるのか、それともXAIツールを重ね合わせたより高精度なブラックボックスモデルを求めるのか。その答えは、意思決定の重要性に基づいて導き出されるべきです。ヘルスケア、融資、刑事司法などの重要度の高い領域では、生の精度をある程度犠牲にしてでも、説明可能性を優先することが正当化されることがよくあります。

説明可能AI（XAI）手法の実世界における応用例

XAI手法は、規制の厳しい業界や極めて重要な意思決定が求められる業界において、すでに実稼働環境で活用されています。以下に、さまざまな手法が業界ごとにどのように使用されているかをご紹介します。

• 金融サービス：銀行はSHAPや反事実的（counterfactual）説明を用いてローンの却下理由を説明し、公正な融資規制を遵守するとともに、申請者に具体的な次のステップを提示しています。
• ヘルスケア：病院はサリエンシーマップやGrad-CAMを使用して、医療画像モデルがデータ内のノイズ（アーティファクト）ではなく、臨床的に関連のある領域に焦点を当てているかを検証しています。
• 保険：引受モデルは大局的な説明（グローバルな説明）を用いて、どの要因が価格決定を左右しているかを規制当局に示しています。
• 不正検知：アナリストは局所的な説明（ローカルな説明）を用いて、フラグが立てられた取引を調査し、誤検知を減らし、調査結果をコンプライアンスチームに伝達しています。
• 人事・採用：反事実的説明は、企業や組織が採用モデルのバイアスを監査し、新たに登場しつつあるAI採用規制に対応するのに役立ちます。
• 顧客離脱とマーケティング：特徴量の重要度を評価する手法により、チームはどの行動が離脱を予測するかを理解できるため、単に出力結果に対処するだけでなく、その根本的な要因に働きかけることができます。

Databricksが説明可能AIをどのようにサポートするか

Databricksによって開発されたオープンソースのMLライフサイクルプラットフォームであるMLflowは、モデルの追跡、バージョン管理、およびモデル自体と並行した説明アーティファクトのロギングをサポートしています。サポートされているモデルフレーバーでは、MLflowの自動ロギング機能（autologging）がSHAP値と特徴量の重要度スコアをキャプチャできるため、説明を、それを生成した特定のモデルバージョンやトレーニング実行に関連付けたまま保持できます。Databricks AutoMLも、生成するモデルのSHAPプロットとShapley値のノートブックを自動生成するため、チームは手動で設定することなく、説明可能性への取り組みを開始できます。

Unity Catalogは、説明可能性を長期にわたって監査可能にするガバナンスレイヤーを提供します。このレイヤーには、モデルの系統（リネージ）、バージョン管理、一元化されたアクセス制御、監査ログが含まれており、チームはどのデータがどのモデルをトレーニングしたか、誰がアクセスしたかを追跡できます。MLflowとUnity Catalogを組み合わせることで、データおよびAIチームは、モデルライフサイクルの最後に説明可能性を「後付け」するのではなく、ライフサイクルそのものに組み込むためのインフラストラクチャを構築できます。

よくある質問

Are XAI explanations always accurate?

いいえ。ほとんどのXAI手法、特にSHAPやLIMEのような事後（post hoc）手法は、モデルの挙動の近似値を生成するものであり、内部計算を正確に再現するものではありません。同じ予測に対して2つの異なる手法を適用した場合、異なる説明が生成されることがあります。XAIの出力は決定的な証拠ではなく、判断を支援する材料として扱ってください。ドメインの専門知識に照らし合わせて説明を検証し、複数の手法を組み合わせることで、より信頼性の高い全体像を把握できます。

What is the difference between XAI and interpretable AI?

解釈可能AIとは、設計段階から透明性があり、その構造が直接理解できるほどシンプルなモデルを指します。説明可能AI（XAI）はより広い概念であり、解釈可能モデルだけでなく、事後にその挙動を説明する別の手法と組み合わせた複雑なブラックボックスモデルも含みます。解釈可能なモデルにはXAIツールは不要ですが、説明可能なモデルには必要となります。

What is the difference between global and local explanations?

グローバルな説明は、全体としてどの特徴量が最も重要であるか、一般的にどのようなパターンが予測を左右しているかなど、すべての入力に対するモデルの挙動を説明します。一方、ローカルな説明は、特定の入力に対してモデルがなぜその特定の予測を行ったのかを説明します。どちらのタイプも有用であり、XAIのベストプラクティスとしては、グローバルな手法を用いてモデル全体を理解し、ローカルな手法を用いて個々の意思決定を説明することが推奨されます。

What's the difference between XAI and responsible AI?

責任あるAIはより広範な規律であり、AIのライフサイクル全体における公平性、安全性、プライバシー、透明性、説明責任をカバーします。説明可能AI（XAI）は、モデルの挙動を透明にし、監査可能にするための一連の手法を指します。したがって、説明可能性は責任あるAIを実現するために不可欠ですが、それだけでは十分ではありません。モデルが説明可能であっても、バイアスが存在したり、安全でなかったり、悪用されたりする可能性は残ります。

Can XAI methods be used on generative AI?

はい。ただし、従来のマシンラーニング（ML）モデルで使用される手法とは異なります。LLMやその他のトランスフォーマーベースのシステムでは、アテンションの可視化（Attention Visualization）が最も広く用いられているアプローチです。LIMEもテキスト入力に適用できます。とはいえ、ジェネレーティブAIは、出力がより多様であり、コンテキストウィンドウが長く、入力トークンと生成されたテキストとの関係がより複雑であるため、表データや画像モデルよりも説明可能性の実現が困難です。ジェネレーティブAIの説明可能性は現在も活発に研究されている分野であり、現行の手法は完全な説明ではなく、部分的な手がかりとして捉えるべきです。

Databricksでガバナンスの効いたXAIを始める

XAI手法は、データおよびAIチームに対し、人々が理解し、信頼し、監査できるシステムを構築するためのツールを提供します。適切な手法の選択は、モデル、対象読者、および出力される意思決定の重要性によって異なりますが、根本的な目標は同じです。それは、確信を持って行動を起こせるように、AIの挙動を十分に可視化することです。

Databricksが責任あるガバナンスの効いたAIをどのようにサポートしているかについては、当社のエンタープライズデータガバナンスフレームワークまたはDatabricks AIガバナンスフレームワークをご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事