ヒューマン・イン・ザ・ループ（HITL）とは？

Human in the loop (HITL) は、システムのトレーニング、監視、または意思決定に人間が能動的に関与することで、精度、安全性、倫理的な整合性を向上させる、AIおよび機械学習のアプローチです。「ループ」とは基本的なサイクルを指します。モデルが出力を生成し、人間がそれをレビューまたは修正し、そのフィードバックがシステムに還元されます。修正を重ねるたびに、モデルは人間が期待する挙動に近づくよう学習していきます。

HITLは開発の特定の段階だけに限定されるものではありません。トレーニングデータのラベル付けから、モデル出力のレビュー、本番環境でのエージェントのアクションの承認にいたるまで、AIのライフサイクル全体で活用されます。特に、ミスが重大な結果を招くエッジケースや極めて重要な状況（放射線科のAIによる画像診断のフラグ立て、本番データベースの変更を準備するAIエージェント、異常な取引を処理する不正検知システムなど）において最も重要になります。

以下のセクションでは、実務におけるHITLの仕組み、関連するアプローチとの比較、さまざまな業界での活用例、そしてHITLが適さないケースについて解説します。

チームがHITLを採用する理由：精度、信頼性、コンプライアンスを1つのループで実現

企業や組織がHITLを導入するのは、自動化のスピードを損なうことなく、AIシステムの信頼性と安全性を高めるためです。そのメリットは相乗効果を生み出します。より質の高い人間のフィードバックがより優れたトレーニングデータにつながり、優れたトレーニングデータがより優れたモデルを生み出し、そして優れたモデルは人間の介入を減らすことにつながります。

• 精度の向上：人間がレビューすることで、モデルが見落としたミスを検知できます。特に、システムが未知の入力に遭遇した場合や、トレーニングデータでは十分にカバーできていなかった状況で効果を発揮します。
• エッジケースへの対応力強化：モデルが判断に迷う状況や、トレーニングされていない事象に対処する際、人間が判断力、文脈の理解、常識を適用して補完できます。
• バイアスの低減：人間が監視することで、偏った出力、有害な出力、または歪んだ出力がユーザーや後続のシステムに届く前に、チームがそれを特定して修正できます。
• 安全性と倫理的整合性：人間のチェックポイントを設けることで、有害、不適切、またはコンプライアンスに違反する出力が公開されるのを防ぎます。
• 規制への準拠：新しく策定されている多くのAI規制では、リスクの高いシステムに対して実質的な人間の監視を求めています。例えば、EU AI法の第14条では、高リスクAIシステムに対して人間による監視と介入をサポートすることを義務付けており、NISTのAIリスクマネジメントフレームワークでも、重大な結果を招くアプリケーションにおける人間の監視の重要性が強調されています。
• 信頼性と導入の促進：人間がチェックや上書き（オーバーライド）できると分かっているAIシステムに対しては、人々はより安心して信頼を寄せ、導入を進めることができます。
• 継続的な改善：すべての修正が新たな学習機会となります。適切に設計されたHITLシステムは、単にミスをキャッチするだけでなく、時間の経過とともに特定のカテゴリのエラー自体を完全に排除できるようになります。

フィードバックループの解説：実務におけるHITLの仕組み

HITLは単一のステップやチェックポイントではありません。トレーニングデータの準備から、デプロイ後の出力のレビューにいたるまで、AIのライフサイクル全体に適用できるデザインパターンです。実務における具体的な流れは以下の通りです。

1. データのラベル付け：人間が画像、テキスト、音声などの生データにタグやアノテーションを付与し、モデルが学習するための正確なデータを作成します。ここでの判断がモデルのパフォーマンスを直接左右します。
2. モデルのトレーニング：トレーニング中に人間がモデルの出力をレビューして修正し、システムに「何が正しいか」を学習させます。これには、レビューアが回答をランク付けまたは評価してモデルをより良い回答へと導く、人間のフィードバックからの強化学習（RLHF）がよく用いられます。
3. 推論のレビュー：モデルの稼働後、アクションが実行される前に人間が特定の出力をレビューする場合があります。これは通常、予測の確信度が低い場合、異常な場合、または高リスクな意思決定に関連する場合に行われます。
4. エスカレーションとオーバーライド：モデルが定義されたリスクしきい値を超えた場合、システムは処理を進める前に、意思決定を人間に引き渡します。人間はそれをレビューし、承認、却下、または修正を行います。
5. 継続的なフィードバック：人間のフィードバックはデプロイ後も終わりません。修正やレビューの結果をシステムにフィードバックすることで、チームはモデルを再トレーニングしたり微調整（ファインチューニング）したりでき、パフォーマンスの低下（ドリフト）を防ぎ、向上させることができます。

すべてのAIシステムが、あらゆる段階で人間を必要とするわけではありません。成熟したHITLシステムの多くは、確信度のしきい値やリスクスコアリングを使用して、一部の意思決定のみを人間のレビューにルーティングします。これこそが、実務においてHITLのスケールメリットを活かせる理由です。

In the loop、On the loop、Over the loop：それぞれの違いとは？

これら3つの用語は、AIシステムに対する人間の関与レベルの違いを表していますが、混同されがちです。最大の違いは、人間が意思決定にどの程度密接に関わっているか、そして必要なときにどれだけ迅速に介入できるかです。

実務においては、多くのAIシステムがこれら3つのアプローチを組み合わせて使用しています。最もリスクの高い意思決定にはHITLによる直接的な人間の承認が必要となる一方、日常的な監視はon the loopで行われ、ガバナンスはover the loopで実施されます。適切なバランスは、リスクの大きさ、システムの規模、そしてタスクに実際にどれだけの人間の判断が必要とされるかによって異なります。

HITLとRLHF：関連する概念とそれぞれの役割

HITLとRLHFは密接に関連していますが、同じものではありません。

HITLはより広範な概念です。人間がAIの挙動を導き、レビューし、改善するあらゆるシステムを指します。これは、トレーニング中、リアルタイムの意思決定中、またはモデルがすでに本番環境で稼働している後のいずれの段階でも発生する可能性があります。

RLHFはそのための具体的な手法の1つです。RLHFでは、人間がモデルの回答をランク付けまたは評価することで、どの回答がより有用で正確か、あるいは人間の期待に沿っているかをシステムに学習させます。そのフィードバックは、大規模言語モデル（LLM）のトレーニングや微調整（ファインチューニング）に役立てられます。

例えば、HITLには、トレーニングデータのラベル付け、本番環境でのモデル出力のレビュー、実行前のエージェントのアクションの承認、あるいは人間による修正のシステムへのフィードバックなども含まれます。

最もシンプルな捉え方は次の通りです。RLHFは特にトレーニング中のモデルの学習方法の改善に焦点を当てているのに対し、HITLはライフサイクル全体を通じてAIシステムを監視・改善するために人間が果たすより広範な役割を指します。

HITLの活用例：さまざまな業界における実世界での事例

HITLは、AIの意思決定が重大な結果をもたらす場合や、人間の判断、文脈の理解、専門知識が必要とされる場面で最も一般的です。多くのエンタープライズ向けAIシステムにおいて、人間はAIに取って代わるために存在するのではなく、判断が重要となる局面で介入します。

Databricksの調査によると、主要なAIユースケースの約40%がカスタマーエクスペリエンスに焦点を当てており、それらのワークフローの多くは、依然として重要なポイントで何らかの形の人間のレビュー、エスカレーション、または承認に依存しています。

• 医療画像診断：診断が確定する前に、放射線科医がスキャン画像上でAIによってフラグが立てられた所見をレビューし、確認します。
• コンテンツモデレーション：投稿内容のニュアンスが複雑すぎたり、曖昧であったりしてAIが確信を持って評価できない場合、特に文脈によって意味が完全に変わり得るヘイトスピーチ、誤情報、またはセンシティブな画像などの分野において、人間のレビューアが介入します。
• 自動運転車：車両が自律的に安全な走行を判断できない状況に遭遇した場合、セーフティドライバーや遠隔オペレーターが運転を引き継ぎます。
• 金融サービス：モデルが自律的に判断を下すのに十分な確信度を持てない場合、アナリストがローンの承認、不正検知アラート、マネーロンダリング防止対策の案件をレビューします。
• コンタクトセンター：AIチャットボットが顧客の課題を解決できない場合や、会話が特にデリケートまたは複雑になった場合に、人間のオペレーターが対応を引き継ぎます。
• ジェネレーティブAIアプリケーション：編集者が公開前にAI生成コンテンツをレビューし、評価者が出力を評価して将来の回答の改善に役立てます。これらのシステムの仕組みの詳細については、ジェネレーティブAIをご覧ください。
• AIエージェントとツールの利用：メールの送信、レコードの更新、コードの実行などのアクションを実行できるAIエージェントの場合、実際に処理が実行される前に、影響の大きいアクションを人間が承認することがよくあります。
• 文書処理：モデルの確信度スコアが定義されたしきい値を下回った場合、専門家が契約書、請求書、領収書から抽出されたデータを検証します。このユースケースの詳細については、インテリジェント文書処理をご覧ください。

HITLは万能ではない：すべてのチームが知っておくべき限界

HITLは、AIシステムの正確性、説明責任、信頼性を高めるための最も効果的な方法の1つですが、魔法の安全対策ではありません。人間の関与が効果を発揮するのは、システムが思慮深く設計されている場合のみです。そうでなければ、HITLはボトルネックや一貫性のない決定を生み出したり、実質的な制御を伴わない「監視しているつもり」という錯覚に陥らせたりする可能性があります。

レイテンシーとコスト：すべてのレビュープロセスが摩擦を生む

人間によるレビューのステップが加わるたびに、ワークフローの時間とコストが増加します。大規模なシステムでは、あまりにも多くの判断を人間に委ねると、コストが急速に膨らみ、時間に追われるプロセスの遅延を招きます。

そのため、成熟したHITLシステムでは通常、確信度のしきい値やリスクスコアリングを活用し、真に人間の判断を必要とする決定のみをエスカレーションします。

警戒心の低下：レビュー担当者が注意を払わなくなる理由

ほぼ正しいAIの出力が大量に続くのをレビューしていると、人間の注意力は自然と散漫になります。レビュー担当者は、結果を急いで承認し始めたり、慎重に評価することを完全にやめてしまったりすることがあります。これは「警戒心の低下（vigilance decrement）」と呼ばれる現象です。

一部のシステムでは、レビュー担当者がAI自体に過度に依存するようになり、モデルの推奨事項を能動的に検証する代わりに、次第にそれを鵜呑みにするようになることもあります。そうなると、技術的には人間が「ループ内（in the loop）」にいるにもかかわらず、人間による監視の意味が薄れてしまいます。

このような受動的な監視による疲労は、特に反復的なワークフローにおいて、驚くほど早く始まります。チームは多くの場合、レビュー担当者を交代させたり、バッチサイズを制限したり、承認パターンを監査したりすることで、この問題を軽減しています。

人間の判断は常に一貫しているとは限らない（そしてそれは重要である）

人々の意見は常に一致するとは限らず、同じレビュー担当者であっても、似たような状況で異なる判断を下すことがあります。明確なガイドラインや定期的なキャリブレーションがなければ、人間のフィードバックは一貫性を欠き、ノイズが多くなる可能性があります。

その一貫性の欠如が問題となるのは、人間のフィードバックがトレーニング信号の一部になることが多いためです。フィードバック自体が信頼できない場合、モデルを体系的に改善することは非常に困難になります。

誰が「人間」とみなされるのか？

多くのHITLシステムにおいて、「ループ内の人間」は、真のドメインエキスパートではなく、契約社員、アノテーター、またはジュニアレビュー担当者である場合があります。これは重要な問いを投げかけます。つまり、「その判断を下す資格が本当にあるのは誰なのか？」ということです。

優れたHITL設計では、単に人間が関与しているかどうかだけでなく、分野の専門家や、場合によってはその結果から最も影響を受ける人々など、適切な人間が関与しているかどうかも考慮されます。

レビュー担当者がAIを理解できなければ、監視は形骸化する

意味のある監視が機能するのは、レビュー担当者がモデルの出力内容とその理由を実際に評価できる場合に限られます。システムが不透明すぎたり、複雑すぎたり、リアルタイムで評価するには速すぎたりする場合、人間による承認は単なる「お墨付き」にすぎなくなってしまいます。

そのため、説明可能性、透明性、明確なエスカレーション基準は、効果的なHITLシステムにおいてオプションの追加機能ではなく、不可欠な要素となります。

人間のフィードバックが間違っていることもある

人間はバイアスを持ち込み、間違いを犯し、時にはシステムを悪用しようとすることもあります。いずれにせよ、AIモデルはそのフィードバックから学習します。RLHFやその他のHITLシステムでは、質の低いフィードバックによって、モデルの正確性や公平性が徐々に低下したり、操作されやすくなったりする可能性があります。

そのため、強力なHITLプログラムには、レビュー担当者のトレーニング、合意チェック、定期的な監査が含まれています。人間による監視が機能するのは、フィードバック自体が信頼できる場合のみです。

人間をループから外すべきケース

HITLが常に正しい答えとは限りません。人間によるレビューを追加することで、解決するよりも多くの問題が発生する状況もあります。

• レイテンシーに敏感なシステム：高頻度取引、自動運転の制御ループ、リアルタイムの不正スコアリングシステムなどでは、多くの場合、すべての判断において人間によるレビューのために処理を一時停止することはできません。
• 低リスクかつ大量のタスク：個々のミスのコストが低く、レビューコストが高い場合、定期的な監査を伴う完全な自動化の方が実用的なことがよくあります。
• モデルがレビュー担当者を上回るタスク：範囲が狭く明確に定義されたタスクでは、モデルが人間のレビュー担当者を一貫して上回る可能性があります。そのような場合、人間を介在させると、ミスをキャッチするどころか一貫性のなさを招く可能性があります。
• レビュー不可能なAIの推論：システムが複雑すぎたり動作が速すぎたりして、人間が出力を現実的に評価できない場合、HITLは有意義な監視ではなく、単なる「説明責任のパフォーマンス」に終わるリスクがあります。

重要なのは、あらゆる場所でデフォルトで監視を行ったり、モデルを完全に信頼したりすることではなく、リスク、決定の量、そして人間の判断の実際の価値に合わせて人間の関与を調整することです。

重要性の高まり：AIエージェントとLLMにおけるHITL

AIシステムが単なるコンテンツ生成にとどまらず、ユーザーに代わってアクションを実行するようになると、HITLはさらに重要になります。

チャットボットがメールの下書きを提案することは一つのステップにすぎません。AIエージェントが実際にメールを送信したり、CRMレコードを更新したり、ダウンストリームのワークフローをトリガーしたりすることは、まったく異なる次元の話です。AIシステムがビジネスワークフロー内で実際のアクションを実行できるようになると、その重要性ははるかに高くなります。

そのため、多くのAIエージェントは、リスクの高いアクションの前に一時停止し、まず人間の承認を求めるように設計されています。例えば、エージェントは顧客へのメールを下書きしたり、データベースの更新を推奨したり、購入申請を準備したりすることはできますが、アクションを実行する前に承認を待ちます。

リスクの低いアクションは自動的に実行されることが多く、毎回承認を求める代わりに、システムが後で概要を提示します。

また、HITLはLLMを活用したアプリケーション全般において重要な役割を果たします。チームは、公開前に生成されたコンテンツをレビューしたり、ファインチューニングのためにモデルの回答をランク付けまたは評価したり、モデルが自律的に回答するのに十分な確信度を持てない場合にデリケートな会話を人間のオペレーターにルーティングしたりできます。

AIエージェントがデモから実際の運用環境へと移行するにつれ、明確なエスカレーションパスと人間による監視は、エンタープライズAIの基本要件になりつつあります。

DatabricksがどのようにHITLを本番環境に導入するか

HITLを本番環境に導入するには、単にレビューキューや承認ボタンを追加するだけでは不十分です。チームには、分断されたワークフローや新たなデータサイロを作成することなく、大規模に人間のフィードバックを取得し、適切な人に判断をルーティングし、モデルの挙動を追跡し、機密データをガバナンスするための手法が必要です。

Databricksは、Agent Learning from Human Feedback（ALHF）を含むAgent Bricksを通じてこれをサポートします。単純な高評価や低評価のレーティングに頼るのではなく、ALHFはドメインエキスパートからより豊かな自然言語のフィードバックを取得し、将来のインタラクションにおけるエージェントの動作を改善するために使用します。

専門家のフィードバックをシステム改善に活かす

人間のフィードバックは、単一の回答を修正する以上の効果をもたらします。Agent Bricksを使用すると、チームはフィードバックを活用して、以下を含むエージェントシステム全体を改善できます：

• 検索戦略
• プロンプトのロジック
• ツールの選択
• エージェントがベクトルデータベースから情報を検索して使用する方法

Agent Bricks Knowledge Assistantに関するケーススタディでは、わずか32件の人間のフィードバックを使用することで、Q&Aエージェントが専門家の指示に従う能力が約12%から80%に向上しました。

すべてのインタラクションをガバナンスし、追跡可能にする

Databricksはまた、すべてのインタラクションをガバナンスが効いた追跡可能なレコードとして扱います。エンドツーエンドのトレースによって応答がどのように生成されたかが記録され、Unity Catalogは機密データやエージェントの動作を管理するために必要なガバナンスレイヤーを提供します。

これにより、チームは以下に対する一元化された可視性を得ることができます。

• アクセス制御
• ソーステーブルからエージェントのツール呼び出し、最終出力に至るまでのカラムレベルのリネージ
• 規制上の監査に対応する監査ログ
• データのソース（どこから来たか）
• モデルがどのように動作したか
• 誰が何にアクセスできるか

本番ワークフローへのHITLの組み込み

可視性がなければ、チームは人間のフィードバックが実際にシステムを改善しているかどうかを判断できません。監視を切り離された手動プロセスとして扱うのではなく、DatabricksはHITLをシステム自体の一部にするのを支援します。これにより、組織はモデルを改善し、コンプライアンスを維持し、本番環境のAIシステムを信頼できるようになります。

よくある質問

Human in the loop（HITL）とHuman on the loop（HOTL）の違いは何ですか？

Human in the loop（HITL）とは、AIがアクションを実行する前に一時停止し、人間が意思決定をレビューまたは承認するのを待つことを意味します。Human on the loop（HOTL）とは、人間がシステムを監視し、何か問題が発生したときにのみ介入する一方で、AIが自律的に動作することを意味します。

簡単に言うと、HITLはより厳格な制御を提供します。HOTLはスケールするように設計されています。

Human in the loopの具体例にはどのようなものがありますか？

放射線科医が診断を確定する前に、AIシステムによる腫瘍検出結果をレビューすることは、古典的なHITLの例です。

エンタープライズAIにおけるもう1つの一般的な例は、外部へのメール送信、本番レコードの更新、またはワークフローのトリガーを実行する前にAIエージェントが一時停止し、人間が最初のアクションを承認できるようにすることです。

Human in the loopはRLHFと同じですか？

いいえ、異なります。HITLはより広い概念です。これは、人間がAIの振る舞いを形成するのを支援するシステムを指します。

Reinforcement learning from human feedback（RLHF）は、その広範なカテゴリにおける特定の技術の1つです。RLHFでは、モデルのファインチューニングを支援するために、トレーニング中に人間がモデルの応答をランク付けまたは評価します。

すべてのRLHFシステムはHITLの一種ですが、HITLにはデータラベリング、出力のレビュー、エージェントのアクションの承認なども含まれます。

Human in the loopはどのような場合に使用すべきですか？

HITLは、意思決定の影響が非常に大きい場合、ミスが重大な結果をもたらす場合、またはAIシステムがトレーニングされていない状況に遭遇した場合に最も役立ちます。

また、組織が文書化された人間の監視を必要とする、規制の厳しい業界でも重要です。

しかし、HITLが常に最適であるとは限りません。動きが速く、リスクが低いタスクや、極めて大量のタスクの場合は、完全に自動化されたシステムの方が適している場合があります。

Human in the loopはAIエージェントにどのように適用されますか？

AIエージェントは、メッセージの送信、データベースの更新、ワークフローの自動トリガーなど、ビジネスシステム内で実際のアクションを実行できるため、重要性が高まります。

そのため、多くのエージェントは、影響の大きいアクションを実行する前に一時停止し、最初に人間の承認を求めるように設計されています。

AIエージェントがデモから実際の本番環境へと移行するにつれ、明確なエスカレーションパスと有意義な監視は、急速に標準的なプラクティスになりつつあります。Databricks Agent Bricksには、組織がAIエージェントやアプリケーション向けの拡張可能なフィードバックループを構築できるように、Agent Learning from Human Feedback（ALHF）が含まれています。

Databricksでガバナンスの効いた、人間に調和したAIを始めましょう

HITLは、システムがデモから実際の本番環境に移行する際に、チームがAIの正確性、信頼性、説明責任を維持するのに役立ちます。これは、人間のフィードバック、ガバナンス、評価が、バラバラのツールやワークフローに分散するのではなく、すべて同じプラットフォーム内に存在する場合に最も効果的に機能します。

Agent Bricksが人間のフィードバックと継続的な評価を使用して、企業のデータに基づいて高品質なAIエージェントを構築する方法をご覧ください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事