3倍高速な検索：Instructed-Retriever-1による並列テストタイムスケーリング

本日、Agent Bricks Knowledge Assistantをより高速かつ高品質にするメジャーアップデートを発表します。回答生成時間は2倍高速化し、検索時間は3倍以上高速化され、Time To First Token (TTFT) は約2秒に短縮されました。^¹これにより、Knowledge Assistantのユーザーは、再設定を行うことなく、品質を損なうこともなしに、あらゆるユースケースで著しく高速化された回答を得ることができます。

これらの向上は、並列テスト時スケーリング向けに構築された検索特化型モデルであるInstructed-Retriever-1によって実現されています。エージェントが逐次的に動作し、次のステップを決定する前に各結果について推論を行う標準的なエージェント型検索とは異なり、私たちのアプローチでは、この処理を並列に展開します。Instructed-Retriever-1は、再現率を高めるクエリ生成と、適合率を高めるリランキングという、検索における両方のステージ向けにトレーニングされた単一のモデルであり、これらを並列に実行することでレイテンシを低く抑えます。本ブログ記事では、このアプローチがどのようにパレート最適なパフォーマンスをもたらすか、検索パイプライン全体をサポートする1つのモデルをどのようにトレーニングするか、そして現実的なエンタープライズワークロードでパフォーマンスをどのように検証するかについて説明します。

図：KARLBenchにおいて、Instructed-Retriever-1を搭載したKnowledge Assistantは、検索レイテンシと検索品質の両方を向上させます。

1. 検索における並列テスト時スケーリング

これまでの研究により、テスト時計算を追加することで品質が向上することが実証されています。しかし、現在の大半のエージェント型検索システムは、ツール呼び出し、推論・実行（reason-act）ループ、Chain-of-Thought（CoT）推論などの逐次的な処理にその計算量を費やしています。これらの手法は検索品質を向上させますが、レイテンシとコストが大幅に上昇するという代償を伴います。Instructed-Retriever-1のトレーニングにおいて、私たちは異なるアプローチを採用しました。計算量を逐次的にスケーリングするのではなく、初期検索フェーズで並列化するのです。取得する根拠の範囲を広げ、最も関連性の高いコンテキストを事前に選択することで、レイテンシを大幅に抑えながら、極めて効果的な検索を実現します。

初期検索の向上は、トレーニングハーネスに大きく依存します。私たちのハーネスは、ユーザーの指示と基盤となる検索インデックスの正確なスキーマをモデルに提供し、それらをクエリとフィルターの生成、リランキング、回答生成という後続のすべてのステージに伝播させます。これがどのように実現されるかについては、以前のInstructed Retrieverのブログ記事で説明しており、Instructed-Retriever-1モデルのトレーニングでも同じ検索ハーネスを使用しています。このアプローチは、期間、組織、ドキュメントの種類、製品領域など、ドメイン固有の制約を伴うことが多いエンタープライズ向けの質問において特に重要です。

並列クエリ・フィルター生成は、同一のリクエストに対して複数の表現や側面を同時に探索することで、候補セットの再現率を向上させます。これにより、システムはレイテンシを低く抑えながら、より広範囲に検索を実行できます。検索範囲が広がると、集約における課題が生じます。異なる表現によって、重複するチャンクや部分的にしか関連しないチャンクが返される可能性があるためです。統合された候補セットから最も有用なコンテキストを選択するために、私たちはマルチピボット・グループワイズ・リランカーを使用します。候補は、1つ以上のピボットチャンクを基準とする並列グループ内でランク付けされ、各グループのランキングが統合されて最終的な順序になります。これにより、リランキングの効率性を維持しながら、コンテキスト内で根拠を比較するという重要なメリットを享受できます。

これらのステージを組み合わせることで、2つのテスト時スケーリングのノブが提供されます。クエリとフィルターの表現数を増やすことで再現率が向上し、ピボット数を増やすことで適合率が向上します。両方のステージで並列処理を利用できるため、システムは低いレイテンシを維持したまま、追加のテスト時計算量をより高品質なコンテキストに充てることができます。

図：Instructed-Retriever-1で使用されている検索ハーネス。

2. Instructed-Retriever-1のトレーニング

検索における並列テスト時スケーリングには、効果的な検索を生成することと、取得された根拠を評価することの2つを高いレベルで実行できるモデルが必要です。私たちは、並列クエリ生成とリランキングをサポートする、検索に特化した単一のモデルとしてInstructed-Retriever-1をトレーニングしました。その結果、低いレイテンシを維持しながら、KARLBenchにおいてClaude Sonnet 4.5と同等の検索品質を実現するモデルが完成しました。

図：トレーニング後のKARLBenchにおける検索品質（リランキング構成全体での評価）。Instructed-Retriever-1は、Claude Sonnet 4.5の検索品質に匹敵します。いずれのモデルでも、ピボットベースのリランキングはリランカーなしの設定と比較してRecall@10を向上させ、2つのピボットは1つのピボットよりもさらに品質を向上させます。

トレーニング用データを準備するために、評価ベンチマークとは無関係に、広範な事前トレーニングコーパスから合成されたエンタープライズスタイルの検索環境を構築します。これらは、KARLレポートで説明されているエージェント型データ合成アプローチを使用して作成されます。作成された環境は、非構造化ドキュメントと構造化メタデータを組み合わせたコーパスに対する事実の検索、要約、推奨、問題解決、意思決定支援など、Knowledge Assistantが処理しなければならないタスクの種類を反映しています。

モデルは、複数の検索機能を獲得するために2つのステージでトレーニングされます。得られたモデルは、クエリとフィルターの生成に加えて、検証スタイルの検索機能をサポートしており、並列テスト時スケーリングを実際に有用なものにする2つのステージを可能にします。

3. 本番環境におけるInstructed-Retriever-1の検証

検索の向上は、現実的なワークロードで機能し、本番環境のレイテンシ制約内に収まる場合にのみ意味を持ちます。私たちは、Knowledge Assistantの使用状況を代表する大規模な社内データセットでInstructed-Retriever-1を評価し、上記で導入した2つのスケーリングメカニズム（再現率向上のための並列クエリ・フィルター生成、および適合率向上のためのマルチピボット・リランキング）が検索品質を向上させるかどうかを測定します。

図：Instructed-Retriever-1を搭載したKnowledge Assistantのデモ。

現実的なワークロードにおける検索品質

評価データセットは、実際のKnowledge Assistantのワークロードに基づいています。ここでは、有用な回答を得るために、単一の正解ドキュメントではなく、複数の裏付けとなる根拠が必要になることがよくあります。検索は2つのステージで評価します。まず、すべての候補システムにおいて、クエリ生成のレイテンシと品質を測定します。品質については、LLMを評価者（LLM-judge）とする、具体性、網羅性、関連性のルーブリックスコアを使用します。これらの指標は、生成されたクエリが的を射ているか、リクエストの重要な側面をカバーしているか、そして質問に答えるために有用であるかを示します。

図：本番環境に近い社内事例におけるクエリ生成の品質とレイテンシ。平均ルーブリックスコアは、具体性、網羅性、関連性にわたるクエリ生成の品質を1〜5のスケールで評価します。レイテンシはクエリ生成ステージに対して計算されます。

リランキングでは、取得された候補セットを固定し、各リランカーが最も有用な根拠をどれだけ効果的に提示できるかを評価します。密な関連性ラベルを取得するために、LLMジャッジを使用して各チャンクを0〜3のTRECスタイルの関連性スケールでスコアリングし、得られたランキングからnDCG@10を計算します。Claude Sonnet 4.5とInstructed-Retriever-1のスコアは、それぞれ80.1と81.0（nDCG@10）です。これはリランキングを行わない設定と比較して、それぞれ+12.8%と+14.1%の向上であり、当社のマルチピボット・グループワイズ・リランカーの有効性を示しています。

全体として、現実的なワークロードにおいて、Instructed-Retriever-1はクエリ生成の評価基準メトリクス全体で強力なパフォーマンスを発揮し、リランキングにおいても最も強力なベースラインと同等の競争力を維持しています。これは、クエリ生成と候補選択の両方に、検索に特化した単一のモデルを使用することを支持するものです。

サービングのパフォーマンス

並列テスト時スケーリングは、追加の計算を効率的に提供でき、検索数に応じてスケールする場合にのみ有用です。この目的を達成するため、Instructed-Retriever-1はMixture-of-Expertsアーキチャを採用し、FP8量子化、²投機的デコーディング、および検索パイプライン全体の追加のインフラストラクチャチューニングを含むサービングの最適化を行っています。当社の評価では、FP8はBF16と比較して、推論速度とスループットを向上させつつ、品質の低下は見られませんでした。³ 投機的デコーディングにより、クエリ生成とリランキングを組み合わせたパスでさらに30%以上の高速化が実現します。

まとめ

このアップデートにより、並列テスト時スケーリングが本番環境の検索スタックに導入されます。このシステムは、並列クエリとフィルター生成によって幅広く検索を行い、その後、マルチピボットの根拠比較によって正確にリランキングします。Instructed-Retriever-1は、検索生成と根拠ランキングのためにトレーニングされた、検索に特化した単一のモデルでこれら両方のステージを強化します。その結果、より優れ、より高速なKnowledge Assistantが実現しました。オフライン評価のセットアップにおいて、検索時間は3倍以上短縮され、回答生成時間は2倍短縮され、TTFTは約2秒、エンドツーエンドのレイテンシーは一貫して10秒未満となっています。^¹ ベイラー大学をはじめとする初期のユーザーは、すでにその違いを実感しています。

「（新しい体験は）より簡潔で、重要な情報がより早く表示される『きびきびとした』感覚があり、私たちのユースケースにおいて顕著なUXの向上を実感しています。」 — カイル・ヴァン・ペルト（ベイラー大学エンロールメント・マネジメント部門プロセス＆ガバナンス担当ディレクター）

今すぐ、Knowledge Assistantをさらに活用しましょう。Instructed-Retriever-1はすべての顧客への展開を開始しており、チームがより短い待ち時間で高品質なコンテキストを取得できるよう支援します。より多くの質問をし、より多くの知識を明らかにし、質問から回答までより迅速に到達できます。今すぐお試しください。

¹ レイテンシーの見積もりは、オフライン評価全体の平均として測定されており、平均の長さは約256出力トークンです。実際のレイテンシーは、特定のKnowledge Assistantインスタンスやクエリのデータ形状によって異なる場合があります。

² FP8量子化にはNVIDIAのModelOptライブラリを使用しています。

³ KARLBenchにおいて、BF16モデルとFP8モデルを10回試行して評価しました。FP8はBF16と比較して統計的に有意な品質低下を示しませんでした。平均スコアの差は+0.33ポイント、標準誤差は1.69ポイント、95%信頼区間は[-2.99, 3.65]でした。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事