エンタープライズエージェント向けの強化学習
技術レポートの全文は、こちらをクリックしてください。貴社のエンタープライズエージェントでDatabricksカスタムRLをお試しになりたい場合は、こちらをクリックしてください。
現在のモデルの推論能力の向上は、コードの記述、エンタープライズデータに関する質問、一般的なワークフローの自動化といったナレッジワークのためにデプロイされるエージェントの爆発的な増加につながっています。エンタープライズタスクで使用されるモデルは非常に強力ですが、同時に非常に高価でもあり、多くのユースケースで推論コストが持続不可能なほど増大し始めています。この記事と対応する技術レポートでは、当社のAgent Bricks製品の重要な部分であるユースケースを強化するために、強化学習（RL）を使用してカスタムモデルを構築した経験について説明します。この例は、比較的低コストで、推論コスト、レイテンシ、品質という3つの重要な側面すべてにおいて、フロンティアモデルを完全に凌駕するカスタムモデルを構築することが可能であることを示しています。私たちの調査結果は、CursorのComposerモデルのような他の業界の観察結果と一致しており、そこではRLベースのカスタマイズによって代替案と比較して速度と品質の両方を劇的に向上させることができました。
KARL：Databricks ユーザー向けのより高速、高性能、低コストなナレッジエージェント
私たちがトレーニングしたKARLというモデルは、グラウンデッドリーズニングという重要なエンタープライズ機能に対応します。これは、ドキュメントの検索、事実の発見、情報の相互参照、そして数十から数百のステップにわたる推論によって質問に答えることです。グラウンデッドリーズニングは、Agent Bricks Knowledge Assistantなど、いくつかのDatabricks製品で必要とされます。数学やコーディングとは異なり、グラウンデッドリーズニングのタスクは検証が困難です。つまり、単一の正解がないことがよくあります。この ような状況では、強化学習を良い解決策に導くことは特に困難になります。
Databricksで開発されたRLの技術とインフラストラクチャを使用することで、KARLは、これまでに見たことのない新しいグラウンデッド推論タスクを含め、世界で最も強力なプロプライエタリモデルのパフォーマンスに、わずかなサービングコストとレイテンシーで匹敵します。（詳細については技術レポートをご覧ください。）これは、わずか数千GPU時間のトレーニングと、完全に合成されたデータのみで実現したものです。
人間ユーザーによる社内テストにおいて、KARLは、当社の既存製品および最新のフロンティアモデルよりも、より優れ、より包括的な応答を提供しました。この研究は、Agent Bricksのような、お客様が今日お使いのDatabricksエージェントに活かされており、Databricks Lakehouse内の非構造化データと構造化データで回答をグラウンディングしています。
Databricksの顧客向けの再利用可能なRLパイプライン
KARL（および近日公開予定の他のエージェント）の作成に使用したのと同じRLパイプラインとインフラストラクチャが、 大量のエージェントワークロードのモデル性能を向上させ、コストを削減したいとお考えのDatabricksの顧客にご利用いただけるようになった ことをお知らせできることを嬉しく思います。現実世界のエンタープライズタスクはほぼすべて検証が困難であるため、KARLはDatabricksユーザーの体験を向上させるだけでなく、顧客がご自身の人気エージェント向けに独自のカスタムRLモデルを作成するための道を開きます。 サーバーレスGPUコンピュート に支えられた当社のカスタムRLプライベートプレビューでは、KARLインフラストラクチャを使用して、より効率的でドメイン固有バージョンのエージェントを構築できます。急速にスケーリングしているAIエージェントをお持ちで、RLによる最適化にご興味がある場合は、 こちらからサインアップして、このプレビューへのご関心をお示しください 。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事