Agent Bricksの紹介：データを使った自動最適化エージェント

昨年、データインテリジェンス、つまりデータを理解して推論できるAIの構築という約束が、AIシステムの構築、評価、監視、保護のための包括的なプラットフォームであるDatabricksと共に登場しました。それ以来、数千ものお客様がデータインテリジェンスを本番環境に展開し、エンタープライズデータによって強化されたドメイン固有のエージェントを構築しています。

• Mastercardは、顧客オンボーディングを加速するためのデジタルアシスタントを展開しました
• AT&Tは、不正行為や損害からワイヤレス顧客を保護しています
• Crisis Text Lineは、メンタルヘルスに特化したAIエージェントを構築し、次世代の危機カウンセラーを育成しています
• Blockは、エンタープライズコンテキストに基づいたAIコーディングアシスタントであるgooseを展開しました

しかし、生成技術の未熟さにより、本番環境への道のりは依然として困難でした。高品質なエージェントの構築は、いくつかの理由でしばしば複雑すぎました。

• 評価が困難：多くのエンタープライズAIタスクは、人間にとっても自動化されたLLMジャッジにとっても評価が困難です。数学の試験のような学術的なベンチマークは、実際のユースケースにそのまま適用できるものではありませんでした。ニュアンスのある評価を構築するには、しばしば高価な手動ラベリングが必要でした。その結果、有望なプロジェクトは終わりのないチューニングサイクルで停滞し、進捗が不明確なため、関係者は自信を失っていました。
• ノブが多すぎる：エージェントは多くのコンポーネントを持つ複雑なAIシステムであり、それぞれに独自のノブがあります。プロンプトのチューニングからインデックスのチャンキング戦略、モデルの選択、ファインチューニングパラメータまで、各調整はシステム全体に未知の影響を生み出します。迅速な反復改善となるはずだったものが、高価で退屈な手動の試行錯誤となり、本番環境への移行を遅らせています。
• コストと品質：チームが上記の問題を解決し、高品質なエージェントを構築した後でも、エージェントのコストが高すぎて本番環境にスケールできないことに驚くことがよくあります。そのため、チームは長いコスト最適化プロセスで停滞するか、コストと品質のトレードオフを余儀なくされます。

Agent Bricks：ドメインタスクのためのエージェントの自動最適化

お客様がAIを本番環境に展開するのを支援した上記での経験に基づき、私たちは昨年、エージェントの構築方法を再考してきました。本日、私たちは新しい製品であるAgent Bricksを紹介します。これは、エンタープライズがドメイン固有のエージェントを開発する方法を変えます。エージェント開発の圧倒的な複雑さを管理する代わりに、チームは最も重要なこと、つまりエージェントの目的を定義し、自然言語フィードバックを通じて品質に関する戦略的なガイダンスを提供することに集中できます。Agent Bricksは残りを処理し、評価スイートを自動生成し、品質を自動最適化します。

仕組みは次のとおりです。

1. タスクの宣言。タスクを選択し、エージェントに達成させたいことの概要を自然言語で定義し、データソースを接続します。

2. 自動評価：Agent Bricksは、タスク固有の評価ベンチマークを自動的に作成します。これには、新しいデータを合成的に生成したり、カスタムLLMジャッジを構築したりすることが含まれる場合があります。

   

3. 自動最適化：Agent Bricksは、プロンプトエンジニアリング、モデルファインチューニング、報酬モデル、またはテストアダプティブ最適化（TAO）などのさまざまな最適化手法をインテリジェントに検索して組み合わせ、高品質を達成します。
4. コストと品質：Agent Bricksは、エージェントが効果的であるだけでなく、コスト効率も高いことを保証します。ユーザーは、コスト最適化モデルまたは品質最適化モデルを選択できます。多くの場合、最終的なソリューションは、他のDIYアプローチと比較して、品質が高く、コストも低くなります。

Agent Bricksを使用すると、自動評価によって推測を排除できます。ノブは自動的に最適化されるため、エージェントのパフォーマンスを信頼でき、ピーク効率で実行されていることを知ることができます。最終的な結果として、高品質でコスト効率の高いエージェントを本番環境に展開できるようになります。Agent Bricksは、構造化情報抽出、信頼性の高い知識支援、カスタムテキスト変換、オーケストレーションされたマルチエージェントシステムなど、一般的な業界ユースケースに最適化されています。

Agent Bricksで高品質なエージェントを構築する

Agent Bricksは、品質を測定、構築、継続的に改善する独自の能力を備えています。たとえば、ドキュメントに関する会話型エージェントを構築する場合、複数のQ&Aベンチマークにわたる平均品質を測定しました。この分野の他の製品と比較して、Agent Bricksは大幅に高品質なエージェントを構築しました（図1）。それだけでなく、継続的な学習能力により、パフォーマンスは時間とともに向上し続けます。

ドキュメント理解において、Agent Bricksは、プロンプト最適化されたプロプライエタリLLMと比較して、より高品質で低コストのシステムを構築します（図2）。ドキュメント解析ベンチマークでより高品質なシステムを達成でき、コストは最大10分の1になります。

これらのベンチマークを超えて、お客様はAgent Bricksで品質の高いエージェントを構築することもできます。

「Agent Bricksにより、標準的な商用LLMと比較して医療精度を2倍にすることができ、同時にFlo Healthの臨床精度、安全性、プライバシー、セキュリティに関する高い社内基準を満たすことができました。」 —Roman Bugaev、CTO、Flo Health

「Agent Bricksは、LLMとしてのジャッジと人間の評価の精度メトリクスの両方において、元のオープンソース実装を大幅に上回りました。」 —Joel Wasson、エンタープライズデータ＆アナリティクス、Hawaiian Electric

「[Agent Bricks]は、エンタープライズ全体でAI機能を加速させ、フィードバックループでの品質改善を導き、同等に機能するより低コストのオプションを特定するのに役立ちました。」 —Chris Nishnick、AIディレクター、Lippert

エージェント学習の最新研究によって強化

Agent Bricksがこれらの結果を達成できるのは、Databricks Researchチームからの研究によって強化されているためです。エージェントの品質を向上させるための方法は数多くあり、新しい研究は驚異的なペースで発表されています。私たちのチームは既存の研究をキュレーションし、自動評価および最適化フェーズ中にAgent Bricksによって使用される新しいイノベーションも開発しています。私たちは広範な手法を持っていますが、本日、私たちのイノベーションの1つであるAgent Learning from Human Feedback（ALHF）に焦点を当てることを嬉しく思います。

Agent Learning from Human Feedback（ALHF）

品質の重要な課題は、フィードバックからエージェントの動作を誘導する能力です。これは、フィードバックがしばしば「いいね」または「ダメ」で提供され、エージェントシステム内の多くのコンポーネントやノブのどれを調整してフィードバックを尊重する必要があるかが不明確なため、特に困難です。現在の、すべての指示を1つの巨大なLLMプロンプトに詰め込むアプローチは、壊れやすく、より複雑なエージェントシステムには一般化しません。

ALHFにより、私たちは2つのアプローチでこれを解決しました。第一に、自然言語ガイダンスの豊富なコンテキスト（例：1990年5月以前のすべてのデータを無視する）を受け取ることができます。第二に、この自然言語ガイダンスに基づいて、私たちのアルゴリズムはガイダンスを知的に技術的な最適化に変換します。検索アルゴリズムの洗練、プロンプトの強化、ベクトルデータベースのフィルタリング、またはエージェントパターン自体の変更を行います。

このアプローチはエージェント開発を民主化し、ドメインエキスパートがAIインフラストラクチャに関する深い技術的専門知識なしにシステム改善に直接貢献できるようにします。

「精度を継続的に評価および改善する能力は、Experianにとって重要な機能であり、特に規制の厳しい業界ではそうです。」 —James Lin、AI MLイノベーションヘッド、Experian

今後の展望：ラボから本番まで、数ヶ月ではなく数日で

Agent Bricks を利用している早期のお客様は、パフォーマンスベンチマークを倍増させ、開発期間を数週間からわずか1日に短縮する精度向上といった、Agent Bricks がもたらす変革をすでに体験しています。さらに重要なのは、数ヶ月前には不可能と思われていた、持続可能でスケーラブルな AI システムを構築し、一貫したビジネス価値を提供できていることです。

Agent Bricks は、ツールの進化以上のものです。これは、成熟した、本番稼働可能な AI 開発への根本的なシフトです。エージェントシステムがエンタープライズオペレーションにおいてますます中心的な役割を果たすようになるにつれて、過去の「フィーリングチェック」のようなアプローチではもはや通用しません。組織は、実際のビジネスアプリケーションの複雑さと要件を処理できるインテリジェントエージェントを構築および最適化するための、堅牢で体系的なアプローチを必要としています。

Agent Bricks を使用しているお客様

Databricks の多くのお客様は、すでに Agent Bricks で AI Agent を構築しており、皆様が将来どのようなことができるようになるのか、楽しみにしています。

Experian と Flo Health が登場する 動画をご覧ください

「Agent Bricks を使用することで、チームは 400,000 件を超える臨床試験文書を解析し、コードを一行も書かずに構造化されたデータポイントを抽出することができました。わずか 60 分足らずで、Analytics で利用可能な複雑な非構造化データを変換できる動作中のエージェントが完成しました。」 —Joseph Roemer 氏、Head of Data & AI, Commercial IT, AstraZeneca

「Agent Bricks により、本番環境で信頼できる費用対効果の高いエージェントを構築できました。カスタムで調整された評価により、非構造化された立法カレンダーを解析する情報抽出エージェントを自信を持って開発し、30 日間の手作業による試行錯誤の最適化を節約しました。」 —Ryan Jockers 氏、Assistant Director of Reporting and Analytics at the North Dakota University System

今すぐ Agent Bricks を試す

「デモ品質」と「本番品質」のギャップを埋める準備はできましたか？ Agent Bricks がベータ版で利用可能になりました。

開始するには：

• ドキュメントを読むドキュメント
• 基調講演を見る基調講演
• お客様が Agent Bricks を使用するメリットを説明する動画を見るお客様の声
• Databricks Agent Bricks を使用して、独自のデータで自動的に最適化されるインテリジェントなノーコード AI エージェントを作成する方法を探索する製品ツアーをご覧ください

エンタープライズ AI の未来は、複雑さを管理することではありません。Agent Bricks が残りを処理する間に、重要な成果に集中することです。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事