スケーラブルで信頼性の高いAIエージェントを構築するための新ツールの紹介
によって クレイグ・ワイリー による投稿
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
世界中の企 業の85%がすでに生成AI（GenAI）を導入していますが、多くの組織はパイロット段階を超えてこれらのプロジェクトをスケールアップする際に大きな課題に直面しています。最も先進的なGenAIモデルでさえ、ビジネス特有の精度やガバナンスを保った出力を提供するのが難しいのは、企業データに対する認識が不足しているためです。多くの顧客は低リスクで限定的な使用ケースには自信を持ってGenAIソリューションを導入していますが、財務リスクを伴う外部または内部の使用ケースに対しては、十分な信頼を持って導入することができていません。
本日、私たちは企業がAIエージェントを自信を持ってスケールアップし、デプロイできるようにするためのいくつかの重要なイノベーションを発表できることを嬉しく思います。これらの新しいツールは次の通りです：
AIモデルの集中ガバナンス：オープンソースと商業用AIモデルを一元管理できるAgent Bricks AI Gatewayが、カスタムLLMプロバイダーのサポートを提供（パブリックプレビュー）。
既存のアプリワークフローへの簡単な統合：AI/BI Genie会話型APIスイート（パブリックプレビュー）を使えば、開発者は自然言語ベースのチャットボットをカスタムアプリや、Microsoft Teams、Sharepoint、Slackなどの人気ツールに直接組み込むことができます。
人間による評価の効率化：改良されたエージェント評価レビューアプリ（パブリックプレビュー）により、専門家がターゲットを絞ったフィードバックを提供したり、ラベリング用のトレースを送信したり、評価基準をカスタマイズしたりするのが簡単になります。
プロビジョニング不要のバッチ推論：Databricksを使って、単一のSQLクエリでバッチ推論を実行する新しい方法です。（パブリックプレビュー）これにより、インフラのプロビジョニングが不要になり、非構造化データの統合がシームレスに行えます。
これらの新機能により、企業はAIエージェントを高価値で重要なミッション・クリティカルなアプリケーションにデプロイし、精度、ガバナンス、使いやすさを確保しながら活用できるようになります。それでは、各発表の詳細について深掘りしていきましょう。
Databricksでは、最適なファウンデーションモデルは、特定のユースケースに最も効果的に対応できるモデルだと考えています。場合によってはオープンソースモデルが最適であり、また別のケースではGPT-4や他の商業用AIモデルが適していることもあります。お客様がオープンソースと独自のAIモデルの両方をガバナンスおよび管理できるように、私たちはAgent Bricks AI Gatewayを作成しました 。このAI Gatewayを使用することで、外部のモデルエンドポイントを統合し、すべてのモデルに対して統一的なガバナンス、監視、統合が可能になります。
本日から、AI Gatewayのサポート対象範囲を拡大し、どのLLMエンドポイントにも対応できるようになりました。これにより、お客様は自社の内部ゲートウェイからもエンドポイントを取り込むことができます。これにより、Databricksの提供する価値を享受しつつ、既存のシステムに組み込まれた独自の機能を手放すことなく活用できるようになります。この機能について多くのリクエストをいただいており、本日からパブリックプレビューとして提供できることをお知らせできることを嬉しく思います。さらに詳しい情報については、火曜日に発表されるAI Gateway関連の発表をお楽しみに。
さらに、私たちはGenie会話型APIスイートを発表します。これにより、ユーザーは自然言語を使って、Databricksアプリ、Slack、Teams、SharePoint、カスタムアプリケーションなど、さまざまなプラットフォームからデータインサイトをセルフサービスで取得できます。Genie APIを使うと、ユーザーはプロンプトをプログラム的に送信し、Genie UIと同じようにインサイトを得ることができます。APIはステートフルで、会話のスレッド内で複数のフォローアップ質問に対してコンテキストを保持します。
近日公開予定のブログでは、パブリックプレビューで利用可能な主要なエンドポイントについてレビューし、GenieとDatabricksエージェントフレームワークの統合を探り、Microsoft TeamsチャネルにGenieを組み込む例をご紹介します。
高品質なAIエージェントの構築は、1つのプロンプトに対する応答を改善しようとすると、他の多くの応答に悪影響を与えてしまうことがあるため、難しい課題です。実務者たちは、自分たちのエージェントがうまく動作するか、また生産環境でどのようにパフォーマンスを発揮しているのかを理解するために、相当な時間と労力を費やしてきました。昨年12月中旬に、顧客が自社のデータを基に評価用データセットを合成的に作成できるAPIを発表しました。そして本日、私たちはエージェント評価レビューアプリの新しいアップデートを発表できることを嬉しく思います。このツールは、ヒューマンインザループによるフィードバックを効率化し、ドメイン専門家がターゲットを絞った評価を提供したり、開発や本番環境からトレースを送信してラベリングを行ったり、カスタム評価基準を設定したりできるようにします。これらすべてをスプレッドシートやカスタムアプリケーションなしで行うことができます。構造化されたフィードバックを収集しやすくすることで、チームはAIエージェントのパフォーマンスを継続的に改善し、システマティックに精度を向上させることができます。
顧客が評判や財務リスクを伴う領域でエージェントをデプロイしようとする際、精度を測定し、精度向上をシステマテ ィックに進めるためのツールが重要です。エージェントの評価に関する新機能について詳しく知りたい方は、水曜日に公開予定のブログ記事をご覧ください。そこで、新しいまたは既存のエージェントの精度を改善する方法について深掘りして解説します。
モデル選択、ガバナンス、評価は高品質なエージェントを構築するために重要ですが、企業がこの技術をビジネス全体でスケールアップする際に、体験を簡素化することも同様に重要だと私たちは考えています。昨年、より多くの企業が基盤モデルやエージェントのバッチ推論を採用しました。DatabricksがAI Functionsと共にバッチ推論をサポートすることで、これらのワークロードのスケーリングはこれまで以上に簡単になりました。
LLMを使って分類や自然言語処理を行ったり、エージェントを使って複雑なデータインテリジェンスタスクを実行したりする際に、顧客はシンプルなSQL文を使ってこれらのモデルの力をスケールで活用できることを評価しています。
SQL文を書くこと自体は難しくありませんが、多くの顧客はサービングエンドポイントのプロビジョニングとスケーリングでつまずいていました。今では、ai_queryを実行するためにインフラを設定する必要はありません。代わりに、私たちがそれを管理し、使った分だけの料金をお支払いいただくだけです。すでに、この機能で成功を収めているお客様も増えています。
“AI FunctionsによるバッチAIは、私たちのAIワークフローを効率化しています。大規模なAI推論をシンプルなSQLクエリで統合でき、インフラ管理は一切不要です。これにより、私たちのパイプラインに直接統合され、コスト削減と設定の負担軽減が実現しました。導入以来、従来のETLやデータパイプラインとAI推論ワークロードを組み合わせることで、開発者の作業速度が劇的に加速しました。" —Ian Cadieu、Altana CTO
このローンチや他のエキサイティングな機能について、今週の木曜日のブログで詳しくお伝えすることを楽しみにしています。
今週は「エージェント週間」として、さまざまな新機能を発表する盛りだくさんな週です。生成AI（GenAI）が進化して2年が経ちましたが、多くの企業は依然として精度やガバナンス、セキュリティに関する懸念から、高価値なユースケースにAIエージェントを導入するのに苦労しています。顧客との会話を通じて、技術だけでなく、「信頼」が最大の課題であることが明らかになりました。
今週発表したイノベーションは、こうした課題に直接取り組み、企業がパイロット段階を超えて信頼できるAIエージェントをフルスケールで本番環境にデプロイできるようにします。
今週、さらに多くの情報をお届けできることを楽しみにしています。
ぜひ私たちの製品をお試しいただき、フィードバックをお聞かせください。そうすることで、この技術が約束する価値を引き出すお手伝いを続けていきたいと考えています。
ブログを購読して、最新の投稿を受信トレイにお届けします。