DatabricksのモザイクAIを用いて複合AIシステムをより高速に構築！

多くの企業は、単一プロンプトに依存したGenAIから、より高品質なアプリを構築できる複合AIシステムへと移行しつつあります。

7月には、 エージェントフレームワークとエージェント評価を立ち上げ、多くの企業がエージェントアプリケーションを作成するために使用しています。その一例が Retrieval Augmented Generation (RAG)です。今日、私たちはエージェントフレームワークに新機能を追加し、複雑な推論を行い、サポートチケットの開設、メールへの返信、予約の取得などのタスクを実行するエージェントの構築プロセスを簡素化することを発表します。これらの機能には以下のものが含まれます：

• 構造化されたエンタープライズデータと非構造化エンタープライズデータを共有可能で管理された AIツールを通じてLLMに接続します。
• 新しいプレイグラウンド体験を使って、エージェントを素早く実験し評価します。
• 新しいワンクリックコード生成オプションを使用して、プレイグラウンドからプロダクションにシームレスに移行します。
• AIゲートウェイとエージェント評価の統合を使用して、LLMとエージェントを継続的に監視し評価します。

これらの更新により、組織のシステムとデータと安全にやり取りする高品質なAIエージェントの構築とデプロイが容易になります。

モザイクAIを用いた複合AIシステム

Databricksは、複合AIシステムのガバナンス、実験、デプロイ、改善のための完全なツールチェーンを提供します。このリリースでは、エージェントパターンを使用した複合AIシステムを作成し、デプロイする機能が追加されました。

Unity Catalogを使用したツールとエージェントの集中管理

ほとんどのエージェント型Compound AIシステムは、エンタープライズデータの取得、計算の実行、他のシステムとの対話などのタスクを実行することでLLMの機能を拡張するAIツールに依存しています。主な課題は、アクセス制御を管理しながら、AIツールを安全に共有し、再利用のために発見することです。Databricksは、UC Functionsをツールとして使用し、Unity Catalogのガバナンスを活用して不正アクセスを防ぎ、ツールの発見を効率化することでこの問題を解決します。これにより、データ、モデル、ツール、エージェントをUnity Catalog内の単一のインターフェースを通じて一元管理することが可能になります。

Unity Catalog Toolsは、安全かつスケーラブルなサンドボックス環境で実行することも可能で、安全で効率的なコード実行を保証します。ユーザーは、Databricks（PlaygroundとAgent Framework）内またはオープンソースのUCFunctionToolkitを通じて外部からこれらのツールを呼び出すことができ、オーケストレーションロジックのホスト方法に柔軟性を提供します。

AIプレイグラウンドでの迅速な実験

AI Playgroundは、単一のインタラクティブなインターフェースを通じて複合AIシステムの迅速なテストを可能にする新機能を含むようになりました。ユーザーはプロンプト、LLM、ツール、さらにはデプロイされたエージェントを試すことができます。新しいツールドロップダウンでは、ユーザーがUnityカタログからホストされたツールを選択し、Llama 3.1-70BやGPT-4o（“fx”アイコンで示されています）のような異なるオーケストレータモデルを比較することができ、ツールとのインタラクションに最適なパフォーマンスのLLMを特定するのに役立ちます。さらに、AI Playgroundは出力の中で連鎖的な思考の推論を強調し、ユーザーが結果をデバッグし、確認するのを容易にします。このセットアップは、ツールの機能の迅速な検証も可能にします。

AI Playgroundはエージェント評価と統合され、LLMやエージェントの品質を詳細に評価できるようになりました。各エージェントが生成した出力は、LLMの審査員によって評価され、品質メトリクスを生成します。これらはインラインで表示されます。結果を展開すると、各メトリックの背後にある理由が表示されます。

モデルサービングを用いたエージェントの簡単なデプロイ

Databricksプラットフォームには、Compound AIシステムのデプロイメントを迅速化する新機能が追加されました。AI Playgroundには、Pythonノートブックを自動生成するExportボタンが新たに追加されました。ユーザーはエージェントをさらにカスタマイズするか、そのままモデルサービングでデプロイすることができ、迅速に本番環境に移行することが可能です。

自動生成されたノートブック（1）はLLMとツールをLanggraphなどのオーケストレーションフレームワークに統合し（最初はLanggraphから始めますが、将来的には他のフレームワークもサポートする予定です）、（2）Playgroundセッションからのすべての質問を評価データセットにログします。また、Agent EvaluationからのLLMジャッジを使用したパフォーマンス評価を自動化します。以下は自動生成されたノートブックの例です：

生成されたノートブックは Databricks Model Servingにそのままデプロイでき、必要なツールへの認証も自動で処理されます。また、リクエスト、レスポンス、エージェントトレースのログを提供し、リアルタイムの監視と評価を可能にします。これにより、運用エンジニアは本番環境での品質を維持し、開発者はオフラインでエージェントを改善することができます。

これらの機能により、実験から本番環境でのエージェントへのシームレスな移行が可能になります。

AI GatewayとAgent Evaluationを使用して本番品質を反復処理します

モザイクAIゲートウェイの推論テーブルは、ユーザーがエージェントのプロダクションエンドポイントからの入力リクエストと出力レスポンスをUnityカタログデルタテーブルにキャプチャすることを可能にします。MLflowトレーシングが有効になっていると、推論テーブルはエージェント内の各コンポーネントの入力と出力もログに記録します。このデータは、既存のデータツールと組み合わせて分析に使用することができ、エージェント評価と組み合わせることで、品質を監視し、デバッグし、エージェント駆動型アプリケーションを最適化することができます。

次に何が来るのでしょうか？

新機能を開発中で、Model Servingの基盤モデルエンドポイントを企業データと統合し、ツールを選択して実行することが可能になります。あなたはカスタムツールを作成し、この機能をGPT-4oのような独自のLLMやLLama-3.1-70Bのようなオープンモデルなど、任意のタイプのLLMと共に使用することができます。例えば、以下の単一APIコールは、LLMを使用してユーザーの質問を処理し、get_weatherツールを実行して関連する天気データを取得し、この情報を組み合わせて最終的なレスポンスを生成します。

プレビューはすでに一部の顧客に提供されています。登録するには、アカウントチームに「Tool Execution in Model Serving」プライベートプレビューに参加することをお問い合わせください。

無料トライアル

Databricksを使用して、今日からCompound AIシステムを構築しましょう。AI Playgroundでの迅速な実験からModel Servingを用いた簡単なデプロイ、AI Gateway Inference Tablesを用いたデバッグまで、Databricksはライフサイクル全体をサポートするツールを提供します。

• AI Playgroundに飛び込んで、AIエージェントを素早く実験し評価してみてください[AWS | Azure]
• 私たちのAIクックブックを使用してカスタムエージェントを素早く構築します。
• 「モデルサービングにおけるツール実行」プライベートプレビューに参加するために、アカウントチームにお問い合わせください。
• 10月のバーチャルイベントをお見逃しなく。お客様が構築している複合AIシステムについて学ぶ絶好の機会です。こちらから登録してください。