リアルタイムの構造化データでRAGアプリケーションの応答品質を向上

公開日: 2023年12月8日

によってマニ・パルケ、アクラティ・タラティ、Sue Ann Hong（スー・アン・ホン）、クレイグ・ワイリー、Chenen Liang 、葛明陽による投稿

Retrieval Augmented Generation（RAG）は、Gen AIアプリケーションのコンテキストとして関連データを提供する効率的なメカニズムです。ほとんどのRAGアプリケーションは、通常、ドキュメントやWiki、サポートチケットなどの非構造化データから関連するコンテキストを検索するためにベクトルインデックスを使用します。昨日、私たちはDatabricks Vector Search Public Previewを発表しました。しかし、これらのテキストベースのコンテキストを、関連性のあるパーソナライズされた構造化データで補強することで、Gen AIの応答品質をさらに向上させることができます。小売業のウェブサイトで、顧客が"最近の注文はどこですか？" と問い合わせる、Gen AIツールを想像してみてください。このAIは、クエリが特定の購買に関するものであることを理解し、LLMを使用して応答を生成する前に、注文品目の最新の出荷情報を収集しなければなりません。このようなスケーラブルなアプリケーションを開発するには、構造化データと非構造化データの両方を扱う技術とGen AIの機能を統合する、多大な労力が必要となります。

Databricks Data Intelligence Platformから構造化データを提供する低遅延のリアルタイムサービスである、Databricks Feature & Function Servingのパブリックプレビューを発表できることを嬉しく思います。Unity Cataloから任意のPython関数を呼び出すことで、事前に計算されたMLの特徴（フィーチャー）に即座にアクセスしたり、リアルタイムデータ変換を実行したりできます。検索されたデータは、リアルタイムのルールエンジン、古典的なML、およびGen AIアプリケーションで使用できます。

構造化データに対してFeature and Function Serving (AWS)(Azure) を、非構造化データに対してDatabricks Vector Search (AWS)(Azure) と連携して使用することで、Gen AIアプリケーションの実用化が大幅に簡素化されます。ユーザーはこれらのアプリケーションをDatabricksで直接構築・展開し、既存のデータパイプライン、ガバナンス、その他のエンタープライズ機能を利用することができます。Databricksの様々な業界のお客様は、これらの技術をオープンソースのフレームワークと共に使用し、以下の表のような強力なGen AIアプリケーションを構築しています。

業種	ユースケース
小売・消費財	ユーザーの嗜好、検索履歴、位置情報などを利用した製品レコメンデーション / 検索ランキング画像とメタデータに基づく製品検索販売データ、季節動向、市場 / 競合分析を用いた在庫管理と予測
教育	過去の失敗、過去の傾向、コホート（同じ特徴を持つグループ）に基づいてパーソナライズされた学習プラン自動化された採点、フィードバック、フォローアップ、進捗報告貸与デバイスのコンテンツフィルタリング
金融サービス	アナリストや投資家向けの自然言語アプリで、決算発表やレポートを市場情報や過去のトレンドと関連付ける不正行為とリスク分析パーソナライズされた資産管理、リタイヤメント・プランニング、what-if分析、次善の行動
旅行・ホスピタリティ	チャットボットによるパーソナライズされた顧客対応とオーダーメイドの旅行提案天候、ライブの交通パターン、過去のデータを利用した動的な経路計画競合分析と需要に基づく価格設定を用いた動的な価格最適化
医療・ライフサイエンス	患者 / 会員エンゲージメントとヘルスサマリーパーソナライズされたケア、臨床判断、ケア調整のためのサポートアプリ研究開発（R&D）報告の要約、臨床試験分析、ドラッグリパーパシング（薬の再利用）
保険会社	物件や近隣に関するテキスト・データおよび構造化データを使用した、住宅ローン引き受けのためのリスク評価ポリシー、リスク、what-if分析に関する質問のためのユーザーチャットボット請求処理の自動化
テクノロジー・製造	ガイド付きインストラクションを使用した機器の処方的メンテナンスと診断異常検知、過去の統計に対するライブ・データ・ストリームの異常検知日々の生産／シフト分析および将来計画のための自動分析
メディア・エンターテイメント	アプリ内でのコンテンツ発見とレコメンデーション、パーソナライズされたEメールとデジタルマーケティングコンテンツのローカライズパーソナライズされたゲーム体験とゲームレビュー

構造化データをRAGアプリケーションに提供する

構造化データがどのようにGen AIアプリケーションの品質を高めるのに役立つかを示すために、旅行計画チャットボットの例を使用します。この例では、ユーザーの嗜好（例："オーシャンビュー" または"ファミリーフレンドリー" ）と、ホテルに関する非構造化情報をペアにして、マッチするホテルを検索する方法を示しています。通常、ホテルの価格は需要や季節によってダイナミックに変化します。 Gen AIアプリケーションに内蔵された価格計算機能により、ユーザーの予算内で推奨商品が提供されます。ボットを動かすGen AIアプリケーションは、Databricks Vector SearchとDatabricks Feature and Function Servingをビルディングブロックとして使用し、LangChainのエージェントAPIを使用して、必要なパーソナライズされたユーザー嗜好、予算、ホテル情報を提供します。

トラベル・プランニング・ボット

*ユーザーの好みと予算を考慮した旅行計画ボット

このRAGチェーン・アプリケーションのNotebookです。このアプリケーションは、Notebook内でローカルに実行することも、チャットボットのユーザー・インターフェースからアクセス可能なエンドポイントとしてデプロイすることもできます。

リアルタイムのエンドポイントとしてデータや機能にアクセスする

Unity CatalogのFeature Engineeringでは、すでにプライマリキーを持つ任意のテーブルを使用して、トレーニングやサービングのために特徴（フィーチャー）を提供することができます。 Databricks Model Servingは、Python関数を使用してオンデマンドでフィーチャーを計算することをサポートしています。 Databricks Model Servingと同じ技術を使用して構築されたフィーチャーエンドポイントとファンクションエンドポイントは、事前に計算されたフィーチャーにアクセスしたり、オンデマンドで計算したりすることができます。簡単な構文で、有向非巡回グラフを計算してRESTエンドポイントとしてフィーチャーを提供するためにエンコードできるfeature spec functionをUnity Catalogで定義できます。

このfeature spec functionは、RESTエンドポイントとしてリアルタイムで提供することができます。すべてのエンドポイントは、機能、機能、カスタムトレーニングモデル、基礎モデルを含む、左のナビゲーションタブからアクセスできます。このAPIを使ってエンドポイントをプロビジョニングします。

エンドポイントは、以下のようにUIワークフローを使用して作成することもできます。

エンドポイント

エンドポイントに問い合わせることで、リアルタイムで機能にアクセスできるようになりました：

リアルタイムのAIアプリケーションに構造化データを提供するには、事前に計算されたデータを運用データベースに展開する必要がある。例えば、DynamoDBやCosmos DBは、Databricks Model Servingでフィーチャーを提供するために一般的に使用されています。 Databricks Online Tables (AWS) (Azure) は、低レイテンシのデータ検索に最適化されたデータ形式への事前計算機能の同期を簡素化する新機能です。主キーを持つ任意のテーブルをオンライン・テーブルとして同期させることができ、システムは自動パイプラインを設定してデータの鮮度を確保します。

Unity Catalog エクスプローラー