によって プラサド・コナ 、 Maria Pere-Perez による投稿
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
お客様と対話するインテリジェントなボットをビジネスに導入することを想像してみてください。チャットボットは一般的に、顧客と対話し、彼らに助けや情報を提供するために使用されます。しかし、通常のチャットボットは複雑な質問に答えるのに苦労することがあります。
Retrieval Augmented Generation (RAG)は、チャットボットが難しい質問を理解し、応答する能力を向上させる方法です。この生成AIデザインパターンは、大規模言語モデル（LLM）と外部知識の取得を組み合わせています。 これにより、リアルタイムデータを生成プロセス（推論時間）中にAIアプリケーションに統合することが可能になります。この文脈情報をLLMに提供することで、RAGは生成された出力の精度と品質を大幅に向上させます。
RAGを使用する利点の一部は次のとおりです：
Pineconeのベクトルデータベースは、複雑なデータ検索をピンポイントで管理するのに優れている一方、Databricksのデータインテリジェンスプラットフォームは、大量のデータセットの取り扱いと分析を効率化します。
Pineconeとの統合はシームレスで、Databricksが大規模にベクトル埋め込みを効率的に保存および取得できます。 この統合により、PineconeとDatabricksを活用した高性能ベクトル検索アプリケーションの開発が簡素化されます。
DatabricksとPineconeを一緒に使用することで、従来のチャットボットよりも正確で効率的なチャットボットを作成することができます。
このブログでは、Databricksのドキュメントやホワイトペーパーを活用して、Databricksに関するあらゆる質問に答えられるチャットボットの構築方法をご紹介します。
チャットボットの構築には、4つの重要なステージがあります。最初のステージは、データのインジェストと準備です。次に、効率的な情報検索のために、データをPineconeのようなベクターデータベースに保存します。3つ目のステージでは、Pineconeを使った検索と、Llama 3.1のようなLLM（大規模言語モデル）を使用して応答を生成するRAGリトリーバーとチェーンを設定します。最後に、チャットボットをDatabricks Unity Catalogに登録し、 Databricks Model Servingを通じてデプロイします。このプロセスの詳細な手順については、続きをご覧ください。
Pineconeクライアント設定の初期化。
Pineconeにベクトル埋め込みをアップサートするとき、最初にインデックスを作成します。 インデックスは、次元数が同じ埋め込みのグループで、通常は同種のユースケースの基礎となるデータセットを表します。 Pineconeにログインして、Pinecone APIキーを作成します。
Databricks Secretsは、Databricksのノートブック、ジョブ、データパイプライン内で使用する可能性のあるパスワード、APIキー、その他の資格情報などの機密情報を安全に管理および保存します。 Pinecone APIキーなどの必要な認証情報など、機密情報を保存するためにDatabricksのシークレットを使用します。
以下に、Databricksのシークレットを使用して、Pinecone APIキーなどの機密情報を取得する方法を示します。次に、Pinecone APIキーと環境を使用して、Pineconeへのクライアント接続を初期化します。
次に、Pinecone UIまたはAPIを使用してPineconeインデックスを作成します。
Pineconeに必要なスキーマにデータを変換します。
Pineconeでは、インデックス内のベクトルにメタデータのキーと値のペアを付加することができます。これを使用して、元のドキュメントとそのメタデータを保存したり、追加のフィルター表現を指定したりできます。Pineconeに書き込む前に、データを変換し、デルタテーブルにメタデータ列を追加して、元のドキュメントの内容やスニペット、ドキュメントのソースやIDなどの追加メタデータをPineconeのスキーマ要件に従ってキャプチャします。
Pineconeのインデックスに書き込みます。
ドキュメンテーションに記載されているように、Pineconeのスパークコネクタをインストールします。Pineconeのスパークコネクタを使用して、エンベッディングをPineconeのインデックスに書き込みます。モード "append" を使用すると、新しいデータをインデックスに追加することもできます。
次に、クエリAPIを使用してPineconeのベクトルインデックスをクエリすることができます。このAPIは、質問のエンベッディングを入力として受け取ります。
APIを通じてPineconeを直接クエリすることで、PineconeとDatabricksを任意のコードに統合できます。
次のセクションでは、人気のあるLangChainフレームワークを使用してこのワークフローを簡素化する方法を示します。
Langchainは、LLM（大規模言語モデル）によるアプリケーション構築を簡素化するフレームワークです。Databricksの埋め込みは、埋め込みモデルとの対話を簡素化し、Pineconeとの統合は簡素化されたクエリインターフェースを提供します。
Langchainのラッパーは、すべての基礎的なロジックとAPI呼び出しを処理することで、簡単にします。下記のLangChainコードは、クエリテキストをベクトルに明示的に変換する必要性を抽象化します。
上記では、Pineconeベクトルインデックスでの類似性検索の方法を示しました。RAGチャットボットを作成するために、LangChain Retrieverインターフェースを使用してインデックスをラップします。
まず、APIキーと環境を設定するためにPineconeを初期化します。次に、正しいネームスペースとキーを持つ既存のPineconeインデックスからVectorStoreインスタンスを作成します。
これで、チャットボットを定義するチェーンにリトリーバーを入れることができます！
チャットボットがチャットメッセージから質問を正しく抽出し、Pineconeから関連するコンテキストを取得できるかどうかを見てみましょう。
チャットボットを反復処理するにつれて、モデルオブジェクト、モデルバージョン、メタデータを追跡し、アクセス制御を管理することが求められます。そのためには、Unity Catalogと統合されたMLflowのModel Registryを使用します。
Unityカタログを使用して、チャットボットチェーンをmlflow.langchain.log_modelを使用してモデルとして登録できます。モデルのシグネチャは、mlflowのinfer_signatureを使用して推測することができます。 pinecone-clientを依存関係に入れることを忘れないでください。チェーンを定義したノートブックで"mlflow.models.set_model(model=full_chain)"を設定します。新しいドライバーノートブックで、チャットボットを登録し、モデルサービングにチャット ボットをデプロイします。
モデルはDatabricksのUnity Catalogに登録されており、すべてのデータとAI資産のアクセス制御、監査、系統、発見を一元化します。
さあ、チャットボットチェーンモードをモデルサービングエンドポイントとしてデプロイしましょう。以下では、PINECONE_API_KEYとDATABRICKS_TOKENを環境変数に入れます。これは、サービングエンドポイントがPineconeとDatabricks Foundation Modelsと通信するために使用します。これにより、コードやユーザーにこれらの機密情報を明かすことなく、サーブされたモデルへのアクセスを許可することができます。
モデルサービングUIは、提供されているモデルのヘルスに関するリアルタイム情報を提供します。
チャットボットをデプロイした後、REST APIまたはDatabricks SDKでテストすることができます。
モデル提供の一部として利用可能なQuery UIを使用してテストすることもできます。
DatabricksとPineconeを活用して、最先端のRAGチャットボットを導入し、顧客サービスを向上させましょう。従来のボットとは異なり、これらの高度なチャットボットはDatabricksのデータインテリジェンスプラットフォームとPineconeのベクターデータベースを活用して、正確かつタイムリーな回答を提供します。膨大なデータを素早く検索し、必要な情報を即座に見つけ、数秒でお客様に正確な答えを提供します。これにより、顧客体験が向上するだけでなく、デジタルエンゲージメントの新しい基準が確立されます。
ビジネスリーダーにとって、このテクノロジーの導入は単なるアップグレードではなく、顧客サービスの革新をリードするための戦略的な一手です。データ駆動型のインテリジェントなソリューションを採用することで、ビジネスを顧客対応の最前線に置き、優れたサービスへのコミットメントを示し、顧客の共感を得ることができます。
Databricksでの生成AIについてもっと学べる無料トレーニングをぜひチェックしてください。また、PineconeおよびDatabricksの追加ドキュメントもこちらからご覧いただけます。このブログのサンプルノートブックもこちらからアクセスできます。
ブログを購読して、最新の投稿を受信トレイにお届けします。