LLMを活用した、高精度で文脈を考慮した回答の生成
によって アラディヤ・チョウハン, Uttaran Banerjee, Blake Kleinhans（Xcel Energy） 、 ハリ・プルナパトレ（Xcel Energy） による投稿
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
このブログでは、Xcel EnergyがDatabricksを活用して、料金改定申請の審査や法的契約のレビューなどのプロセスを効率化するために設計された、検索拡張生成（RAG）アーキテクチャに基づくチャットボットをどのように構築したかを紹介します。Databricksデータインテリジェンスプラットフォームは、データガバナンスからデプロイに至るすべての開発フェーズにおいて重要な役割を果たしました。Unity Catalog、Foundation Model APIs、AI Search、MLflow、Model Servingなどのプラットフォーム機能により、チームはRAGアーキテクチャの洗練とチャットボットのパフォーマンス向上に集中することができました。このプロジェクトにより、料金改定申請の審査にかかる時間が大幅に短縮され、データへのアクセスとインサイトが向上しました。
Xcel Energy は、コロラド、ミシガン、ミネ ソタ、ニューメキシコ、ノースダコタ、サウスダコタ、テキサス、ウィスコンシンの8つの州で、340万の電気顧客と190万の天然ガス顧客にサービスを提供する、大手の電気・天然ガスエネルギー企業です。Xcel Energy は、業務を効率化し、顧客へのサービスを向上させるために、Databricks を活用した検索拡張生成（RAG）アーキテクチャベースのチャットボットの構築を望んでいました。Xcel Energy のデータサイエンティストは、料金改定申請のレビュー、法的契約書のレビュー、収益報告会のレポート分析など、テストすべき価値の高いユースケースをいくつか特定しました。例えば、エネルギーコストが変動する中、Xcel Energy は市場要因に合わせて料金を再調整する必要がありますが、このプロセスには数ヶ月かかることがありました。一方で、Xcel Energy の経営陣は、何百ページもの PDF を探すことなく収益報告会のレポートからインサイトを得たいと考えており、法務チームは顧客契約書の詳細に素早くアクセスしたいと考えていました。
データチームの目標は、大規模なドキュメントコーパスから関連データを取得し、大規模言語モデル（LLM）を使用して、文脈を考慮した正確な回答を生成できる、スケーラブルで効率的な生成 AI システムを導入することでした。Databricks Data + AI Platform の機能により、データガバナンスやモデルの統合から、監視、デプロイに至るまで、開発のあらゆるフェーズが効率化されました。現在では、エネルギー価格レポートや政府の規制を含む複雑な文書のレビューに基づく料金改定申請は、最大6ヶ月かかっていたものが2週間で完了するようになりました。
Databricks により、RAG ベースのチャットボットの迅速な開発とデプロイが可能になり、価値創出までの時間（time to value）が大幅に短縮されました。このプラットフォームは、社内のデータソースや既存のダッシュボードツールとシームレスに統合されたため、私たちのチームはインフラをゼロから構築することではなく、品質の向上に集中することができました。さらに、Databricks を使用することで、さまざまな埋め込み（embeddings）や言語モデルの実験を容易に行うことができ、可能な限り最高のパフォーマンスを達成することができました。—Blake Kleinhans 氏（Xcel Energy、シニアデータサイエンティスト）
プロジェクトにおける極めて重要な最初のステップは、効果的なデータガバナンスと管理の手法を確立することでした。公益事業者として、Xcel Energy は機密データや独自のデータが漏洩するリスクを回避するため、厳格なセキュリティとガバナンスを確保する必要がありました。各ユースケースには、公開されているもの（収益報告書）から機密性の高いもの（法的契約書）まで、さまざまな文書が必要でした。 Databricks Unity Catalog は、チャットボットのナレッジベース用のドキュメントコーパスを含む、構造化データと非構造化データの両方の一元的なデータ管理を可能にしました。 これにより、きめ細かなアクセス制御が提供され、すべてのデータのセキュリティとコンプライアンスが維持されました。これは、機密データや独自のデータを扱うプロジェクトにとって大きなメリットです。
生成 AI プラットフォームを最新の状態に保つために、関連データが取り込まれたらすぐに RAG ベースのチャットボットで利用できるようにする必要がありました。データの準備には、政府のウェブサイト、法的文書、社内請求書など、多様なソースからの大規模なデータセットを処理するために、Databricks Notebooks と Apache Spark™ が活用されました。Spark の分散コンピューティング機能により、チームはドキュメントをデータレイクに迅速に取り込んで前処理することができ、Xcel Energy は大規模なデータワークフローを最小限の時間で Vector Store に転送することが可能になりました。
埋め込み（embeddings）は、RAG アーキテクチャの検索メカニズムにおいて極めて重要でした。チームは、Databricks Foundation Model APIs を利用して、ドキュメントコーパスの高品質なベクトル表現を提供する databricks-bge-large-en や databricks-gte-large-en などの最先端の埋め込みモデルにアクセスしました。これらの埋め込みにより、モデルインフラを手動でデプロイまたは管理する必要がなくなり、埋め込み生成のプロセスが簡素化されました。
その後、埋め込みは Databricks 環境に統合された、サーバーレスで拡張性の高いベクトルデータベースである Databricks AI Search に保存されました。これにより、チャットボットの検索コンポーネントの基盤となる効率的な類似性検索が実現しました。Databricks エコシステム内に AI Search がシームレスに統合されたことで、インフラの複雑さが大幅に軽減されました。
Xcel は、Databricks Foundation Model APIs を使用して、さまざまな LLM をテストすることができました。これらの API は、デプロイやコンピューティングリソースを管理するオーバーヘッドなしに、事前学習済みの最先端モデルへのアクセスを提供します。これにより、LLM をチャットボットに容易に組み込むことができ、最小限のインフラ管理で堅牢な言語生成を実現しました。
Llama 2 や DBRX モデルを試した後、最初のデプロイは 32k トークン長の Mixtral 8x7b-instruct で行われました。Mixtral は、スパース混合専門家（SMoE）モデルであり、ほとんどのベンチマークで Llama 2 70B や GPT 3.5 と同等以上の性能を示し、推論速度は Llama 70B の4倍でした。Xcel Energy は出力品質を最優先し、AWS Bedrock の Anthropic 社製 Claude Sonnet 3.5 に切り替えるまで Mixtral を使用しました。これは、RAG 用に Agent Bricks AI Gateway と AI Search を介して Databricks 内からアクセスされました。
RAG パイプラインは、Databricks のコンポーネントとシームレスに統合する強力なフレームワークである LangChain を使用して構築されました。類似性検索に Databricks AI Search を利用し、それを LLM クエリ生成と組み合わせることで、チームはユーザーのクエリに対して文脈を考慮した回答を提供できる、効率的な RAG ベースのシステムを構築しました。LangChain と Databricks の組み合わせにより、開発プロセスが簡素化され、システムのパフォーマンスが向上しました。
このプロジェクトでは、実験追跡とモデル管理に広く採用されているオープンソースプラットフォームである MLflow を全面的に活用しました。MLflow の LangChain 統合を使用することで、チームは開発プロセス中に RAG モデルのさまざまな構成やパラメータを記録することができました。これにより、バージョン管理が可能になり、LLM アプリケーションのデプロイが簡素化され、実験から本番稼働への明確な道筋が提供されました。
私たちは、MLFlow tracing の機能をさらに深く掘り下げています。この機能は、パフォーマンスの問題を診断し、顧客コールサポートチャットボットからの回答の品質を向上させるのに役立ちます。—Blake Kleinhans 氏（Xcel Energy、シニアデータサイエンティスト）
さらに、AI Gateway により、チームは認証情報とモデルアクセスを一元管理できるようになり、LLM 間の効率的な切り替えや、レート制限とキャッシュによるコスト管理が可能になりました。
チャットボットのデプロイは、Databricks Model Serving を使用して効率化されました。このサーバーレスコンピューティングオプションは、RAG ベースのチャットボットをホストするための、スケーラブルでコスト効率の高いソリューションを提供しました。これにより、最小限のセットアップでモデルを REST API エンドポイントとして公開することができました。その後、エンドポイントをフロントエンドアプリケーションに簡単に統合できるようになり、開発から本番稼働への移行がスムーズになりました。
Model Serving は GPU ベースのスケーリングも可能にし、レイテンシと運用コストを削減しました。このスケーラビリティはプロジェクトの拡大に伴い極めて重要であり、大幅なアーキテクチャの変更なしに、チャットボットが増加するユーザー負荷を処理できるようになりました。
デプロイ後、監視ソリューションを実装するために Databricks SQL が使用されました。チームは、応答時間、クエリ量、ユーザー満足度スコアなどの重要なメトリクスを追跡するダッシュボードを作成しました。これらのインサイトは、チャットボットのパフォーマンスを継続的に向上させ、長期的な信頼性を確保するために不可欠でした。
監視をワークフロー全体に統合することで、チームは潜在的な問題にプロアクティブに対処し、リアルタイムのフィードバックに基づいてシステムパフォーマンスを最適化することができました。
Databricks Data + AI Platformにより、RAGベースのチャットボットの迅速な開発とデプロイが可能になり、大規模なAIプロジェクトの管理に通常伴う複雑さが大幅に軽減されました。Unity Catalog、Foundation Model APIs、AI Search、MLflow、Model Servingなどのツールの統合により、GenAIアプリケーションを構築するための、一貫したエンドツーエンドのAI Agent Systemが提供されました。
私たちの目標は、Xcel全体でLLMをより利用しやすくし、各チームがタギングや感情分析、その他必要とするあらゆるアプリケーションにLLMを活用できるようにすることでもあります。—Blake Kleinhans（Xcel Energy、シニアデータサイエンティスト）
拡張性、インフラストラクチャのシンプルさ、およびモデルガバナンスに焦点を当てることで、このプラットフォームにより、チームはRAGアーキテクチャの洗練とチャットボットのパフォーマンス向上 に容易に集中できるようになりました。プラットフォームの堅牢な機能により、ユーザーの需要増加に合わせてプロジェクトを効率的にスケールさせることができ、Databricksは高度なGenAIアプリケーションの開発とデプロイにおける最適な選択肢となりました。Xcel Energyのデータサイエンスチームは、アーキテクチャ全体に影響を与えることなく、より高度なLLMが利用可能になった際に簡単にアップグレードできる柔軟性を高く評価しました。
今後、Xcel Energyは、社内全体でGenAIツールの活用をさらに拡大し、データとインサイトへのアクセスを民主化できると期待しています。
このブログ記事は、 Blake Kleinhans（Xcel Energy）、Hari Purnapatre（Xcel Energy）、 Aradhya Chouhan（Databricks）、およびUttaran Banerjee（Databricks）によって共同執筆されました。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。