Xcel Energy: DatabricksにおけるRAGベースのチャットボット開発

Xcel Energy は、コロラド、ミシガン、ミネソタ、ニューメキシコ、ノースダコタ、サウスダコタ、テキサス、ウィスコンシンの8つの州で、340万の電気顧客と190万の天然ガス顧客にサービスを提供する、大手の電気・天然ガスエネルギー企業です。Xcel Energy は、業務を効率化し、顧客へのサービスを向上させるために、Databricks を活用した検索拡張生成（RAG）アーキテクチャベースのチャットボットの構築を望んでいました。Xcel Energy のデータサイエンティストは、料金改定申請のレビュー、法的契約書のレビュー、収益報告会のレポート分析など、テストすべき価値の高いユースケースをいくつか特定しました。例えば、エネルギーコストが変動する中、Xcel Energy は市場要因に合わせて料金を再調整する必要がありますが、このプロセスには数ヶ月かかることがありました。一方で、Xcel Energy の経営陣は、何百ページもの PDF を探すことなく収益報告会のレポートからインサイトを得たいと考えており、法務チームは顧客契約書の詳細に素早くアクセスしたいと考えていました。

データチームの目標は、大規模なドキュメントコーパスから関連データを取得し、大規模言語モデル（LLM）を使用して、文脈を考慮した正確な回答を生成できる、スケーラブルで効率的な生成 AI システムを導入することでした。Databricks Data Intelligence Platform の機能により、データガバナンスやモデルの統合から、監視、デプロイに至るまで、開発のあらゆるフェーズが効率化されました。現在では、エネルギー価格レポートや政府の規制を含む複雑な文書のレビューに基づく料金改定申請は、最大6ヶ月かかっていたものが2週間で完了するようになりました。

Databricks により、RAG ベースのチャットボットの迅速な開発とデプロイが可能になり、価値創出までの時間（time to value）が大幅に短縮されました。このプラットフォームは、社内のデータソースや既存のダッシュボードツールとシームレスに統合されたため、私たちのチームはインフラをゼロから構築することではなく、品質の向上に集中することができました。さらに、Databricks を使用することで、さまざまな埋め込み（embeddings）や言語モデルの実験を容易に行うことができ、可能な限り最高のパフォーマンスを達成することができました。—Blake Kleinhans 氏（Xcel Energy、シニアデータサイエンティスト）

データの管理と準備

プロジェクトにおける極めて重要な最初のステップは、効果的なデータガバナンスと管理の手法を確立することでした。公益事業者として、Xcel Energy は機密データや独自のデータが漏洩するリスクを回避するため、厳格なセキュリティとガバナンスを確保する必要がありました。各ユースケースには、公開されているもの（収益報告書）から機密性の高いもの（法的契約書）まで、さまざまな文書が必要でした。 Databricks Unity Catalog は、チャットボットのナレッジベース用のドキュメントコーパスを含む、構造化データと非構造化データの両方の一元的なデータ管理を可能にしました。 これにより、きめ細かなアクセス制御が提供され、すべてのデータのセキュリティとコンプライアンスが維持されました。これは、機密データや独自のデータを扱うプロジェクトにとって大きなメリットです。

生成 AI プラットフォームを最新の状態に保つために、関連データが取り込まれたらすぐに RAG ベースのチャットボットで利用できるようにする必要がありました。データの準備には、政府のウェブサイト、法的文書、社内請求書など、多様なソースからの大規模なデータセットを処理するために、Databricks Notebooks と Apache Spark™ が活用されました。Spark の分散コンピューティング機能により、チームはドキュメントをデータレイクに迅速に取り込んで前処理することができ、Xcel Energy は大規模なデータワークフローを最小限の時間で Vector Store に転送することが可能になりました。

埋め込み（Embedding）の生成と保存

埋め込み（embeddings）は、RAG アーキテクチャの検索メカニズムにおいて極めて重要でした。チームは、Databricks Foundation Model APIs を利用して、ドキュメントコーパスの高品質なベクトル表現を提供する databricks-bge-large-en や databricks-gte-large-en などの最先端の埋め込みモデルにアクセスしました。これらの埋め込みにより、モデルインフラを手動でデプロイまたは管理する必要がなくなり、埋め込み生成のプロセスが簡素化されました。

その後、埋め込みは Databricks 環境に統合された、サーバーレスで拡張性の高いベクトルデータベースである Databricks AI Search に保存されました。これにより、チャットボットの検索コンポーネントの基盤となる効率的な類似性検索が実現しました。Databricks エコシステム内に AI Search がシームレスに統合されたことで、インフラの複雑さが大幅に軽減されました。

LLM の統合と RAG の実装

Xcel は、Databricks Foundation Model APIs を使用して、さまざまな LLM をテストすることができました。これらの API は、デプロイやコンピューティングリソースを管理するオーバーヘッドなしに、事前学習済みの最先端モデルへのアクセスを提供します。これにより、LLM をチャットボットに容易に組み込むことができ、最小限のインフラ管理で堅牢な言語生成を実現しました。

Llama 2 や DBRX モデルを試した後、最初のデプロイは 32k トークン長の Mixtral 8x7b-instruct で行われました。Mixtral は、スパース混合専門家（SMoE）モデルであり、ほとんどのベンチマークで Llama 2 70B や GPT 3.5 と同等以上の性能を示し、推論速度は Llama 70B の4倍でした。Xcel Energy は出力品質を最優先し、AWS Bedrock の Anthropic 社製 Claude Sonnet 3.5 に切り替えるまで Mixtral を使用しました。これは、RAG 用に Agent Bricks AI Gateway と AI Search を介して Databricks 内からアクセスされました。

RAG パイプラインは、Databricks のコンポーネントとシームレスに統合する強力なフレームワークである LangChain を使用して構築されました。類似性検索に Databricks AI Search を利用し、それを LLM クエリ生成と組み合わせることで、チームはユーザーのクエリに対して文脈を考慮した回答を提供できる、効率的な RAG ベースのシステムを構築しました。LangChain と Databricks の組み合わせにより、開発プロセスが簡素化され、システムのパフォーマンスが向上しました。

MLflow による実験追跡とモデル管理

このプロジェクトでは、実験追跡とモデル管理に広く採用されているオープンソースプラットフォームである MLflow を全面的に活用しました。MLflow の LangChain 統合を使用することで、チームは開発プロセス中に RAG モデルのさまざまな構成やパラメータを記録することができました。これにより、バージョン管理が可能になり、LLM アプリケーションのデプロイが簡素化され、実験から本番稼働への明確な道筋が提供されました。

私たちは、MLFlow tracing の機能をさらに深く掘り下げています。この機能は、パフォーマンスの問題を診断し、顧客コールサポートチャットボットからの回答の品質を向上させるのに役立ちます。—Blake Kleinhans 氏（Xcel Energy、シニアデータサイエンティスト）

さらに、AI Gateway により、チームは認証情報とモデルアクセスを一元管理できるようになり、LLM 間の効率的な切り替えや、レート制限とキャッシュによるコスト管理が可能になりました。

モデルサービングとデプロイ

チャットボットのデプロイは、Databricks Model Serving を使用して効率化されました。このサーバーレスコンピューティングオプションは、RAG ベースのチャットボットをホストするための、スケーラブルでコスト効率の高いソリューションを提供しました。これにより、最小限のセットアップでモデルを REST API エンドポイントとして公開することができました。その後、エンドポイントをフロントエンドアプリケーションに簡単に統合できるようになり、開発から本番稼働への移行がスムーズになりました。

Model Serving は GPU ベースのスケーリングも可能にし、レイテンシと運用コストを削減しました。このスケーラビリティはプロジェクトの拡大に伴い極めて重要であり、大幅なアーキテクチャの変更なしに、チャットボットが増加するユーザー負荷を処理できるようになりました。

監視と継続的な改善

デプロイ後、監視ソリューションを実装するために Databricks SQL が使用されました。チームは、応答時間、クエリ量、ユーザー満足度スコアなどの重要なメトリクスを追跡するダッシュボードを作成しました。これらのインサイトは、チャットボットのパフォーマンスを継続的に向上させ、長期的な信頼性を確保するために不可欠でした。

監視をワークフロー全体に統合することで、チームは潜在的な問題にプロアクティブに対処し、リアルタイムのフィードバックに基づいてシステムパフォーマンスを最適化することができました。

結論：GenAI アプリケーションにおける Databricks のメリット

Databricks Data Intelligence Platformにより、RAGベースのチャットボットの迅速な開発とデプロイが可能になり、大規模なAIプロジェクトの管理に通常伴う複雑さが大幅に軽減されました。Unity Catalog、Foundation Model APIs、AI Search、MLflow、Model Servingなどのツールの統合により、GenAIアプリケーションを構築するための、一貫したエンドツーエンドのAI Agent Systemが提供されました。

私たちの目標は、Xcel全体でLLMをより利用しやすくし、各チームがタギングや感情分析、その他必要とするあらゆるアプリケーションにLLMを活用できるようにすることでもあります。—Blake Kleinhans（Xcel Energy、シニアデータサイエンティスト）

拡張性、インフラストラクチャのシンプルさ、およびモデルガバナンスに焦点を当てることで、このプラットフォームにより、チームはRAGアーキテクチャの洗練とチャットボットのパフォーマンス向上に容易に集中できるようになりました。プラットフォームの堅牢な機能により、ユーザーの需要増加に合わせてプロジェクトを効率的にスケールさせることができ、Databricksは高度なGenAIアプリケーションの開発とデプロイにおける最適な選択肢となりました。Xcel Energyのデータサイエンスチームは、アーキテクチャ全体に影響を与えることなく、より高度なLLMが利用可能になった際に簡単にアップグレードできる柔軟性を高く評価しました。

今後、Xcel Energyは、社内全体でGenAIツールの活用をさらに拡大し、データとインサイトへのアクセスを民主化できると期待しています。

このブログ記事は、 Blake Kleinhans（Xcel Energy）、Hari Purnapatre（Xcel Energy）、 Aradhya Chouhan（Databricks）、およびUttaran Banerjee（Databricks）によって共同執筆されました。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事