メインコンテンツへジャンプ

Xcel Energy:Databricks上でRAGベースのチャットボットを開発

LLMを使用した正確で文脈に応じたレスポンスの生成
アラディヤ・チョウハン
Uttaran Banerjee
Blake Kleinhans(Xcel Energy)
ハリ・プルナパトレ(Xcel Energy)
Share this post

Summary

このブログでは、Xcel EnergyがDatabricks Mosaic AIを使用して、レートケースレビューや法的契約レビューなどのプロセスを効率化するために設計されたRetrieval-Augmented Generation (RAG)アーキテクチャベースのチャットボットを構築する方法について説明します。Databricksデータインテリジェンスプラットフォームは、データガバナンスからデプロイメントまでのすべての開発フェーズで重要な役割を果たしました。プラットフォームの機能、Unity Catalog、Foundation Model API、Vector Search、MLflow、Model Servingを含む、これらの機能により、チームはRAGアーキテクチャの洗練とチャットボットのパフォーマンスの向上に集中することができました。このプロジェクトは、レートケースレビューにかかる時間を大幅に短縮し、データアクセスと洞察を改善しました。

"私たちはMLFlowトレーシングの機能をより深く探求しています。この機能は、パフォーマンスの問題を診断し、カスタマーコールサポートチャットボットからの応答の質を向上させるために重要な役割を果たします。さらに、私たちはいくつかのエキサイティングなプロジェクトに取り組んでいます。これには、私たちの野火LLMのフィードバックループを確立し、エージェントベースのRAGイニシアチブをより多く実装することが含まれます。私たちの目標は、LLMをXcel全体でよりアクセシブルにすることも含まれており、チームがタグ付け、感情分析、その他必要なアプリケーションなどのタスクにそれらを利用できるようにします。"- ブレイク・クラインハンス、シニアデータサイエンティスト、Xcel Energy

 

序章

Xcel Energyは、コロラド州、ミシガン州、ミネソタ州、ニューメキシコ州、ノースダコタ州、サウスダコタ州、テキサス州、ウィスコンシン州の8つの州で340万人の電気顧客と190万人の天然ガス顧客にサービスを提供する主要な電気・天然ガスエネルギー会社です。Xcel Energyは、Databricks Mosaic AIを活用したRetrieval-Augmented Generation(RAG)アーキテクチャベースのチャットボットを構築し、業務の効率化と顧客サービスの向上を図りたいと考えていました。 Xcel Energyのデータサイエンティストたちは、レートケースのレビュー、法的契約のレビュー、収益通話レポートの分析など、いくつかの高価値なユースケースをテストすることを決定しました。例えば、エネルギーのコストが変動すると、Xcel Energyは市場要因に合わせてレートを再調整する必要があり、そのプロセスには数ヶ月を要することがあります。一方、Xcel Energyのリーダーシップチームは、何百ページものPDFを検索することなく収益通話レポートから洞察を得ることを切望していましたし、法務チームは顧客契約の詳細に素早くアクセスできることを望んでいました。

 

データチームの目標は、大規模なドキュメントコーパスから関連するデータを取得し、大規模言語モデル(LLM)を使用して正確で文脈に応じたレスポンスを生成できる、スケーラブルで効率的な生成AIシステムを実装することでした。Databricks Data Intelligence Platformの機能は、データガバナンスからモデル統合、監視、デプロイメントまでの開発の各フェーズを効率化しました。今では、エネルギー価格レポートや政府規制を含む複雑な文書のレビューに基づくレートケースは、最大6ヶ月かかる代わりに2週間で完了します。

「Databricksは、RAGベースのチャットボットの迅速な開発とデプロイメントを可能にし、私たちの価値を大幅に向上させました。このプラットフォームは、私たちの内部データソースと既存のダッシュボードツールとシームレスに統合され、チームがインフラを一から設定するのではなく、品質の向上に集中できるようにしました。さらに、Databricksは、最高のパフォーマンスを達成するために、さまざまな埋め込みと言語モデルを試すことを容易にしました。”- ブレイク・クラインハンス、シニアデータサイエンティスト、Xcel Energy

 

データ管理と準備

プロジェクトの重要な最初のステップは、データガバナンスと管理のための効果的な方法を確立することでした。公益事業者として、Xcel Energyは、機密または独自のデータが漏洩するリスクを避けるために、厳格なセキュリティとガバナンスを確保しなければなりませんでした。各ユースケースでは、公開文書(収益報告書)や機密文書(法的契約)など、さまざまな文書が必要でした。Databricks Unity Catalogは、チャットボットの知識ベースのドキュメントコーパスを含む、構造化データと非構造化データの両方の一元化されたデータ管理を可能にしました。それは細かいアクセス制御を提供し、すべてのデータが安全で準拠していることを保証しました。これは、機密性または専有データを含むプロジェクトにとって大きな利点です。

 

彼らの生成AIプラットフォームを最新の状態に保つためには、RAGベースのチャットボットにデータが取り込まれるとすぐに関連データを利用可能にする必要がありました。データの準備のために、Databricks NotebooksApache Spark™が大規模なデータセットを処理するために利用されました。これらのデータセットは、政府のウェブサイト、法的文書、内部の請求書など、さまざまなソースから取得されました。Sparkの分散コンピューティング機能により、チームは迅速にドキュメントをデータレイクに取り込み、前処理することができ、Xcel Energyは大量のデータワークフローを最小限の時間でベクターストアに転送することができました。

 

埋め込み生成とストレージ  

RAGアーキテクチャの取得メカニズムには埋め込みが重要でした。チームはDatabricks Foundation Model APIsを利用して、databricks-bge-large-en やdatabricks-gte-large-enなどの最先端の埋め込みモデルにアクセスしました。これらの埋め込みは、ドキュメントコーパスの高品質なベクトル表現を提供しました。これらの埋め込みにより、モデルのインフラストラクチャを手動でデプロイまたは管理する必要がなくなり、埋め込み生成のプロセスが簡素化されました。

 

その後、埋め込みは Databricks Vector Search 、Databricks環境内に統合されたサーバーレスで高度にスケーラブルなベクトルデータベースに保存されました。これにより、チャットボットの検索コンポーネントのバックボーンを形成する効率的な類似性検索が確保されました。Vector SearchのDatabricksエコシステム内でのシームレスな統合は、インフラストラクチャの複雑さを大幅に削減しました。

 

LLM統合とRAG実装

Xcelは、Databricks Foundation Model APIsを使用して異なるLLMsをテストすることができました。これらのAPIは、デプロイメントやコンピューティングリソースの管理というオーバーヘッドなしに、事前に訓練された最先端のモデルへのアクセスを提供します。これにより、LLMsをチャットボットに簡単に組み込むことができ、最小限のインフラ管理で堅牢な言語生成を提供することができました。

 

彼らの初期のデプロイメントは、Llama 2とDBRXモデルを試した後、32kトークン長のMixtral 8x7b-instructでした。Mixtralは、スパースな専門家の混合(SMoE)モデルで、ほとんどのベンチマークでLlama 2 70BとGPT 3.5を一致または上回り、Llama 70Bの推論よりも4倍速かった。Xcel Energyは出力品質を優先し、AWS BedrockのAnthropicのClaude Sonnet 3.5に切り替えるまでMixtralを使用しました。これには、Databricks経由でMosaic AI GatewayVector Searchを使用してRAGにアクセスしました。


その RAGパイプラインは、Databricksのコンポーネントとシームレスに統合する強力なフレームワークであるLangChainを使用して構築されました。 Databricks Vector Searchを類似性検索に利用し、それをLLMクエリ生成と組み合わせることで、チームはユーザーのクエリに対するコンテキストに応じたレスポンスを提供できる効率的なRAGベースのシステムを構築しました。LangChainとDatabricksの組み合わせにより、開発プロセスが簡素化され、システムのパフォーマンスが向上しました。

 

MLflowを用いた実験追跡とモデル管理  

プロジェクトは完全にMLflowを活用しました。これは、実験追跡とモデル管理のための広く採用されているオープンソースプラットフォームです。 MLflowのLangChain統合を使用することで、チームは開発プロセス中にRAGモデルのさまざまな設定とパラメータを記録することができました。これにより、バージョニングが可能になり、LLMアプリケーションのデプロイメントが簡素化され、実験から生産への明確な道筋が提供されました。

 

さらに、AI Gatewayは、チームが資格情報とモデルアクセスを中央で管理し、LLM間の効率的な切り替えを可能にし、レート制限とキャッシングを通じてコストを制御することを可能にしました。

 

モデルの提供とデプロイメント

チャットボットのデプロイメントは、Databricks Model Servingを使用して効率化されました。このサーバーレスコンピュートオプションは、RAGベースのチャットボットをホストするためのスケーラブルでコスト効率的なソリューションを提供し、モデルをREST APIエンドポイントとして最小限の設定で公開することができました。そのエンドポイントは、フロントエンドアプリケーションに簡単に統合でき、開発から製品への移行を効率化しました。

 

モデルサービングはまた、GPUベースのスケーリングを可能にし、レイテンシと運用コストを削減しました。このスケーラビリティはプロジェクトが拡大するにつれて重要となり、チャットボットが大幅なアーキテクチャ変更なしにユーザーロードの増加を処理できるようにしました。

 

モニタリングと継続的な改善  

デプロイ後、Databricks SQLを使用してモニタリングソリューションを実装しました。チームは、レスポンス時間、クエリ量、ユーザー満足度スコアなどの重要な指標を追跡するダッシュボードを作成しました。これらの洞察は、チャットボットのパフォーマンスを継続的に改善し、長期的な信頼性を確保するために重要でした。

 

モニタリングを全体のワークフローに統合することで、チームは潜在的な問題に積極的に対応し、リアルタイムのフィードバックに基づいてシステムのパフォーマンスを最適化することができました。

 

結論:GenAIアプリケーションにおけるDatabricksの利点

The Databricks Data Intelligence Platformは、RAGベースのチャットボットの迅速な開発と展開を可能にし、大規模なAIプロジェクトの管理に通常関連する複雑さを大幅に削減しました。ツールの統合、例えばUnity CatalogFoundation Model APIsVector SearchMLflow、そしてModel Servingは、GenAIアプリケーションを構築するための包括的なエンドツーエンドのAIエージェントシステムを提供しました。

 

スケーラビリティ、インフラのシンプルさ、 モデルガバナンス に焦点を当てることで、プラットフォームはチームがRAGアーキテクチャを洗練し、チャットボットのパフォーマンスを簡単に向上させることに集中することを可能にしました。プラットフォームの堅牢な機能は、プロジェクトがユーザーの需要の増加に効率的に対応できるようにし、Databricksを高度なGenAIアプリケーションの開発とデプロイメントに理想的な選択肢としました。Xcel Energyのデータサイエンスチームは、全体のアーキテクチャを中断することなく、より高度なLLMsに簡単にアップグレードできる自由を高く評価しました。

 

今後、Xcel Energyは、GenAIツールの使用を会社全体にさらに拡大し、データと洞察へのアクセスを民主化することができると予想しています。

 

Databricks 無料トライアル

関連記事

エネルギー業界向けデータインテリジェンスプラットフォームのご紹介

よりスマートでクリーン& 信頼性の高いエネルギーシステムへのパラダイムシフトを促進 電気は新しい石油です。 エネルギー源は多様化し、エネルギーの用途はより電気的になっています。 電力は急速に一次エネルギー源になりつつあり、再生可能エネルギーは世界の電力の30%を供給しています。 顧客の嗜好と市場原理が再生可能エネルギーと脱炭素化を推し進める中、私たちは新旧のエネルギーシステムが共存する過渡期にあり、経済的影響を伴う価格変動を引き起こしています。 マッキンゼーによると、データとAIはこの移行期に不可欠であり、今後10年間で最大5兆ドルの価値を提供し、2050年までに実質ゼロ排出を達成するために不可欠です。 今後数年間、大手エネルギー企業はデータとAIを活用し、変動リスクを管理しながら移行を活用することになるでしょう。 しかし、エネルギー部門がAIの可能性を最大限に活用するには、以下のような大きなハードルを乗り越えなければなりません: レガシーなインフラやデータモデルによる独自のデータフォーマットやクローズド

Santalucía Seguros: 顧客サービスとエージェントの生産性を向上させるエンタープライズレベルの RAG を構築する

Translation Review by Akihiro.Kuwano 保険業界では、顧客は自分のニーズに応える、パーソナライズされた、迅速で効率的なサービスを求めています。 一方、保険代理店は、複数の場所からさまざまな形式で大量のドキュメントにアクセスする必要があります。 100 年以上家族をサポートしてきたスペインの企業 Santalucía Seguros は、顧客サービスとエージェントの生産性を向上させるために、製品、補償範囲、手順などに関するエージェントの問い合わせをサポートできる GenAI ベースの仮想アシスタント (VA) を実装しました。 VA は Microsoft Teams 内でアクセスされ、あらゆるモバイル デバイス、タブレット、コンピューターから、エージェントの質問に自然言語でリアルタイムに、24 時間 365...

本番運用 - Databricksを使用した高品質の RAG アプリケーション

12 月に、Databricks は Retrieval Augmented Generation (RAG) を使用して AI アプリケーションを本番運用するための新しいツール を発表しました 。それ以来、 Databricks Data Intelligence Platform 上で何千もの顧客によって構築される RAG アプリケーションが爆発的に増加しています 。 本日、 DatabricksVector Searchの一般提供やモデルサービングのメジャーアップデートなど、...
生成 AI一覧へ