Equiniti：ゼロから始めるAI革命

はじめに

Equiniti (EQ)は、株主、年金、修復サービスのグローバルリーダーであり、136カ国での顧客体験を向上させるために、データ駆動型のアプローチを革新するためにDatabricksを活用しました。6,000社以上の企業をサービス提供しているEQは、高度な分析と生成AIの力を活用して、ますます複雑で規制の厳しい環境に適応する必要性を認識しました。

情報への迅速なアクセスがEquinitiの顧客の成功にとって重要であるという前提のもと、彼らはデータ（およびデータ駆動型の洞察）を運用および戦略的アプローチの基盤にすることを望んでいました。Equinitiは、より洗練された、効率的で効果的なビジネスプラクティスを実装し、先進的な分析とGenAIの新たな開発を活用して、顧客体験を向上させ、内部のイノベーションを推進することを目指しました。

これらの目標を達成するために、Equinitiは既存または新しいデータおよびAIアプリケーションをサポートできる未来に備えた安全で高性能なデータプラットフォームを構築する必要がありました。このブログでは、彼らがなぜDatabricksデータインテリジェンスプラットフォームをインフラストラクチャのサポートに選んだのか、そしてDatabricksプラットフォームとDatabricks Mosaic AIツールを活用してすでに探求してきた先進的なユースケースについて詳しく説明しています。例えば、PensionGuru、彼らのGenAIパワードのチャットボットの開発などです。

ステップ1：価値を特定し、堅固なデータ基盤を構築する

「AIを何に使うことができますか？」という問いから始めるのではなく、Equinitiは「高品質で信頼性のあるデータと最先端のツールと技術を使って、私たちのクライアントに新たな価値を提供するにはどうすればいいですか？」と問いました。

いくつかの共通のテーマが浮かび上がりました：大規模な信頼性のあるデータへのアクセス、迅速かつコスト効率的に実験し、動き出す柔軟性、ドメインの主題専門家（SME）と既存のリソースの活用を迅速に進めること、そして顧客のニーズに応えるために迅速に提供物を近代化することができることです。

その初期の作業から、Equinitiは、データの価値を最大限に引き出すための将来のクラウドデータとAIプラットフォームのための重要な要件を特定しました。

●  統合データとAIガバナンス：ガバナンスとコントロールがなければ、価値は生まれません。Equinitiは、プラットフォーム全体でのデータの流れと変換を追跡し、内部および外部のステークホルダーやクライアントとの信頼を築くために、堅固なセキュリティ機能、アクセス制御、自動的な系統と監査が必要でした。

●  統一されたオープンプラットフォーム： Equinitiは、データエンジニアリング、データサイエンス、高度な分析、およびGenAIをサポートできるシンプルなアーキテクチャが必要でした。彼らは、シロ化と不必要なデータの重複を排除し、独自のソリューションに閉じ込められることを避けたかった。彼らが求めていたのは、オープンな標準とプロトコルに基づいたプラットフォームでした。さらに、GenAIのワークロードに対して、バッチおよびストリーミングのデータソースを任意の形式でサポートする必要がありました。データとシステムの分散性を考えると、分析の真実の源となる単一のプラットフォームがあれば大きな進歩となるでしょう。

●  コスト最適化： 最後に、Equinityは、データ処理を強化し、真の消費ベースのモデルでTCOを低減する、スケーラブルで最適化された計算能力が必要でした。初期投資を抑えて始め、必要に応じてスケールアップする能力は不可欠でした。

これらの要件を念頭に置いて、EquinitiはDatabricks Data Intelligence Platformを、彼らの現代的なクラウドデータとAIプラットフォームの基盤として選びました。

ステップ2：迅速に行動し、統合されたツールセットを活用する

伝統的には、データプラットフォームを形成する別々のコンポーネントや独立したサービスを評価するために、多くの異なるチームからの入力が必要で、それを実装するためには競合する優先順位やリソースをナビゲートする必要があります。しかし、EquinitiはDatabricksプラットフォームを迅速かつ簡単にデプロイし、その統合機能をすべて探索することができました。実験とスケールアップを迅速かつコスト効率的に行うことで、Equinitiは、接続性、データ処理、分析能力のプロトタイピングに関する決定を自信を持って行うことができました。これには、時間や費用の大きな初期投資が必要ありませんでした。Equinitiが初期のAI実装のための主要なユースケースを確立した後、彼らはDatabricksチームと協力して初期のアーキテクチャを作成しました。これは下の図1に示されています。一連のワークショップを通じて、Databricksのソリューションアーキテクトは、プラットフォームの組み込み機能を最大限に活用する方法を示しました。また、Equinitiは自己学習のリソースを駆使して自身のスキルを向上させました。

Databricksプラットフォームの最も価値のある機能の一つは、Unity Catalogという統一されたオープンなガバナンスソリューションです。取り込まれたデータの自動的にキャプチャされた系統を追跡し、それがどのように変換され、モデルでどのように使用されたかを理解することは、EquinitiのInfoSecとRiskチームからの信頼、理解、承認を得るための鍵でした。Equinitiは、データが何であり、どこで使用されているかを示すことができました。これには追加のコスト、実装のオーバーヘッド、別のデータカタログの管理にかかる時間が必要ありませんでした。さらに、Delta SharingとDatabricks Marketplaceは革新的であり、Equinitiが初めてパートナーとデータを外部共有することを可能にしました。以前はアクセスできなかったりシロ化されていた複数のソースからのデータを視覚化する能力を得たこと、ペタバイト規模のデータセットを保存・維持することなく外部プロバイダからのデータを利用することができるようになったことで、Equinitiは以前は手の届かなかった洞察を迅速かつ簡単に開発することができました。ビジネスチームが中央の信頼できるソースから同じツールとデータ資産を簡単に発見し、使用する能力は、データプラットフォームの品質と価値を引き続き推進します。

Equinitiの小さなエンジニアリングチームにとって、Databricksプラットフォームの最大の時間節約機能の一つはLakeFlow Connectでした。 Databricks LakeFlow は、エンタープライズアプリケーションやデータベースからデータを取り込むための組み込みコネクタを提供します。 Workday、Salesforce、SQL Serverなどのコアプラットフォームへのノーコードの統合をシームレスに作成する能力は、Databricksでモデルが消費するデータを利用可能にするための時間を大幅に短縮しました。これにより、ストレージと計算のコストが大幅に削減され、API統合とETLプロセスを構築してデータを保存・管理する従来の方法と比べて、Equinitiの開発作業を数ヶ月節約しました。その結果、Equinitiのチームはビジネスに価値をもたらすGen AIアプリケーションの作成など、価値を増大させる領域に集中することができました。

最後に、これらの新しいGenAIアプリケーションの開発には、新しいタイプの「知識開発者」が必要です。これらは、ビジネス（Equinitiの場合、年金市場）を深く理解しているドメインのSMEです。これらの専門家は、重要なフィードバックを提供し、GenAIアプリケーションが正確で高品質な結果を提供していることを確認するために、ツールやプラットフォームへのシームレスなアクセスを持つ必要があります。Databricks Platformの使いやすさとアクセシビリティは、SMEが開発チームとエンジニアリングチームと効果的に協力してGenAIアプリケーションを構築するのを容易にしました。専門知識と深いビジネス洞察を活用することで、Equinitiはグラウンドトゥルースを確立し、貴重なフィードバックを得ることができ、これによりレスポンスの微調整と組織全体で使用するためのコンテンツ生成が可能となりました。

ステップ3：価値を示し、結果を出し、革新を続ける

Equinitiの最初のGenAIのユースケースの一つは、彼らのGenAIチャットボット、PensionGuruの開発でした。Equinitiが多数の年金プランを管理している役割を考えると、その従業員はしばしば、ポリシーや信託契約、ガイドラインを含む大量の文書をナビゲートし、解釈する必要があります。PensionGuruは、この課題に対して即時で正確な回答を提供し、複雑な情報へのアクセスを効率化し、生産性を向上させることで対応しています。

このアプリは、文書分析を自動化し、重要な詳細を抽出するために必要な時間を最小限に抑えることで、ビジネス効率を大幅に向上させます。過去には何時間もかかっていたタスクが、今では数分で完了します。PensionGuruは、従業員が情報を迅速かつ正確に取得することを可能にし、サービス提供と意思決定プロセスを改善します。アプリは高度な自然言語処理を利用して、ユーザーのクエリを理解し、処理し、大規模なデータセットから文脈に適した情報を提供します。この革新は時間を節約するだけでなく、データ駆動型の洞察を強化し、年金制度管理に対するより戦略的なアプローチを可能にします。

PensionGuruを作成するために、Equinitiはまず、元々PDFファイルとして保存されていた数千の年金文書を取り出し、それらをDatabricks Volumeにロードしました。これは上記の図2で示されています。次に、Equinitiは、取り込みの時点からUnity Catalogを通じてこれらの非構造化ファイルを効率的に管理しました。次のステップは、文書からテキストを抽出し、それを管理可能なチャンクに分割し、データをDelta Tableに保存することでした。サーバーレスのセットアップを使用して、Equinitiは簡単にベクトルデータベースを構築し、検索および取得機能をサポートしました。Mosaic AI Vector Searchを使用して。

アプリケーションを動かすために、EquinitiはMosaic AI Model Servingを利用して、パワフルでコスト効率の良いオープンソースのMeta Llama 3.1 70Bモデルに基づくLLMエンドポイントを設定しました。最終的に、EquinitiはDatabricks Appsを使用して、エンドユーザーに対してチャットボットをシームレスかつ安全にデプロイすることができました。これは、Databricks Data Intelligence Platformの上にガバナンスを組み込んだ本番環境用のアプリを作成するための新しいシンプルでサーバーレスなソリューションです。統合されたApps機能は、Equinitiのデータチームがアプリケーションをサポートするための基盤インフラストラクチャをデプロイ、管理、維持する必要性を排除し、大きな時間節約と大きなゲームチェンジャーとなりました。チームは、シロ化されたサービスの統合やITインフラストラクチャの管理といった日常的なタスクに時間を費やす代わりに、ビジネス価値の提供に集中することができました。

初期のPensionGuruの結果とフィードバックは非常に励まし的であり、Equinitiは継続的な実験とモデルトレーニングを通じてアプリケーションのパフォーマンスを洗練し、向上させ続けています。また、AIエージェントフレームワークの組み込みを探求しており、これによりPensionGuruの機能をさらにカスタマイズし、拡張することが可能となり、年金制度管理の具体的なニーズにより応答性を持たせ、特別に対応することができます。このアプローチにより、Equinitiは、重要な年金情報の処理と取得におけるさらなる精度と効率を提供することを目指しています。

まとめ

Databricks Data Intelligence Platformを選択することで、Equinitiは現在および将来のすべてのデータとAIのニーズを満たすことができるモジュラーで拡張可能なソリューションを提供しました。Databricksがデータエンジニアリング、データサイエンス、機械学習、およびGenAIを一つのソリューションに統合する能力は、Equinitiが高い効率性とスケーラビリティを達成することを可能にします。この包括的なアプローチは、Unity Catalogを中心にした基本的なデータガバナンスに基づいており、組織全体でのデータアクセシビリティを促進します。

さらに、Databricksプラットフォームの高度なツールとAIモデル開発およびデプロイメントのための環境は、新たな機会を解き放ち、データ統合、セキュリティ、ガバナンスを犠牲にすることなく、イノベーションと運用効率の両方を推進しています。

"私たちは生成AIの旅の初期段階にありますが、Databricks Data Intelligence Platformを使用して意義あるビジネス価値を提供する能力に自信を持っています。"

— James West, Equinitiのデータ戦略ディレクター

Equinitiは現在、すべてのデータソースをDatabricks環境に移行、統合し、新しいユーザーのトレーニングとオンボーディングを行っていますそして、近い将来に提供するための高度な分析とAIのユースケースが多数パイプラインにあります。

このブログは、トマシュ・クルジディム（シニアソリューションアーキテクト、Databricks）とジェームズ・ウェスト（データ戦略ディレクター、Equiniti）が共同で執筆しました。