Equiniti：ゼロからAIへ

はじめに

Equiniti（EQ）は、株主管理、年金、レメディエーション（是正）サービスのグローバルリーダーであり、Databricksを活用してデータ駆動型アプローチを革新し、136カ国における顧客体験を向上させました。6,000社以上の企業にサービスを提供するEQは、高度な分析と生成AIの力を活用することで、ますます複雑化し規制の厳しくなる環境に適応する必要があると考えました。

情報へのタイムリーなアクセスがEquinitiの顧客の成功に不可欠であるため、同社はデータ（およびデータ駆動型のインサイト）を業務および戦略的アプローチの基盤にしたいと考えました。Equinitiは、より情報に基づいた効率的かつ効果的なビジネスプラクティスを導入し、顧客体験を向上させ、社内イノベーションを推進する高度な分析やGenAIの新たな進歩を活用することを目指しました。

これらの目標を達成するために、Equinitiは、既存または新規のあらゆるデータおよびAIアプリケーションをサポートできる、将来にわたって利用可能で安全かつ高性能なデータプラットフォームを構築する必要がありました。このブログでは、同社がインフラを支えるためにDatabricks Data Intelligence Platformをどのように、そしてなぜ選択したのかを説明し、DatabricksプラットフォームとDatabricksツールを活用してすでに探索している高度なユースケース（GenAIを搭載したチャットボットであるPensionGuruの開発など）について詳しく解説します。

ステップ1：価値を特定し、強固なデータ基盤を構築する

「AIを何に使えるか？」という問いから始めるのではなく、Equinitiは「高品質で信頼できるデータと最新のツールや技術を使って、クライアントにどのように新しい価値を提供できるか？」と問いかけました。

いくつかの共通のテーマが浮かび上がりました。それは、信頼できるデータに大規模にアクセスできるようにすること、迅速かつコスト効率よく実験して動く俊敏性を備えること、ドメインの専門家（SME）や既存のリソースの有効活用を迅速化すること、そしてクライアントのニーズを満たすために提供サービスを迅速に近代化することです。

その初期の取り組みから、Equinitiはデータの価値を最大限に引き出すための、将来のクラウドデータおよびAIプラットフォームに対する主な要件を特定しました。

● 統合されたデータとAIのガバナンス：ガバナンスとコントロールがなければ、価値は生まれません。Equinitiは、プラットフォーム全体でのデータの流れと変換を追跡することで規制要件への準拠を維持し、社内外のステークホルダーやクライアントとの信頼関係を構築するのに役立つ、堅牢なセキュリティ機能、アクセス制御、自動リネージ、監査機能を必要としていました。

● 統合されたオープンなプラットフォーム：もう1つの要件は、データエンジニアリング、データサイエンス、高度な分析、GenAIをサポートできるシンプルなアーキテクチャでした。Equinitiは、サイロ化や不要なデータの重複を排除し、特定のベンダーロックインを避けたいと考えていました。同社は、オープンな標準とプロトコルに基づいて構築されたプラットフォームを求めていました。さらに、GenAIのワークロード向けに、あらゆる形式のバッチおよびストリーミングデータソースの両方をサポートする必要がありました。データとシステムが分散しているため、分析における信頼できる唯一の情報源（Source of Truth）となる単一のプラットフォームは、大きな前進となるはずでした。

● コストの最適化：最後に、Equinitiは、データ処理を強化し、真の従量課金制モデルによってTCOを削減する、スケーラブルで最適化されたコンピュートを必要としていました。低い初期投資から始めて、必要に応じてスケールアップできることが不可欠でした。

これらの要件を念頭に置き、Equinitiは最新のクラウドデータおよびAIプラットフォームのバックボーンとしてDatabricks Data Intelligence Platformを選択しました。

ステップ2：迅速に行動し、統合されたツールセットを活用する

従来、データプラットフォームを構成する個々のコンポーネントや個別のサービスを評価するには、多くの異なるチームからの意見が必要であり、導入にあたっては競合する優先事項やリソースを調整する必要がありました。しかし、EquinitiはDatabricksプラットフォームを迅速かつ容易にデプロイし、そのすべての統合機能を探索することができました。迅速かつコスト効率よく実験しスケールできるという選択肢があったため、Equinitiは時間やコストの大きな初期投資をすることなく、接続性、データ処理、分析機能のプロトタイプ作成において自信を持って意思決定を行うことができました。Equinitiは、初期のAI導入における主要なユースケースを確立すると、Databricksチームと協力して、以下の図1に示すような初期アーキテクチャを作成しました。一連 of ワークショップを通じて、Databricksのソリューションアーキテクトはプラットフォームの組み込み機能を最大限に活用する方法を紹介しました。また、Equinitiは包括的なセルフペースの学習リソースを利用してスキルアップを図りました。

Databricksプラットフォームの最も価値のある機能の1つは、データとAIのための統合されたオープンなガバナンスソリューションである Unity Catalogです。取り込まれたデータの自動的にキャプチャされたリネージと、それがどのように変換されてモデルで使用されたかを追跡できることは、EquinitiのInfoSecチームやリスク管理チームからの信頼、理解、承認を得るための鍵となりました。Equinitiは、別のデータカタログを管理するための追加コストや導入のオーバーヘッド、時間をかけることなく、どのようなデータがどこで使用されているかを示すことができました。さらに、Delta Sharingと Databricks Marketplaceは、Equinitiが初めて外部のパートナーとデータを共有することを可能にしたという意味で、画期的なものでした。これまでアクセスできなかった、あるいはサイロ化されていた複数のソースからのデータを可視化し、ペタバイト規模のデータセットを保存・維持することなく外部プロバイダーのデータを利用できるようになったことで、Equinitiはこれまで手の届かなかったインサイトを迅速かつ容易に導き出すことができるようになりました。ビジネスチームが、信頼できる中央のソースから同じツールやデータ資産を容易に発見して利用できるようになることは、今後もデータプラットフォームの品質と価値を高め続けるでしょう。

Equinitiの小規模なエンジニアリングチームにとって、Databricksプラットフォームの最大の時間短縮機能の1つはLakeflow Connectでした。Databricks Lakeflowは、エンタープライズアプリケーションやデータベースからデータを取り込むための組み込みコネクタを提供します。Workday、Salesforce、SQL Serverなどのコアプラットフォームへのノーコード連携をシームレスに作成できるようになったことで、モデルが消費できるようにDatabricksでデータを利用可能にするまでの時間が大幅に短縮されました。これにより、ストレージとコンピュートのコストが大幅に削減され、データを保存・管理するためのAPI連携やETLプロセスを構築する従来のプロセスと比較して、数か月分の開発作業が節約されました。その結果、Equinitiのチームは、ビジネスに価値をもたらすGenAIアプリケーションの作成など、価値を倍増させる領域に集中できるようになりました。

最後に、これらの新しいGenAIアプリケーションを開発するには、新しいタイプの"ナレッジデベロッパー"が必要です。これらは、ビジネス（Equinitiの場合は年金市場）を深く理解しているドメインのSMEです。これらの専門家は、重要なフィードバックを提供し、GenAIアプリケーションが正確で高品質な結果を提供していることを確認するために、ツールやプラットフォームにシームレスにアクセスできる必要があります。Databricksプラットフォームの使いやすさとアクセスのしやすさにより、SMEは開発チームやエンジニアリングチームと効果的に連携してGenAIアプリケーションを構築することが容易になりました。彼らの専門知識と深いビジネスインサイトを活用することで、Equinitiはグラウンドトゥルース（正解データ）を確立し、貴重なフィードバックを得ることができました。これにより、組織全体で使用する回答や生成されたコンテンツの微調整（ファインチューニング）に役立ちました。

ステップ3：価値を示し、結果を出し、革新を続ける

Equinitiの最初のGenAIユースケースの1つは、GenAIチャットボットであるPensionGuruの開発でした。多数 of 年金プランを管理するというEquinitiの役割を考えると、従業員はポリシー、信託証書、ガイドラインなど、膨大な量の文書を調べて解釈しなければならないことがよくあります。PensionGuruは、即座に正確な回答を提供し、複雑な情報へのアクセスを効率化して生産性を向上させることで、この課題に対処します。

このアプリは、文書分析を自動化し、重要な詳細情報を抽出するのに必要な時間を最小限に抑えることで、業務効率を大幅に向上させ、管理コストを削減します。従来は何時間もかかっていた作業が、今では数分で完了します。 PensionGuruは、従業員が迅速かつ正確に情報を検索できるようにし、サービスの提供と意思決定プロセスを向上させます。高度な自然言語処理を活用することで、アプリはユーザーのクエリをインテリジェントに理解して処理し、膨大なデータセットから文脈に即した関連情報を配信します。このイノベーションは、時間を節約するだけでなく、データ駆動型のインサイトを強化し、年金制度管理へのより戦略的なアプローチを可能にします。

PensionGuruを構築するため、Equinitiはまず、元々PDFファイルとして保存されていた数千もの年金関連文書を取り込み、上の図2に示すようにDatabricks Volumeにロードすることから始めました。その後、EquinitiはUnity Catalogを通じて、取り込みの時点からこれらの非構造化ファイルを効率的に管理しました。次のステップは、文書からテキストを抽出し、管理しやすいチャンクに分割して、データをDelta Tableに保存することでした。サーバーレス構成のDatabricks AI Searchを使用することで、Equinitiは検索および取得機能をサポートするベクターデータベースを容易に構築しました。

アプリケーションを動かすため、EquinitiはDatabricks Model Servingを活用し、強力でコスト効率に優れたオープンソースのMeta Llama 3.1 70Bモデルに基づくLLMエンドポイントを確立しました。最後に、EquinitiはDatabricks Appsを使用して、エンドユーザーにチャットボットをシームレスかつ安全にデプロイすることができました。これは、Databricks Data Intelligence Platform上でガバナンスが組み込まれた本番環境対応のアプリを作成するための、シンプルで新しいサーバーレスソリューションです。この統合されたApps機能は、アプリケーションをサポートするための基盤インフラのデプロイ、管理、維持をEquinitiのデータチームが行う必要をなくしたため、大幅な時間の節約となり、大きなゲームチェンジャーとなりました。チームは、サイロ化したサービスの統合やITインフラ管理のような日常的なタスクに時間を費やす代わりに、ビジネス価値の提供に集中できるようになりました。

初期のPensionGuruの成果とフィードバックは非常に心強いものであり、Equinitiは継続的な実験とモデルトレーニングを通じて、アプリケーションのパフォーマンスを洗練させ、向上させ続けています。また、彼らはAIエージェントフレームワーク の組み込みも検討しています。これにより、PensionGuruの機能をさらにカスタマイズして拡張し、年金制度管理の特定のニーズに合わせてさらに応答性を高め、最適化することができます。このアプローチにより、Equinitiは重要な年金情報の処理と検索において、さらに高い精度と効率を提供することを目指しています。

まとめ

Databricks Data Intelligence Platformを選択することで、Equinitiは、モジュール式で拡張性があり、現在および将来のすべてのデータとAIのニーズを満たすことができるソリューションを提供しました。データエンジニアリング、データサイエンス、機械学習、GenAIを単一のソリューションに統合するDatabricksの能力により、Equinitiは高いレベルの効率性とスケーラビリティを達成できます。この包括的なアプローチは、組織全体でデータのアクセシビリティを促進するUnity Catalogによる基盤となるデータガバナンスを中心に据えています。

さらに、AIモデルの開発とデプロイのためのDatabricksプラットフォームの高度なツールと環境は、データの統合、セキュリティ、ガバナンスを犠牲にすることなく、イノベーションと運用効率の両方を促進し、新たな機会を切り開きました。

「私たちはジェネレーティブAIへの取り組みを始めたばかりですが、Databricks Data Intelligence Platformによって有意義なビジネス価値を提供できると確信しています。」—James West（Equiniti、データ部門ストラテジックディレクター）

Equinitiは現在、すべてのデータソースをDatabricks環境に移行、統合、集約し、新しいユーザーのトレーニングとオンボーディングを行っている最中であり、近い将来に提供予定の高度な分析やAIのユースケースを多数控えています。

このブログ投稿は、James West（Equiniti）とTomasz Kurzydym（Databricks）による共同執筆です。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事