メインコンテンツへジャンプ
Industries header

DatabricksのLakehouseがTD銀行グループのデータ・トランスフォーメーションの新時代をどのように支えているか

Satish Narayanan
Jon Hollander
Paul Wellman
John Lynch

June 23, 2023 in 業界

Share this post

このブログは、TD Bankのデータ・プラットフォーム変革およびDaaS(Data as a Service)組織の実現に関する3回シリーズの第1回です。Satish Narayanan氏、Paul Wellman氏、Jon Hollander氏に感謝します。

翻訳:Saki Kitaoka.  Original Blog Link

 

TDでは、組織全体で信頼できるデータを保護し、活用することの重要性を認識しています。データはTDを「より良い銀行」にするために不可欠なものであり、お客様をサポートするために有意義な洞察とインパクトを生み出すデータの育成に注力しています。このようなデータの管理、処理、分析、対処は、しばしば複雑で時間のかかるものでした。今日の環境では、お客様のニーズや刻々と変化する市場の需要に対応するため、リアルタイムの意思決定と洞察が求められています。

規制当局からの圧力や顧客からの要求の高まりにより、すべての組織はデータの管理と正確性をより厳しく管理する必要に迫られています。最近では、データの可用性を高め、データの質を向上させることが、銀行にとって2つの重要な優先事項となっています。現在、プライバシー法またはデータ保護法を制定している国は100カ国を超えます。国民のデータのセキュリティと安全性に重点を置く国が増えるにつれ、この傾向は今後ますます強まるでしょう。どのようなテクノロジーや機能を探求するにしても、お客様からの信頼は私たちのイノベーション哲学の中核をなすものです。日々、お客様の情報のプライバシーと、当行のシステムを保護し情報を安全に保ちながらお客様の信頼を維持することの重要性は、基本的な優先事項です。

私たちの仕事のやり方を変えるため、当行は新しい業務モデルと体制を全行的に導入しました。その目的は、多くの同僚が日常的にどのように仕事をしているかを見直し、どうすればより効率的に仕事ができるかを考えることでした。TDのこの変革は「Next Evolution of Work」、つまりNEWと呼ばれています。その原動力は、優秀な人材を惹きつけ、維持しながら、より良い成果をより早く顧客に提供することです。データの観点から、チームはお客様の要望やニーズをより深く理解するためにデータを活用し、安全・安心でパーソナライズされたヒューマン・エクスペリエンスの実現を支援しています。

このような組織改革と並行して、TDはDatabricks社およびマイクロソフト社との協業を選択し、安定性とセキュリティの向上を支援するために、クラウド上で新たな高パフォーマンスのデータプラットフォーム戦略(Lakehouse)を実現しました。Azure(Microsoft)とDatabricksが提供する単一のデータおよびアナリティクス・プラットフォームのメリットを活用し、TDは一元化されたデータの単一ソースを確立しました。この一元化されたソースは、すべてのビジネスライン、技術的能力、ビジネス資産を1つの屋根の下に機敏にまとめ、DaaS(Data as a Service)として知られています。

Data as a Serviceの目的は明確で、最も費用対効果の高い方法で、安全で信頼できるデータへの迅速なアクセスを提供することです。

組織構成


DaaSは、新たな変革を通じて、データを熟知し、エンジニアリングし、サポートし、管理する人材を集めました。DaaSは2,000人以上の社員で構成され、新しいデータ製品や機能を提供し、社員の能力を高めることに注力しています。私たちは、データ・エンジニア、アナリスト、プロダクト・オーナー、データ・アーキテクト、アジャイル・リーダー、リスク管理専門家、ドメイン・エキスパートからなる部門横断的なチームです。キャリアパスのあらゆる側面で同僚をトレーニングし、スキルアップさせ、成長させることが、すべてのチームの包括的な目標です。

新しい組織構成

Organization

私たちは、データプロダクトとケイパビリティを管理し、企業全体に提供するプロダクトファミリーを構成しています。

  • ケイパビリティとビジネス機能別に設計されたスケーラブルでアジャイルな組織
  • データドメインの専門知識を持つプロダクトオーナー、データエンジニアをモデル全体に統合
  • 標準化されたデータプラットフォーム、ツール、能力、プロセス
  • 簡素化、スピード、コスト削減に焦点を当てた、統合された目的、主要な結果、成果
  • データ・トランスフォーメーションを主導するための統一された戦略、ロードマップ、前進の道筋

 

DaaSを確立することで、大規模かつ全社的なデータ変革が可能になります。Databricksは、当社のエンジニア、アナリスト、リーダーが最新のツール、テクノロジー、機能を新しいペース、集中力、推進力で活用するための統一プラットフォームを提供しました。Databricksの統一プラットフォームは、私たちのチームがTDのデータ基盤を運用、提供、実現するための基盤となっています。

Lakehouse プラットフォーム


TDのデータバックボーンを確立するためには、高性能で統一された、スケーラブルかつセキュアなプラットフォームが必要でした。さらに、データと人工知能(AI)の導入が金融サービス業界全体で発展・継続する中、私たちは今が、前進しながら私たちの能力を向上させる重要な時期であると考えています。Databricks Lakehouseの導入は、TDが次世代の進歩、機能、革新に備えるのに役立ちます。

私たちはAzure Databricksを導入し、大規模なデータの移動、管理、変換、処理を行っています。私たちは、データプラットフォームアーキテクチャを簡素化し、市場投入までの時間を短縮する必要がありました。DatabricksをAzureの他のネイティブサービスと組み合わせることで、そのビジョンを実現することができました。

Lakehouse Platform

目指す姿


私たちは、この変革の一環として生み出す成果を重視しています。その5つの柱とは

  1. データへのアクセスの高速化
    データは、DatabricksとDelta Lakeが提供する単一のオープンフォーマットプラットフォームに保存、処理、変換され、データ処理と配信時間の短縮、コストの削減、エンドユーザーエクスペリエンスの向上を目指します。
  2. 信頼できるデータ
    データドメインに基づく承認されたプロビジョニングポイントは、分析、レポート、洞察のための単一の真実のソースを提供します。データは、ビジネスでの使用と導入のために理解、管理、信頼されます。
  3. 近代化されたプラットフォーム
    スケーラブルな運用フレームワーク、コントロール、モニタリングに支えられた簡素化されたアーキテクチャは、導入、ツール、統合の必要性を簡素化します。
  4. 優れた運用性、安定性、セキュリティ
    企業のデータパイプラインの稼働時間、サポート、信頼性が向上しました。さらに、自己回復型のオペレーションとプロセスは、今や当社の環境の標準となっています。
  5. 優秀な人材の確保と育成
    データプロダクトオーナーとデータエンジニアは、最新のデリバリー技術、ツール、テクノロジーを活用した統一プラットフォーム上で共同作業を行います。新しい働き方と最新のテクノロジーは、優秀な人材の獲得、開発、採用に役立っています。

 

ObjectivesBusiness Impact
Faster Access to Data
  • アーキテクチャの簡素化によりデータの重複を削減
  • データ処理と配信時間が劇的に短縮され、コスト削減とエンドユーザー・エクスペリエンスの向上が実現
Trusted Data
  • ビジネスのために理解され、管理され、使用可能なデータ
  • 信頼できる系統、エンドツーエンドの品質、監督、所有権と理解のための説明責任を伴うビジネス定義
Modernize Data Platform
  • 複数の領域にわたる総所有コストの削減
  • ビジネスユーザー、データエンジニア、データスチュワードが、最新のツール、フレームワーク、環境で共同作業
  • プラットフォームはビジネスニーズに応じて拡張可能
Operational Excellence, Stability and Security
  • 稼働時間と安定性の向上
  • 標準化されたオペレーションにより、安全、セキュアで安定したオペレーションを実現
  • 信頼されたデータ・パイプラインと自己回復オペレーション
Attract, Develop and Retain Talent
  • 市場をリードするデータとGenerative AIなどのMLトレンドに基づく新しい人材の獲得
  • ビジネスとデータプロダクトの緊密な連携により、ビジネスに真のインパクトを与えるデータプロダクトチームとエンジニアを育成

今後の展望


私たちの価値観に基づいたデータの有効活用は、TDの将来にとって不可欠です。統一されたプラットフォームと専門組織を通じてデータを管理・提供し、規模を拡大することで、データをより強固なものにできると考えています。

Databricksがサポートする安全で安定した信頼できるAIプラットフォームを新たに構築することで、当社のデータ・トランスフォーメーションは加速し、簡素化されました。

金融サービス業界は新しい時代を迎えようとしています。信頼され、理解され、アクセス可能なデータがなければ、最先端のソリューションは実現できません。TDは今後も、データ主導のパーソナライズされた、コネクテッドでヒューマンな体験を、お客様や同僚に、加速度的に提供していきます。また、TDは今後も、スケールの大きなデータを活用し、事業や市場のあり方を再定義していきます。

私たちは、データ、アナリティクス、AIにとって世界で最も影響力のある時代のひとつになることが約束されていることに興奮し続けています。

6月26日から29日まで開催される今年のData + AI Summitで、当社の変革ストーリーをさらにご紹介できることを楽しみにしています。直接参加できない方は、on-demand replayをご覧ください。

Databricks 無料トライアル

関連記事

Company blog

金融機関 TD Bank におけるクラウド化 - データ環境のモダナイゼーション事例

May 20, 2022 中井 淳太Jonathan Hollander による投稿 in Databricks ブログ
1955 年以来、TD Bank グループは、変化する世界において成功する自信を顧客とコミュニティに提供することを目指してきました。10 年が経過するごとに要求は厳しく、複雑さは増していますが、TD は一貫してこの課題に取り組んでいます。 このブログでは、Databricks 金融サービス&サステナビリティ部門 GTM グローバルヘッドのジュンタ・ナカイ(Junta Nakai)が、TD Bank エンタープライズデータテクノロジープラットフォーム部門 VP のジョナサン・ホランダー(Jonathan Hollander)氏に伺った TD における技術変革の事例をインタビュー形式でご紹介します。顧客体験の向上を支援するために分析機能を強化するよう設計された Delta Lake と Azure クラウドによる新しいモダンデータ資産への移行理由に焦点を当てています。...
Data AI

エグゼクティブのためのデータ、アナリティクス、AI変革ガイド 第4回:ガバナンスで良質なデータへのアクセスを民主化する

The Executive’s Guide to Data, Analytics and AI Transformation, Part 4: Democratize access to quality data with governance 翻訳: junichi.maruyama 本記事は、データとAIの変革イニシアチブを率いるシニアエグゼクティブと重要な洞察と戦術を共有する複数回シリーズのパート4です。シリーズのパート3は こちら でお読みいただけます。...
Platform blog

Introducing the Well-Architected Data Lakehouse from Databricks

June 14, 2023 Bernhard Walter による投稿 in プラットフォームブログ
To provide customers with a framework for planning and implementing their data lakehouse, we are pleased to announce that we have recently published...
業界一覧へ