メルセデス・ベンツ、デルタ共有とインテリジェントレプリケーションでクロス・クラウド・データメッシュを構築し、コストを66%削減

メルセデス・ベンツは、世界で最も認知度の高い高級自動車ブランドの一つとして、現在、デジタルトランスフォーメーションと電気自動車への移行という2つの大きな業界の変化を乗り越えています。この時代は「データ定義型車両」という概念によって定義されています。

• ハードウェアからデータへ： かつて車両はハードウェア定義、次にソフトウェア定義でしたが、今や業界はデータ定義型車両の時代に入ろうとしています。この変化は、車両テレメトリや顧客情報を含むデータが、製品改善と顧客体験を推進する中核資産であることを意味します。
• データ共有の必要性： このデータ定義型車両を構築するためには、研究開発（R&D）、アフターセールス、マーケティングなどのさまざまなビジネスユニットが、シームレスに、安全に、そして費用対効果の高い方法でデータを共有できる必要があります。メルセデス・ベンツは、データ転送のためのFTPサーバーや電子メールのような、以前の安全でない、または非効率的な方法を、堅牢で中央集権的なデータ共有マーケットプレイスに置き換えることを目指しました。

クリティカルな課題は、同社のマルチクラウドアーキテクチャ（AWSとAzure）から生じました。Azure上のデータコンシューマーは、主にAWSに保存されている、大きくて頻繁に更新されるアフターセールスデータセットへのアクセスを必要としていました。このクロス・クラウド・アクセスは、高いデータ転送コスト（egress costs）をもたらし、データの鮮度を確保する上で重大な技術的ハードルとなりました。

ビジネス上の課題：高いデータ転送コストとデータサイロ

メルセデス・ベンツは、これらのクラウド内でマルチリージョン設定も利用しながら、AWSとAzureを活用したマルチクラウド環境を運用しています。このアプローチにより、特定の技術要件に最適なハイパースケーラーサービスを選択できます。

重要な例として、車両のオーバー・ザ・エア（OTA）イベントや整備工場での訪問情報を含むアフターセールスデータが挙げられます。このデータは、研究開発（R&D）におけるコンポーネントの改善や、保証ケースの分析に不可欠です。

• データ量： 中核となるアフターセールスデータは膨大であり、そのうち約60 TBのサブセットが、Azure上で実行される数十のユースケースに対応するために必要とされています。このデータ量は継続的に増加しています。
• コストの壁： AzureベースのコンシューマーがAWS上に存在するこの大規模データセットに直接クエリを実行すると、コスト意識の高いユースケースにとってデータ転送コストが考慮事項となりました。リアルタイム分析のニーズには直接アクセスが適していましたが、チームは、それほど時間的制約のないワークロードに対して、より経済的なアプローチを模索していました。
• データ遅延と鮮度： 新しいソリューションが登場する前は、データセット全体が週次のフルロードとしてコピーされることがよくありました。データコンシューマーはより頻繁な更新を求めていましたが、毎日のフルロードはコストがかかりすぎました。保証ケースに対応する際には、7日間の遅延は致命的になり得ます。
• データ形式の互換性： AWS上の元のデータはIceberg形式でしたが、Azure側の多くのデータコンシューマーはDelta互換形式を期待していました。

ソリューション：ハイブリッドDelta Sharingとレプリケーション戦略

メルセデス・ベンツは、Databricks Delta Sharingの安全なデータ交換機能と、大規模で頻繁にアクセスされるデータセットの共有に伴う継続的なデータ転送コストに対処するための、制御されたローカルレプリケーションメカニズム（Delta Deep Clone）を組み合わせた技術ソリューションを実装しました。

Unity CatalogとDelta Sharing：基盤

このソリューションは、Unity Catalog（UC）とDelta Sharingを基盤としたDatabricks Data Intelligence Platformに anchors されています。

• Unity Catalog（UC）： UCは、エンタープライズ全体におけるすべてのデータプロダクトのグローバルカタログとして機能します。メタデータを一元化し、アクセスを管理し、「ハブ＆スポーク」ガバナンスモデルを可能にすることで、データを透明にしつつ制御を維持します。UCはまた、AWS Glueからテーブルをフェデレーションし、Unityに直接登録してデータ共有をトリガーすることでプロセスを簡素化しました。
• Delta Sharing： Delta Sharingは、さまざまなリージョン、さまざまなハイパースケーラー（AWSからAzureへ）を横断して、異なるUC Metastore間でデータを安全に交換するためのオープンプロトコルとして機能します。オープンソース技術であり、増分データ更新をサポートしているため、これが選択されました。

Delta Sharingは、メルセデス・ベンツのデータメッシュ内で3つの主な構成で使用されています。

1. クロス・クラウド／クロス・ハイパースケーラー共有： これは主なユースケースであり、AWSとAzure間のギャップを橋渡しします。両側の統一されたDatabricksプラットフォームを活用して、クラウド間で同じテクノロジーを使用します。
2. クロス・リージョン／クロス・メタストア共有： 同じクラウド内の異なるリージョン間で、Delta Sharingが内部的に利用されます。
3. 外部共有： このソリューションにより、DatabricksやDelta Sharingを使用している可能性のあるサプライヤーのような外部パートナーとのデータ共有が可能になります。これは、シークレットを送信したりFTPを使用したりするよりも安全なデータ受信方法です。

ハイブリッドアプローチ：データ転送コストを最小限に抑えるためのローカルレプリケーション

すべてのユースケースでリアルタイムのデータ鮮度が必要なわけではないことを認識し、メルセデス・ベンツは、コスト効率がサブ時間単位の鮮度よりも優先される、大規模で頻繁にアクセスされるデータセットのために、制御された増分レプリケーションアプローチを設計しました。

1. クロス・クラウド共有： Provider Metastore（AWS）とRecipient Metastore（Azure）間でDelta Sharingが構成されます。
2. 定期的な同期ジョブ： 自動化されたSync Jobsが定期的に実行され、Delta Deep Cloneを使用して、受信側クラウドのオブジェクトストア（ADLS/S3）に共有テーブルのレプリカを永続化します。
3. 増分更新： Deep Cloneにより、プロセスはデータを増分的に更新できるため、データセット全体が常にコピーされることはなく、コストが節約されます。
4. ローカル消費： Azure上のデータコンシューマーは、Azure上でローカルにレプリケートされたデータをクエリし、クロス・クラウドのデータ移動とそれに伴う高いデータ転送コストを大幅に削減します。

このアーキテクチャは、Delta Sharingのコアな強みである柔軟性を反映しています。ユーザーは、高いデータ鮮度と高いコスト（直接のDelta Shares）または低いデータ鮮度と最小限のコストと遅延（ローカルにレプリケートされたデータ）のいずれかを選択できます。この階層化されたアプローチにより、メルセデス・ベンツは多様なユースケースを効率的に提供できます。

技術実装とベストプラクティス

チームはわずか数週間でエンドツーエンドのソリューションを準備しました。スケーラビリティ、セキュリティ、正確なコスト管理を確保するために、メルセデス・ベンツはいくつかの運用上およびアーキテクチャ上のベストプラクティスを組み込みました。

• Dynamic Data eXchange（DDX）Orchestrator： DDXは、セルフサービスメタカタログとして中心的な役割を果たします。DDXは、権限管理（マイクロサービスとDatabricks API経由での権限付与）、Sync Job管理、データ共有/レプリケーションワークフローを自動化します。
• Databricks Asset Bundles（DABs）による自動化： Sync Jobsのデプロイと構成は、DABsとAzure DevOpsを介したYAML駆動デプロイメントを使用して完全に自動化されています。これにより、堅牢なフルDevOpsアプローチが保証されます。
• コスト追跡と割り当て： Sync Jobsは、転送されたデータの正確な量を記録します。別のReporting Jobが毎日このデータを集計し、データプロダクトごとの推定データ転送コストを計算し、それをアップストリームのデータプロデューサーに請求するために使用されます。このコストダッシュボードは、Sync Jobsのコンピューティングコストも追跡します。
• GDPRとガバナンス： このソリューションは、レプリケートされたテーブルでDelta LakeのVACUUM機能を使用することにより、GDPRの懸念に対処し、ソース側でのデータ削除が受信側にも反映されることを保証します。

定量的メリットとROI

クロス・クラウド・データメッシュソリューションは、メルセデス・ベンツにおけるデータ共有の経済モデルを変革し、顕著で測定可能なビジネス成果をもたらしました。

1. OPEX / データ転送コストの削減

Delta Sharingの増分更新機能とDeep Cloneによるインテリジェントなレプリケーションを活用することで、メルセデス・ベンツはデータ鮮度を最適化しながらデータ転送コストを削減しました。

• データ転送コスト削減： 最初の10個のデータプロダクトのデータ転送コストは66%削減されました。
• ROI on Egress: これは、週ごとのEgressコストが約3分の2削減されたことを示しています。上記の50のユースケースで、AWSからの直接データ消費の同じ計算例を考慮すると、年間Egressコストは約93%削減されました。

2. データ鮮度の向上とビジネスアジリティ

データをインクリメンタルに同期できるようになったことで、Azureコンシューマーの更新頻度を劇的に向上させることができました。

• 鮮度の向上: データコンシューマーは、7日間待つ代わりに、より頻繁に（例: 2日に1回）最新のデータを受け取れるようになりました。これにより、保証ケースのような問題への対応における重大な遅延を防ぐことができます。

3. IT運用コストの削減

同期プロセスに完全にServerless Databricks Jobsを使用したことで、コンピューティング費用と運用オーバーヘッドが削減されました。

• 運用の安定性: ジョブは「ほぼ問題なく、介入なしで」実行されており、IT運用コストを最小限に抑えています。

戦略的インパクト: データ定義型車両

中央集権的でコスト効率の高いデータ共有フレームワークは、メルセデス・ベンツの「データ定義型車両」というビジョンに不可欠です。

Delta Sharingと、それによってもたらされるデータメッシュは、アフターセールスデータなどのこれまで孤立していたデータソースを、研究開発、マーケティング、営業の担当者とつなぐのに役立ちます。これにより、車両と顧客の全体像が作成され、製品ラインのデジタル化と電化に向けた同社のミッションが加速されます。

メルセデス・ベンツがDelta Sharingの柔軟性をどのように活用して、クロス・クラウドのデータメッシュを最適化したかを知りたいですか？Data + AI SummitでのAlexander Summaのプレゼンテーションをご覧ください。

YouTubeでプレゼンテーションを見る

このセッションでは、技術アーキテクチャ、実装上の課題、およびこのソリューションを大規模に展開した際の教訓について詳しく学びます。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事