Databricks Lakehouse をベースにしたデータメッシュの構築、パート 2

前回のブログ「Databricks LakehouseとData Mesh」では、Databricks Lakehouseに基づいたData Meshを紹介しました。このブログでは、Databricks Lakehouseの機能が、アーキテクチャの観点からData Meshをどのようにサポートするかを探ります。

Data Meshは、購入するテクノロジーやソリューションではなく、アーキテクチャおよび組織のパラダイムです。しかし、Data Meshを効果的に実装するには、データ担当者間のコラボレーションを確保し、データ品質を提供し、すべてのデータおよびAIワークロードにわたる相互運用性と生産性を促進する、柔軟なプラットフォームが必要です。

Databricks Lakehouseプラットフォームの機能がこれらのニーズにどのように対応するかを見てみましょう。

データメッシュの基本的な構成要素はデータドメインであり、通常は次のコンポーネントで構成されます。

1. ソースデータ（ドメインが所有）
2. セルフサービスコンピュートリソースとオーケストレーション（Databricks Workspaces内）
3. 他のチームやドメインに提供されるドメイン指向のデータプロダクト
4. ビジネスユーザーが利用できるインサイト
5. フェデレーテッド計算ガバナンスポリシーの遵守

これは下の図に示されています。

ドメイン間のコラボレーションとセルフサービス分析を容易にするために、アクセス制御メカニズムとデータカタログに関する共通サービスが中央で提供されることがよくあります。たとえば、Databricks Unity Catalogは、データ検出やリネージなどの情報的なカタログ機能だけでなく、今日多くの組織が望むきめ細かなアクセス制御と監査の強制も提供します。

Data Meshはさまざまなトポロジーでデプロイできます。最新のデジタルネイティブ企業以外では、完全に独立したドメインを持つ高度に分散化されたData Meshは、ドメインチームがビジネスロジックと高品質のデータに集中することを妨げるため、通常は推奨されません。エンタープライズでよく見られる2つの人気のある例は、Harmonized Data MeshとHub & Spoke Data Meshです。

1) Harmonized Data Meshのアプローチ

Harmonized data meshは、ドメイン内の自律性を重視します。

• データドメインは、ドメイン固有のデータプロダクトを作成および公開します
• データ検出は、Unity Catalogによって自動的に有効になります
• データプロダクトはピアツーピア方式で消費されます
• ドメインインフラストラクチャは、次によって調和されます
  • プラットフォームブループリント（セキュリティとコンプライアンスを確保）
  • セルフサービスプラットフォームサービス（ドメインプロビジョニング自動化、データカタログ、メタデータ公開、データおよびコンピュートリソースに関するポリシー）

Harmonizedアプローチのインプリケーションには、次のようなものがあります。

• 各データドメインは、相互運用性とインフラストラクチャ管理のための標準とベストプラクティスを遵守する必要があります
• 各データドメインは、アクセス制御、基盤となるストレージアカウント、またはインフラストラクチャ（例：ストリーミングデータプロダクト用のイベントブローカー）などのトピックに、個別に時間と労力を費やす必要があります

このアプローチは、スキルセットの幅と深さが異なるさまざまなチームがあり、最新の実践やポリシーと完全に同期を保つことが困難なグローバル組織では課題となる可能性があります。

2) Hub & Spoke Data Meshのアプローチ

Hub & Spoke Data Meshは、共有可能なデータ資産と、単一のドメインに論理的に属さないデータを管理するための集中型ロケーションを組み込んでいます。

• データドメイン（スポーク）は、ドメイン固有のデータプロダクトを作成します
• データプロダクトはデータハブに公開され、Unity Catalogに登録されているアセットの大部分を所有および管理します
• データハブは、次のようなデータドメイン向けの汎用サービスプラットフォームオペレーションを提供します
  • 管理されたロケーションへのセルフサービスデータ公開
  • Unity Catalogを介したデータカタログ、リネージ、監査、およびアクセス制御
  • タイムトラベルやドメイン全体でのGDPRプロセス（例：忘れられる権利のリクエスト）などのデータ管理サービス
• データハブはデータドメインとしても機能できます。たとえば、天気、市場調査、標準的なマクロ経済データなどの汎用または外部から取得したデータセットのパイプラインやツールです。

Hub and Spoke Data Meshのインプリケーションには、次のようなものがあります。

• データドメインは、中央で開発およびデプロイされたデータサービスから恩恵を受けることができ、ビジネスおよびデータ変換ロジックにより集中できるようになります
• インフラストラクチャの自動化とセルフサービスコンピュートは、データハブチームがデータプロダクト公開のボトルネックになるのを防ぐのに役立ちます

これらのアプローチのいずれにおいても、ドメインは次のような共通の繰り返し可能なニーズを持つ場合があります。

• データ取り込みツールとコネクタ
• MLOpsフレームワーク、テンプレート、またはベストプラクティス
• CI/CD、データ品質、および監視のためのパイプライン

センターオブエクセレンスのような、スキルと専門知識の集中プールを持つことは、ドメイン全体で共通の繰り返し可能なアクティビティと、各ドメインでは利用できない可能性のあるニッチな専門知識を必要とするまれなアクティビティの両方にとって有益です。
また、完全にHarmonizedなData MeshとHub-and-Spokeモデルの間でいくつかのバリエーションを持たせることも完全に可能です。たとえば、論理的に単一のドメインに属さないデータ資産をホストし、複数のドメインで使用される外部から取得したデータを管理するためだけの最小限のグローバルデータハブを持つなどです。Unity Catalogは、Databricksデプロイメント内でデータが管理されている場所であればどこでも、認証されたデータ検出を提供するという重要な役割を果たします。

Data Meshのスケーリングと進化

デプロイされたData Mesh論理アーキテクチャのタイプに関係なく、多くの組織は、クラウドリージョン、クラウドプロバイダー、さらには法域にまたがる運用モデルを作成するという課題に直面します。さらに、組織がデータ資産のプロダクト化（さらには収益化）へと進化するにつれて、エンタープライズグレードの相互運用可能なデータ共有は、内部ドメイン間のコラボレーションだけでなく、企業間のコラボレーションにとっても引き続き最重要です。

Delta Sharingは、次の利点を持つこの問題に対するソリューションを提供します。

• Delta Sharingは、組織的、地域的、技術的な境界を越えてドメイン間でデータプロダクトを安全に共有するためのオープンプロトコルです
• Delta Sharingプロトコルはベンダーニュートラルであり（幅広いクライアントのエコシステムを含む）、同じテクノロジースタックやクラウドプロバイダーを使用する必要なしに、異なるドメインまたは異なる企業間のブリッジを提供します

結論

Data MeshとLakehouseはどちらも、エンタープライズデータウェアハウスと従来のデータレイクの一般的なペインポイントと欠点^[1][2]に起因して生まれました。Data Meshは、生産性とデータからの価値を向上させるためのビジネスビジョンとニーズを包括的に明確にし、一方Databricks Lakehouseは、最大の相互運用性、コスト効率、およびシンプルさでそれらのニーズを満たすためのオープンでスケーラブルな基盤を提供します。
この記事では、フェデレーテッドガバナンスをサポートしながらコラボレーションと生産性を向上させるDatabricks Lakehouseプラットフォームの2つの例示的な機能に焦点を当てました。

• Unity Catalog は、Data Mesh における独立したデータ公開、中央データ検出、およびフェデレーテッド計算ガバナンスを可能にするものとして機能します
• Delta Sharing は、クラウドやリージョンをまたいだデプロイメントを持つ、大規模でグローバルに分散された組織向けです。Delta Sharing は、重複なしに、組織の境界を越えたドメイン間で最新のデータを効率的かつ安全に共有します

しかし、Databricks には、さまざまなペルソナにとって Data Mesh のジャーニーを支援する優れた機能が他にも数多くあります。たとえば、次のとおりです。

• Workflows および Delta Live Tables は、バッチとストリーミングの両方のワークロードをサポートする、高品質なセルフサービスデータパイプラインを実現します
• Databricks SQL は、レイク上で直接パフォーマンスの高い BI および SQL クエリを可能にし、ドメインチームがデータ製品の複数のコピー/データストアを維持する必要性を軽減します
• Databricks Feature Store は、Data Science および Machine Learning チーム間の共有と再利用を促進します

Data Mesh における Lakehouse の詳細については、以下をご覧ください。

• Matei Zaharia: Data Mesh and Lakehouse
• Zalando & Thoughtworks: Data Lakehouse and Data Mesh—Two Sides of the Same Coin
• Databricks: Meshing About with Databricks

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事