Databricks Lakehouse と Data Mesh、パート 1

これは 2 部構成シリーズの最初のブログです。この記事では、データメッシュの概念と、データメッシュを実装するために利用できる Databricks の機能を紹介します。2 番目のブログでは、さまざまなデータメッシュ オプションを検討し、Databricks Lakehouse に基づいたデータメッシュの実装の詳細を説明します。

データメッシュは、データ分析プラットフォームをスケーリングするための原則と論理アーキテクチャのセットを説明するパラダイムです。その目的は、アセットとしての大規模なデータからより多くの価値を引き出すことです。 「データメッシュ」というフレーズは、2019 年に Zhamak Dehghani によって導入され、彼女の 2020 年の記事 Data Mesh Principles and Logical Architecture で拡張されました。

データメッシュの論理アーキテクチャの中核となるのは 4 つの原則です。

1. ドメイン所有権: 分散型アーキテクチャを採用し、ドメインチーム（データプロデューサー）が、キャプチャからキュレーション、分析、再利用に至るまで、データライフサイクル全体を通じてデータの全責任を負います。
2. データプロダクトとしてのデータ: プロダクト管理の原則をデータ分析ライフサイクルに適用し、プロデューサーのドメイン内および外部のデータコンシューマーに高品質のデータが提供されるようにします。
3. セルフサービスインフラストラクチャプラットフォーム: データ分析ライフサイクルに対してドメインに依存しないアプローチを採用し、共通のツールと方法を使用して、相互運用可能なデータプロダクトを構築、実行、維持します。
4. フェデレーテッドガバナンス: 標準化を通じて、組織のルールと業界規制を遵守するデータエコシステムを確保します。

データプロダクトは、データメッシュにとって重要な概念です。これらは単なるデータセットではなく、プロダクトのように扱われるデータです。発見可能で、信頼性が高く、自己記述的で、アドレス可能で、相互運用可能である必要があります。データとメタデータに加えて、データプロダクトの作成と維持に必要なコード、ダッシュボード、フィーチャー、モデル、その他のリソースを含めることができます。

多くの顧客から、「Databricks Lakehouse でデータメッシュを作成できますか？」という質問があります。答えは「はい」です。世界中の Databricks の最大の顧客のいくつかは、Lakehouse を技術的基盤として使用してデータメッシュを採用しています。

Databricks Lakehouse は、データウェアハウスのパフォーマンスと機能を、最新のデータレイクの低コスト、柔軟性、スケーラビリティと組み合わせた、クラウドネイティブなデータ、分析、AI プラットフォームです。入門については、Lakehouse とはをお読みください。

Lakehouse は、データメッシュの原則につながったデータレイクに関する根本的な懸念に対処します。つまり、モノリシックなデータレイクは管理不能なデータスワンプになる可能性があるということです。Databricks Lakehouse はオープンアーキテクチャであり、データの整理と構造化の方法に柔軟性を提供すると同時に、すべてのデータおよび分析ワークロードにわたる統合管理インフラストラクチャを提供します。

Databricks Lakehouse プラットフォーム内のデータメッシュのドメイン概念にマッピングされる主な組織単位は、「ワークスペース」です。Databricks Lakehouse は 1 つ以上のワークスペースを持つことができ、各ワークスペースはローカルのデータ所有権とアクセス制御を可能にします。

各ワークスペースは 1 つ以上のドメインをカプセル化し、コラボレーションのホームとして機能し、ドメインが共通のセルフサービスドメイン非依存インフラストラクチャを使用してデータプロダクトを管理できるようにします。これには、Databricks Workflows などの組み込みサービスを使用した環境のプロビジョニングとデータパイプラインのオーケストレーションの自動化、および Databricks Terraform provider を使用したデプロイメント自動化が含まれます。 Unity Catalog は、Databricks を実行する組織のアカウントレベルで、集中サービスとしてフェデレーテッドガバナンス、検出、およびリネージを提供します。（図 1 左側）。

多くの組織では、ガバナンス境界を超えて外部パーティとデータを安全に共有する方法を検討する必要があります。これは、異なるクラウドプロバイダーおよびリージョンでホストされている内部ドメインにも適用される場合があります。Databricks Lakehouse は、Delta Sharing の形式でソリューションを提供します（図 1 右側）。Delta Sharing を使用すると、コンピューティングプラットフォームに関係なく、組織は外部パーティと安全にデータを共有できます。データは複製する必要がなく、アクセスは自動的に監査およびログに記録されます。

Delta Sharing は、より広範な外部データ共有アクティビティの基盤も提供します。これには、Databricks Marketplace のようなデータマーケットプレイスを介してデータを公開または取得すること、および Databricks プラットフォーム内で Databricks Cleanrooms として有効化された、組織的および技術的な境界を越えたデータでの安全なコラボレーションが含まれます。

Unity Catalog と Delta Sharing の組み合わせにより、Databricks Lakehouse プラットフォームは、組織が大規模なデータと分析を整理および管理する方法の選択において柔軟性を提供します。これには、複数のクラウドプロバイダー、異なる地理的リージョンにまたがるデプロイメント、および外部エンティティとデータアセットを共有する機能が必要なデプロイメントが含まれます。Databricks Lakehouse を使用すると、データはデータメッシュで整理できますが、完全に集中型から完全に分散型まで、あらゆる適切なアーキテクチャを使用して整理することもできます。

このブログ記事のパート 2 では、さまざまなデータメッシュ オプションを検討し、Databricks Lakehouse に基づいたデータメッシュの実装方法の詳細を説明します。

この記事で言及されている Databricks Lakehouse の機能の詳細については、以下をご覧ください。

• Lakehouse とは
• Databricks Lakehouse とは
• Databricks Unity Catalog の紹介
• Databricks Delta Sharing の紹介
• Databricks Clean Rooms の紹介
• Databricks Marketplace の紹介
• Databricks Terraform Provider

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事