データメッシュとは何ですか?

データは企業にとって不可欠であり、技術革新と進歩の原材料となります。その重要性は、組織がよりデータ中心、意思決定中心になるにつれて高まっており、それに対応しようとする組織にとって大きな課題となっています。レガシーデータレイク (Data Lake)とデータウェアハウスがサイロ化し、データの可視性が低下し、データ処理が遅く複雑になることで、この問題を引き起こしています。 このような障壁やボトルネックはコラボレーションを妨げ、貴重なデータリソースが活用されないままになってしまいます。企業がデータを最大限に活用するためには、新しいデータアーキテクチャが必要です。データメッシュは、この問題を解決できる最新のデータアーキテクチャです。

データメッシュ(Data Mesh)とはなんですか？

データメッシュは、データを大規模に管理し、そのデータからより多くの価値を引き出すための組織のデータアーキテクチャです。

分散化はデータメッシュの鍵です。データは、組織全体のために1つのチームによって一元的に管理されるのではなく、複数のビジネスドメインによって独立して所有・管理されます。

ドメイン・データ・マネージャーは、高品質のデータ製品を提供し、データを保護する責任があります。彼らは、組織全体のデータではなく、自分のドメインのビジネスデータのみを担当するため、強力なデータガバナンスを維持しながら、より適切なデータをより迅速かつ効率的に提供することができます。

データメッシュの原則は、ビジネスの自律性とグローバルな相互運用性のバランスをとることです。このアーキテクチャは、中央集権的なチームへの依存を減らし、データのサイロ化を回避すると同時に、組織のビジネス価値を生み出すデータ製品を共創・共有するためのチームの共同作業環境を促進します。

データ・メッシュ・アーキテクチャの原則

4つの原則は、論理的なデータメッシュアーキテクチャの基盤となります：

1. ドメインの所有権：データメッシュは、ドメインチームがデータのライフサイクルを通じて全責任と自律性を保持する分散アーキテクチャを採用しています。これらのドメインチームは、営業や経理など、組織内のさまざまな部門や機能で構成され、それぞれが独自のデータを作成します。ドメイン・オーナーシップは、データがそのデータに最も精通しているユーザーによって所有されることを保証します。
2. 製品としてのデータ：データは製品として扱われ、組織内のチームや部門は顧客として扱われます。組織は、データ分析のライフサイクルに製品管理の原則を適用し、質の高いデータがデータ利用者に提供されるようにします。 データ製品は、発見可能で、信頼でき、自己記述可能で、アドレス可能で、相互運用可能である必要があります。データやメタデータだけでなく、コード、ダッシュボード、機能、モデルなど、データ製品の作成と保守に必要な資産も含まれます。
3. セルフサービス基盤プラットフォーム：ドメインチームが各自のデータ製品を管理する一方で、組織は調和のとれた自動化されたプラットフォームを使用して、相互運用可能なデータ製品を構築、実行、維持します。セルフサービス・プラットフォームの枠組みの中で標準ツールを提供することで、データメッシュアーキテクチャのスケーラビリティを実現します。
4. 統合ガバナンス：この原則は、ドメイン間で中央の一貫したデータガバナンスを保証します。コンプライアンスは、データカタログ、データガバナンスツール、自動化されたポリシー実施によって追跡され、一元管理されます。これにより、組織のルールや業界の規制を遵守したデータエコシステムが保証されます。

データメッシュの利点

従来、組織では中央集権的なデータチームが、データの保存、フォーマット、処理、分析など、ビジネス全体のデータを管理していました。これは一貫したデータマネジメントとガバナンスを保証するものですが、同時にボトルネックにもなります。 チームは、データの意思決定を加速させるサイロを不注意に作ることで、この集中化から逃れることがよくあります。しかし、データ利用者が適切で正確なデータをタイムリーに入手することもできません。さらに、中央集権的なデータチームやAIチームは、ドメインデータセットのユニークなコンテキストに対する理解が限られていることが多く、有意義なデータ製品の機会を逃してしまいます。

データの量と価値が増大し続ける中、中央集権的なデータチームやAIチームは需要に追いつけないことがよくあります。その結果、チームが圧倒され、ビジネスユーザーが必要なデータにアクセスして使用することができなくなり、組織がデータの価値を十分に発揮できなくなります。

データ・メッシュでは、データ・マネジメントは分散化され、データを理解する専門家の手に委ねられます。 その結果、いくつかのメリットが生まれます：

• スピードとシンプルさ：ユーザーは、リクエスト、変更、承認をドメイン管理者に直接連絡することで、適切なデータに迅速にアクセスできます。
• 高品質のデータ製品：ドメイン・データ・マネージャーは、ビジネス・ユーザーに価値をもたらす、より適切で高品質な製品を作成します。
• 発見の向上：管理とアクセスは分散化されていますが、すべてのデータは一元的に記録・管理されるため、サイロ化を防ぎ、データを見つけやすくなります。
• コストとパフォーマンスの効率化：分散データアーキテクチャは、リアルタイムデータストリーミングの採用を促進し、リソース割り当てとストレージの可視性を向上させます。
• ガバナンスの強化：統合されたセキュリティおよびコンプライアンスポリシーは、ドメイン内だけでなくドメイン間でも実施されます。モニタリングと監査は一元化され、一貫した遵守が保証されます。

データメッシュの構成要素

データメッシュを作成するためには、組織は以下のような特定の要素を備えている必要があります：

• データ・プロダクト契約のグローバルな青写真、データ・ディスカバリーのためのパブリッシング・プラットフォーム、一元化されたガバナンス・プロセスと権限など、共通の基準とプロセスを設定し、ユーザーにセルフ・サービス体験を提供する包括的なデータ・プロダクト戦略。
• すべてのデータが存在し、あらゆる種類のアナリティクス・ワークロードに対応できる、調和されたプラットフォーム、例えばdata intelligence platform 。
• 異なるデータペルソナ間のコラボレーションを保証し、データ品質を提供し、すべてのデータとAIワークロードの相互運用性と生産性を促進する柔軟なプラットフォームです。
• アクセスコントロールとデータカタログを中心とした一元管理されたデータガバナンスサービスにより、クロスドメインコラボレーションとセルフサービス・アナリティクスを促進します。
• ドメイン間のシームレスなデータ共有を可能にする連携共有レイヤ。
• 多くの組織では、データを外部と安全に共有する方法を検討する必要もあります。

データメッシュの採用Databricks Data Intelligence Platform

Databricks Data Intelligence Platformは、企業がデータ・メッシュ・アーキテクチャを採用し、データ・マネジメント・アプローチを近代化するための技術的基盤を提供します。 Databricks クラウドネイティブ データ分析および プラットフォームは、AI データウェアハウスのパフォーマンスと機能と、最新のデータレイクが持つ低コストの柔軟性と拡張性を兼ね備えています。そのオープン・アーキテクチャは、データの編成と構造化の方法に柔軟性を提供すると同時に、データとアナリティクスのワークロード全体で統一された管理インフラを提供します。

Databricks Platform は、ドメイン中心のデータメッシュをサポートするワークスペースと呼ばれるユニットに編成されています。 Databricksは複数のワークスペースをサポートしており、それぞれが1つ以上のドメインに対応しています。それぞれが地元で経営され、コラボレーションの本拠地として機能しています。ワークスペース内で、ドメインは組織全体のセルフサービス・インフラストラクチャを使用してデータ製品を管理できます。

Databricks は、ライフサイクル全体にわたるデータマネジメントと処理のためのツールを提供します。 Batch、ストリーミングデータ処理の両方が可能で、ユーザーはより効率的にデータ製品を作成、管理することができます。 また、テーブルの保存形式を統一することで、データ保存とメタデータ管理の統一的なアプローチを維持しながら、各ドメインが好みの形式を使用できるようになります。

DatabricksのUnity Catalogは、データとAIのための業界唯一の統一されたオープンなデータガバナンスソリューションであり、データメッシュには欠かせません。Unity Catalogは、ワークスペース全体のガバナンス、セキュリティ、ユーザー管理、メタデータを統合することで、一元管理を可能にします。きめ細かなアクセス制御や監査ロギングの実施だけでなく、発見可能性やリネージなどのデータカタログ機能を提供します。セキュリティとアクセス制御の管理は一度だけなので、データガバナンスが簡素化されます。Unity Catalogは、データをカタログに整理し、データ製品のドメイン固有の管理を可能にします。

Databricks また、エンタープライズグレードの相互運用性 を提供し、社内外のドメイン間のコラボレーションをサポートします。Data SharingのDelta Sharingは、コンピューティングプラットフォームやクラウドの地域に関係なく、ゼロコピーでデータを安全に共有することを可能にします。Delta Sharing は、データマーケットプレイスを介したデータの公開や取得など、幅広い外部 活動の基盤を提供します。

Databricks は Unity CatalogとDelta Sharing により、データとアナリティクスを大規模に整理、管理する柔軟性を提供します。データはデータメッシュまたはマルチtenant アーキテクチャで編成することができ、集中型と分散型の両方のデータマネジメント ソリューションをサポートします。

データメッシュアーキテクチャは、企業がデータにアプローチし、その価値を最大限に活用するための新しい方法を提供します。Databricks は、相互運用性、コスト効率、ガバナンス、シンプルさを保証し、このビジョンを実現するためのオープンでスケーラブルな基盤を提供します。

FAQ

1. データメッシュの主なメリットは何ですか？
主なメリットは、迅速なデータアクセス、高品質なデータ製品、データ発見性の向上、コスト効率化、強化されたデータガバナンスなどです。

2. データメッシュと従来のデータ管理の最も大きな違いは何ですか？
中央集権型から分散型へとデータ管理の責任をシフトさせる点で、各ドメインが自律的にデータを管理し製品化することが最大の違いです。

3. データメッシュを採用すると、データの品質やガバナンスが低下しないか？
データメッシュでは統一されたデータガバナンス基盤があり、ドメインごとの専門家が責任を持つため、品質やガバナンスは向上します。