Databricks レイクハウスプラットフォームでデータボルトモデルを実装するためのガイド

分析システムの設計には、業界固有のドメインモデル、キンボール、インモン、データボールトの方法論など、さまざまなデータモデルを使用できます。独自の要件に応じて、レイクハウスを設計する際に、これらのさまざまなモデリング手法を使用できます。それぞれに長所があり、さまざまなユースケースでうまく適合します。

最終的に、データモデルは、1対1、1対多、多対多の関係が定義されたさまざまなテーブルを定義する構造にすぎません。データプラットフォームは、情報検索を容易にし、パフォーマンスを向上させるために、データモデルを物理化するためのベストプラクティスを提供する必要があります。

以前の記事では、DatabricksとDelta Lakeでスタースキーマを実装するための5つの簡単なステップについて解説しました。この記事では、Data Vaultとは何か、Bronze/Silver/ゴールドレイヤー内にそれを実装する方法、そしてDatabricks Lakehouse PlatformでData Vaultの最高のパフォーマンスを引き出す方法について説明します。

データボールトモデリングの定義

データボールト モデリングの目標は、急速に変化するビジネス要件に適応し、設計によってデータウェアハウスのより迅速でアジャイルな開発をサポートすることです。データボールトは、ハブ、リンク、サテライト設計によってデータモデルが容易に拡張可能で粒度も高いため、設計やETLの変更を簡単に実装でき、レイクハウスの方法論によく適合します。

データヴォールトのいくつかの構成要素を理解しましょう。一般的に、データヴォールトモデルには3種類のエンティティがあります。

• ハブ — ハブは、顧客、製品、注文などの中核的なビジネス エンティティを表します。アナリストは、ナチュラル キー/ビジネス キーを使用してハブに関する情報を取得します。ハブテーブルの主キーは通常、ビジネスコンセプト ID、ロード日、およびその他のメタデータ情報の組み合わせによって導出されます。
• リンク：リンクは、ハブ間のリレーションシップを表します。結合キーのみが含まれています。次元モデルのファクトレス ファクト テーブルのようなものです。属性なし - 結合キーのみ。
• サテライト — サテライトテーブルは、ハブまたはLink内のエンティティの属性を持ちます。これらは、コアビジネスエンティティに関する記述的な情報を持っています。それらは、正規化されたディメンションテーブルに似ています。例えば、顧客ハブは、顧客の地理的属性、顧客のクレジットスコア、顧客のロイヤルティ階層など、多くのサテライトテーブルを持つことができます。

Data Vault手法を使用する主な利点の1つは、データモデルが変更されたときに、既存のETLジョブのリファクタリングが大幅に少なくて済むことです。Data Vaultは、"書き込みに最適化された"モデリングスタイルであり、アジャイル開発アプローチをサポートし、データレイクやlakehouseのアプローチに非常に適しています。

レイクハウスにおけるデータヴォールトの位置づけ

一部の顧客が、Databricks Lakehouseアーキテクチャでデータボールトモデリングをどのように活用しているかを見ていきましょう。

Databricksレイクハウスでデータヴォールトモデルを実装する際の考慮事項

• データボールトモデリングでは、主キーとしてビジネスキーのハッシュを使用することを推奨しています。Databricks は、ビジネスキーをサポートするために、標準で hash、md5、SHA 関数をサポートしています。
• データボールトのレイヤーには、ランディングゾーン（場合によってはステージングゾーンも）という概念があります。これらの物理レイヤーはどちらも、データレイクハウスのブロンズレイヤーに自然に適合します。Avro、CSV、parquet、XML、JSON 形式などのデータがランディング ゾーンに到着すると、ステージング ゾーンで Delta 形式のテーブルに変換され、後続の ETL で高いパフォーマンスを発揮できるようになります。
• ローヴォールトは、ランディングゾーンまたはステージングゾーンから作成されます。Raw Data Vaultでは、データはハブ、リンク、サテライトの各テーブルとしてモデル化されます。生データヴォールトをロードする際には、通常、追加の「ビジネス」ETLルールは適用されません。
• すべてのETLビジネスルール、データ品質ルール、クレンジングルール、適合ルールは、RawとBusiness Vaultの間で適用されます。Business Vault テーブルは、標準化されクレンジングされたデータのエンタープライズ "中央リポジトリ" として機能するデータ ドメイン別に整理できます。データスチュワードと SME は、Business Vault の担当領域に関するガバナンス、データ品質、ビジネスルールを管理します。
• Point-in-Time（PIT）テーブルやブリッジテーブルなどのクエリーヘルパー テーブルは、ビジネス ボールト上のプレゼンテーション レイヤー用に作成されます。PITテーブルは、一部のサテライトとハブが事前に結合され、"point in time" フィルタリングで一部のWHERE条件が提供されるため、クエリーのパフォーマンスを向上させます。ブリッジテーブルは、ハブまたはエンティティを事前結合して、エンティティ用にフラット化された「ディメンション テーブル」のようなビューを提供します。Delta Live Tablesはマテリアライズドビューとまったく同じであり、Business Data Vault上のゴールド/プレゼンテーションレイヤーでポイントインタイムテーブルやブリッジテーブルを作成するために使用できます。
• ビジネスプロセスが変化し適応するにつれて、Data Vaultモデルは、ディメンショナルモデルのような大規模なリファクタリングをすることなく、簡単に拡張できます。追加のハブ（サブジェクトエリア）はリンク（純粋な結合テーブル）に簡単に追加でき、追加のサテライト（例：顧客セグメンテーション）は、最小限の変更でハブ（顧客）に追加できます。
• また、以下の理由から、ゴールドレイヤーへのディメンショナルモデル データウェアハウスのロードも容易になります。
  • ハブはキー管理を容易にします（ハブの自然キーは、Identity列を介して代理キーに変換できます）。
  • サテライトはすべての属性を含んでいるため、ディメンションの読み込みが容易になります。
  • Linkにはすべてのリレーションシップが含まれているため、ファクトテーブルのロードが非常に簡単になります。

Databricksレイクハウスのデータヴォールトモデルで最高のパフォーマンスを得るためのヒント

• Raw Vault、Business Vault、ゴールドレイヤーのテーブルには、Delta 形式のテーブルを使用してください。
• ハブ、リンク、サテライトのすべての結合キーで、OPTIMIZEとZ-orderインデックスを必ず使用してください。
• テーブル、特に小さいサテライトテーブルを過度にパーティション分割しないでください。最高のパフォーマンスを確保するために、特にZオーダーとは別に追加のインデックスを作成する必要がある場合は、通常フィルタリングされる日付列、現在のフラグ列、述語列でブルームフィルターインデックスを使用してください。
• Delta Live Tables（マテリアライズドビュー）は、PITテーブルの作成と管理を非常に簡単にします。
• optimize.maxFileSizeを、デフォルトの1GBに対し32～64MBなど、より小さい数値に減らしてください。より小さなファイルを作成することで、ファイルプルーニングの恩恵を受け、結合に必要なデータを取得する I/O を最小限に抑えることができます。
• データヴォールトモデルは結合が比較的多いため、最新のDBRバージョンを使用してください。アダプティブクエリー実行がデフォルトで有効になり、最適な結合戦略が自動的に使用されるようになります。必要な場合にのみ結合ヒントを使用してください。（高度なパフォーマンスチューニング向け）

データヴォールト モデリングの詳細については、Data Vault Alliance を参照してください。

レイクハウスでデータヴォールトの構築を始めましょう

Databricks 
14 日間無料トライアル

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事