モダンなレイクハウスでのデータモデリングのベストプラクティスと実装

多くのお客様が、レガシーなデータウェアハウスをDatabricks Lakehouseに移行しています。これにより、データウェアハウスのモダナイゼーションだけでなく、成熟したストリーミングおよび高度な分析プラットフォームへのアクセスも即座に可能になります。Lakehouseは、ストリーミング、ETL、BI、AIのすべてのニーズに対応する単一のプラットフォームであり、ビジネスチームとデータチームが1つのプラットフォームで共同作業できるようになります。

現場でお客様を支援する中で、Databricksでの適切なデータモデリングと物理データモデルの実装に関するベストプラクティスを求めている方が多いことに気づきました。

この記事では、Databricks Lakehouse Platformにおける次元モデリングのベストプラクティスについて詳しく掘り下げ、テーブル作成とDDLのベストプラクティスを使用した物理データモデルの実装例をライブで提供します。

この記事で取り上げる主なトピックは以下のとおりです。

1. データモデリングの重要性
2. 一般的なデータモデリング手法
3. データウェアハウスモデリングDDLの実装
4. Databricks Lakehouseでのデータモデリングのベストプラクティスと推奨事項

データウェアハウスにおけるデータモデリングの重要性

データモデルは、データウェアハウス構築の中心となります。通常、プロセスは、セマンティックビジネス情報モデル、次に論理データモデル、そして最後に物理データモデル（PDM）を定義することから始まります。すべては適切なシステム分析および設計フェーズから始まり、ビジネス情報モデルとプロセスフローが最初に作成され、組織内のビジネスプロセスに従って主要なビジネスエンティティ、属性、およびそれらの相互作用がキャプチャされます。次に、エンティティが互いにどのように関連しているかを示す論理データモデルが作成され、これはテクノロジーに依存しないモデルです。最後に、書き込みと読み取りを効率的に実行できるように、基盤となるテクノロジープラットフォームに基づいてPDMが作成されます。ご存知のとおり、データウェアハウジングでは、スター スキーマやデータ ボールトのような分析に適したモデリングスタイルが非常に人気があります。

Databricksでの物理データモデル作成のベストプラクティス

定義されたビジネス問題に基づいて、データモデル設計の目的は、再利用性、柔軟性、およびスケーラビリティのためにデータを簡単に表現することです。ここでは、各トランザクションを保持するファクトテーブルと、データをスライス・アンド・ダイスするための顧客、製品、店舗、日付などのさまざまなディメンションテーブルを示す典型的なスター スキーマ データモデルを示します。ディメンションをファクトテーブルに結合して、特定の月で最も人気のある製品は何か、または四半期で最もパフォーマンスの高い店舗はどこか、といったビジネス上の質問に答えることができます。Databricksでどのように実装するかを見てみましょう。

DatabricksでのデータウェアハウスモデリングDDLの実装

次のセクションでは、例を使用して以下を実証します。

• 3レベルのカタログ、データベース、テーブルの作成
• 主キー、外部キーの定義
• 代理キーのためのID列
• データ品質のための列制約
• インデックス、最適化、分析
• 高度なテクニック

1. Unity Catalog - 3レベルの名前空間

Unity CatalogはDatabricksガバナンスレイヤーであり、Databricks管理者とデータスチュワードが、1つのメタストアを使用してDatabricksアカウント全体のすべてのワークスペースでユーザーとそのデータへのアクセスを一元的に管理できます。異なるワークスペースのユーザーは、Unity Catalogで中央に付与された権限に応じて、同じデータへのアクセスを共有できます。Unity Catalogには、データを整理する3レベルの名前空間（catalog.schema(database).table）があります。Unity Catalogの詳細については、こちらをご覧ください。

データベース内にテーブルを作成する前に、カタログとスキーマを設定する方法を以下に示します。この例では、カタログUS_Storesとスキーマ（データベース）Sales_DWを作成し、セクションの後半で使用します。

カタログとデータベースの設定

ここでは、3レベルの名前空間を使用してfact_salesテーブルをクエリする例を示します。

2. 主キー、外部キーの定義

主キーと外部キーの定義は、データモデルを作成する上で非常に重要です。PK/FK定義をサポートする機能により、Databricksでのデータモデル定義が非常に簡単になります。また、アナリストがDatabricks SQL Warehouseで結合関係をすばやく把握するのに役立ち、効果的にクエリを記述できるようになります。他のほとんどのMassively Parallel Processing（MPP）、EDW、およびクラウドデータウェアハウスと同様に、PK/FK制約は情報提供のみを目的としています。DatabricksはPK/FK関係の強制をサポートしていませんが、セマンティックデータモデルの設計を容易にするために定義する機能を提供します。

ここでは、store_idをID列として作成し、同時に主キーとして定義するdim_storeテーブルを作成する例を示します。

主キー定義を持つストアディメンションを作成するためのDDL実装

テーブルが作成された後、主キー（store_id）がテーブル定義で制約として作成されていることがわかります。

ここでは、transaction_idを主キーとして、またディメンションテーブルを参照する外部キーとしてfact_salesテーブルを作成する例を示します。

外部キー定義を持つ販売ファクトを作成するためのDDL実装

ファクトテーブルが作成された後、主キー（transaction_id）と外部キーがテーブル定義で制約として作成されていることがわかります。

3. ID列による代理キー

ID列は、データベース内の列で、各新しいデータ行に一意のID番号を自動生成します。これらは、データウェアハウスで代理キーを作成するためによく使用されます。代理キーはシステム生成された意味のないキーであり、行の一意性を識別するためにさまざまな自然キーや複数のフィールドの連結に依存する必要がなくなります。通常、これらの代理キーはデータウェアハウスで主キーおよび外部キーとして使用されます。ID列の詳細については、こちらのブログで説明しています。以下は、自動的に値が1から始まり1ずつ増加するID列customer_idを作成する例です。

ID列を持つ顧客ディメンションを作成するためのDDL実装

4. データ品質のための列制約

主キー制約および外部キー制約に加えて、Databricksは列レベルのデータ品質チェック制約もサポートしており、テーブルに追加されるデータの品質と整合性を確保するために適用されます。これらの制約は自動的に検証されます。良い例としては、NOT NULL制約や列値制約があります。他のクラウドデータウェアハウスとは異なり、Databricksは列値チェック制約を提供しており、これは特定の列のデータ品質を確保するのに非常に役立ちます。以下でわかるように、valid_sales_amountチェック制約は、テーブルに追加される前に、すべての既存の行が制約（つまり、sales amount > 0）を満たしていることを検証します。詳細については、こちらをご覧ください。

store_idとsales_amountに有効な値があることを確認するために、それぞれdim_storeとfact_salesに制約を追加する例を以下に示します。

データ品質を確保するために既存のテーブルに列制約を追加

5. インデックス、最適化、および分析

従来のデータベースにはBツリーインデックスとビットマップインデックスがありますが、Databricksには、より高度な形式のインデックスである多次元Zオーダークラスタリングインデックスがあり、ブルームフィルターインデックスもサポートしています。まず、Deltaファイル形式はParquetファイル形式を使用しており、これは列指向の圧縮ファイル形式であるため、列プルーニングにすでに非常に効率的です。その上にZオーダーインデックスを使用すると、ペタバイト規模のデータを数秒でふるいにかけることができます。Zオーダーとブルームフィルターインデックスの両方により、大規模なDeltaテーブルに対する非常に選択的なクエリに応答するためにスキャンする必要のあるデータ量が劇的に削減され、通常は実行時間の桁違いの改善とコスト削減につながります。最も頻繁に使用される結合に使用される主キーと外部キーにZオーダーを使用してください。必要に応じて、追加のブルームフィルターインデックスを使用してください。

パフォーマンス向上のためにcustomer_idとproduct_idでfact_salesを最適化

指定された列でのデータスキッピングを有効にするためにブルームフィルターインデックスを作成

他のすべてのデータウェアハウスと同様に、クエリオプティマイザーが最適なクエリプランを作成するために最適な統計情報を持っていることを確認するために、統計情報を更新するためにANALYZE TABLEを実行できます。

クエリ実行プランのパフォーマンス向上のためにすべての列の統計情報を収集

6. 高度なテクニック

Databricksはテーブルパーティショニングのような高度なテクニックをサポートしていますが、これはテラバイト単位の圧縮データがある場合にのみ、控えめに使用してください。ほとんどの場合、OPTIMIZEとZ-ORDERインデックスにより、最適なファイルとデータプルーニングが得られるため、日付または月ごとのテーブルパーティショニングはほぼ悪いプラクティスとなります。ただし、テーブルDDLが自動最適化と自動コンパクション用に設定されていることを確認することは良いプラクティスです。これにより、小さなファイルに頻繁に書き込まれるデータが、Deltaのより大きな列指向の圧縮形式に圧縮されます。

ビジュアルデータモデリングツールを活用したいですか？当社のパートナーであるQuestのerwin Data Modelerは、数回クリックするだけで、Databricksでスター スキーマ、データ ボルト、および業界のデータ モデルをリバースエンジニアリング、作成、および実装するために使用できます。

Databricks Notebookの例

Databricksプラットフォームを使用すると、さまざまなデータモデルを簡単に設計および実装できます。上記のすべての例を完全なワークフローで確認するには、この例を参照してください。

また、関連ブログ記事「Delta Lakeを使用したDatabricksでのスター スキーマ実装のための5つの簡単なステップ」もご覧ください。

レイクハウスでのディメンショナルモデル構築を始めましょう

Databricksを14日間無料でお試しください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事