Databricks Lakehouse PlatformでMatillionを使用して、緩やかに変化するデータウェアハウスのディメンションタイプ2をロードする

 

レガシーのエンタープライズデータウェアハウスや古い ETL プラットフォームを最新化するお客様が増えるにつれて、Databricks Lakehouse Platform と GUI ベースの ETL ツールである Matillion を使用して、最新のクラウドデータスタックを採用しようとしています。Matillion のローコードのビジュアル ELT プラットフォームを使用すると、誰でもあらゆるソースから Databricks SQL Warehouse にデータを統合できるため、分析と AI のデータ準備が迅速になります。

このブログでは、Matillion を使用して、緩やかに変化するディメンション (SCD) Type 2 を Databricks Lakehouse Platform にロードする ETL パイプラインを作成する方法を紹介します。Matillion は、プッシュダウン ETL/ELT 機能を備えた最新のブラウザーベースの UI を備えています。Databricks SQL ウェアハウスまたはクラスターを Matillion と簡単に統合できます。Databricks を使用して Matillion に接続する方法については、Partner Connect を使用するのが最も簡単な方法です。これにより、既存の SQL ウェアハウスまたはクラスターを Databricks ワークスペースから Matillion に接続するプロセスが簡素化されます。詳細な手順はこちらをご覧ください。

緩やかに変化するディメンション (SCD) Type 2 とは?

SCD Type 2 は、データウェアハウス/モデリングアーキテクチャ全体で使用されるディメンションテーブルで履歴を保持するための一般的な手法です。非アクティブな行には、ACTIVE_RECORD 列が「F」に設定されているか、開始日と終了日などのブール値フラグがあります。すべてのアクティブな行は、終了日が null であるか、ACTIVE_RECORD が「F」と等しくないクエリを返すことによって表示されます。

Databricks 上の Delta Lake 向け Matillion ETL は、Type 2 の緩やかに変化するディメンションを管理するために、2 段階のアプローチを使用します。この 2 段階のアプローチでは、まず、受信レコードの変更を特定し、一時テーブルまたはビューでフラグを設定します。すべての受信レコードにフラグが設定されると、ターゲットディメンションテーブルでアクションを実行して更新を完了できます。

次に、Matillion を使用して SCD Type 2 変換を実装する方法を詳しく見てみましょう。ターゲットは Delta Lake テーブルであり、使用される基盤となるコンピューティングオプションは Databricks SQL Warehouse です。

ステップ 1: ディメンションの変更をステージングする

以下のステップ 1 を見ると、ETL パイプラインは既存の Delta Lake ディメンションテーブルからデータを読み取り、最新またはアクティブなレコードのみを識別します (これは一番下のデータフローです)。同時に、すべての新しいデータを読み取り、変更検出プロセスを中断しないように、目的の主キーが一意であることを確認します (これは一番上のデータフローです)。次に、これら 2 つのパスが収束して、変更検出コンポーネントになります。

Matillion ETL 内では、変更検出コンポーネントは、変更されたレコードの更新と挿入を決定するための中央メカニズムです。受信データセットをターゲットデータセットと比較し、コンポーネント内で構成された比較列のリストを使用して、レコードが同一、変更済み、新規、または削除済みであるかどうかを判断します。新しいデータセットの各レコードが評価され、変更検出コンポーネントの出力でインジケーターフィールドが割り当てられます。「I」は同一、「C」は変更済み、「N」は新規、「D」は削除済みです。

この 2 段階のアプローチのステップ 1 の最後のアクションは、各新しいレコードを一時的なディメンション Delta Lake テーブルに書き込む前に、各レコードにロード日を追加することです。これはステップ 2 の入力になります。

ステップ 2: ディメンションの変更を確定する

ステップ 2 に進むと、まず、レイクハウス内の中間または一時的なディメンションテーブルを読み取ります。変更検出コンポーネントから派生したインジケーターフィールドを使用し、単純なフィルターコンポーネントを使用して 3 つの個別のパスを作成します。同一のレコード (「I」で識別) については、変更は不要なため、何も行いません。したがって、これらのレコードはフィルター処理されます。このブログの説明を明確にするために、このパスを残しました。ただし、これらのレコードで何か特定のことを行う必要がない限り、実際には不要です。

次のパスは、新規または変更されたレコードの場合、識別された新規または変更されたレコードごとに 1 つの新しい現在のレコードを生成します。フィルターコンポーネントは、変更検出コンポーネントによって識別された「N」(新規) または「C」(変更済み) のレコードのみを処理します。名前変更コンポーネントは、新しいレコードのフィールド (compare_ プレフィックスで識別) から、Delta Lake ターゲットディメンションテーブルで定義されている実際の列名に変更されたデータをマップする列マッパーとして機能します。最後に、「新しいフィールド」コンポーネントは、アクティブなレコードの有効期限タイムスタンプを「無限」に設定するように構成された計算機コンポーネントであり、それらを最新のレコードとして識別します。

最後のパスは、変更または削除されたとして識別された既存のレコードを閉じるか、期限切れにすることです。SCD2 では、変更は新しいレコードとして追加される (上記の新規または変更されたパスで説明) ため、以前の各レコードを期限切れまたは非アクティブとしてマークする必要があります。同様に、削除されたレコードには有効期限が必要であるため、アクティブとして識別されなくなります。ここでは、変更または削除されたパスは、有効期限切れにするレコードを一意に識別する適切な列をマッピングすることにより、「C」(変更済み) または「D」(削除済み) ごとに処理します。識別されると、有効期限が現在のタイムスタンプに設定され、更新が Delta Lake ターゲットディメンションテーブル内で行われます。

まとめ

Matillion のローコード/ノーコードのデータ統合を使用して、Databricks Lakehouse プラットフォームで緩やかに変化するディメンションを実装する方法を紹介しました。これは、クラウドでデータエンジニアリング、データサイエンス、および機械学習パイプラインを実装および維持するために、Matillion のような GUI ベースの ETL ツールを好むすべての組織にとって優れたオプションです。これにより、Databricks 上の Delta Lake の能力が真に解放され、データの生産性が向上し、クラウドデータ分析を強化するためのパフォーマンス、速度、およびスケーラビリティが提供されます。

Matillion と Databricks の統合について詳しく知りたい場合は、詳細なドキュメントをこちらで確認してください。

Databricks を 14 日間無料でお試しください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事