Summary
- ブロンズレイヤーは、ソースシステムから生データをそのまま取り込み、完全な忠実性と履歴を保持します。スキーマの進化をサポートし、規制コンプライアンスとデータリネージの追跡のための不変の監査証跡として機能します。
- シルバーレイヤーは、データ品質チェック、重複排除、標準化、エンリッチメントを適用し、ビジネスルールに照らして検証されたクリーンなデータセットを作成します。変更データキャプチャを使用した増分処理により効率化を図ります。
- ゴールドレイヤーは、特定の分析ユースケース、ダッシュボード、MLトレーニング、そして保証されたSLAに基づくエンドユーザークエリへの対応に最適化された、ビジネスレベルの集計、スタースキーマモデル、特徴テーブルを生成します。
メダリオンアーキテクチャとは
メダリオンアーキテクチャとは、レイクハウスのデータを論理的に整理するために用いられるデータ設計を意味します。データがアーキテクチャの 3 つのレイヤー（ブロンズ → シルバー → ゴールドのテーブル）を流れる際に、データの構造と品質を増分的かつ漸次的に向上させることを目的としています。メダリオンアーキテクチャは、「マルチホップ」アーキテクチャとも呼ばれます。
メダリオンアーキテクチャによるデータパイプラインの構築
Databricks は、ユーザーがわずか数行のコードからブロンズ、シルバー、ゴールドのテーブルでデータパイプラインを即座に構築できる Delta Live Tables（DLT）などのツールを提供しています。また、ストリーミングテーブルとマテリアライズドビューを使用して、ApacheSpark Structured Streaming 上に構築されたストリーミング DLT パイプラインを作成し、インクリメンタルにリフレッシュ・更新できます。詳しくは、Databricks ドキュメントを参照してください。ストリーミングテーブルとマテリアライズドビューを単一のパイプラインで組み合わせる方法について解説しています。
ブロンズレイヤー（未加工データ）
ブロンズレイヤー (Bronze Layer)では、外部 ソースシステムからのあらゆるデータを格納します。ブロンズレイヤーのテーブル構造は、ロード日時、プロセス ID などの付加的な行のメタデータに加えて、ソースシステムの「そのまま」のテーブル構造に対応します。このレイヤーは、変更データの迅速な取得、ソースの履歴アーカイブ（コールドストレージ）、データリネージ、監査性の機能を備えており、ソースシステムからデータの再読み込みなしで、必要に応じた再処理を行います。
シルバーレイヤー（クレンジング・適合済みデータ）
レイクハウスのシルバーレイヤー (Silver Layer)では、ブロンズレイヤーのデータをマッチング、マージ、フィルタリング、クレンジング（適度なレベル）し、あらゆる主要なビジネスエンティティ、コンセプト、トランザクションの「エンタープライズビュー」を提供します。（顧客マスターテーブル、店舗マスターテーブル、重複を排除したトランザクションテーブル、相互参照テーブルなど）
シルバーレイヤーでは、異なるソースからのデータをエンタープライズビューに取り込み、アドホックレポート、高度な分析、機械学習などのセルフサービス分析を可能にします。シルバーレイヤーのデータは、アナリスト、データエンジニア、データサイエンティストによるプロジェクトや分析のソースとなり、ゴールドレイヤーの企業や部門のデータプロジェクトにおいて、ビジネス上の課題の解決を支援します。
レイクハウスのデータエンジニアリングでは、一般的に、ETL ではなく ELT 処理が行われます。これは、シルバーレイヤーにデータがロードされる際に、最小限、あるいは「 適度な」変換およびデータクレンジングルールのみが適用されることを意味します。データレイクでのデータの取り込みや供給における迅速性と俊敏性が優先され、シルバーレイヤーからゴールドレイヤーにデータがロードされる際には、プロジェクト特有の複雑な変換やビジネスルールが多く適用されます。データモデリングに関しては、シルバーレイヤーは第 3 正規形に近いデータモデルを備えています。このレイヤーでは、Data Vault のような書き込み可能なデータモデルを使用できます。
ゴールドレイヤー（ビジネスレベルのキュレート済みテーブル）
レイクハウスのゴールドレイヤー (Gold Layer)にあるデータは、通常、消費可能な「プロジェクト専用」データベースに整理されています。ゴールドレイヤーはレポート作成に適しています。結合が少なく、より非正規化され、読み取りが最適化されたデータモデルを使用しています。データ変換とデータ品質ルールの最終レイヤーです。顧客分析、製品品質分析、インベントリ分析、顧客セグメンテーション、商品推薦、マーキング／販売分析などのプロジェクトにおける最終プレゼンテーションレイヤーです。多くのキンボール式スタースキーマベースのデータモデル、またはインモン式データマートは、レイクハウスのこのゴールドレイヤーに適合します。
このように、データはレイクハウスの異なるレイヤーを移動する際に、キュレートされます。従来の RDBMS テクノロジースタックのデータマートや EDW をレイクハウスに取り込み、企業における初の「汎 EDW」の高度な分析や機械学習を可能にするケースもあります。従来のスタックでは不可能、あるいはコストがかかりすぎるため、実現されていなかったことです。（IoT／製造業データと営業・マーケティングデータを連携させ、欠陥分析やヘルスケアゲノミクス解析を行う、EMR/HL7 臨床データ市場と金融債権データの連携によりヘルスケアデータレイクを構築してタイムリーな患者ケアの分析や改善を行うなど）。
エンタープライズ向けエージェントAIプレイブック
レイクハウス (Lakehouse)アーキテクチャのメリット
- シンプルなデータモデル
- わかりやすく、導入が容易
- 増分 ETL が可能
- 未加工データからのテーブル再作成がいつでも可能
- ACID トランザクション、タイムトラベル
レイクハウスとは
レイクハウスは、データレイクとデータウェアハウスの優れた要素を取り入れたデータプラットフォームアーキテクチャです。モダンレイクハウスは、拡張性と性能に優れた データプラットフォームです。未加工データと準備済みデータの両方をホストし、ビジネスにおける迅速な消費、高度な知見や意思決定を促進します。データサイロを解消し、企業全体の認証されたユーザーによる、単一プラットフォームでのシームレスかつセキュアなデータアクセスを可能にします。
メダリオンアーキテクチャとデータメッシュ
メダリオンアーキテクチャは、データメッシュのコンセプトと互換性があります。ブロンズとシルバーのテーブルは「1 対多」方式で結合できるため、1 つのアップストリームテーブルのデータを使用して、複数のダウンストリームテーブルを生成できます。
FAQ
1. メダリオンアーキテクチャの3つのデータレイヤーの役割は何ですか？
ブロンズレイヤーは外部ソースからのすべての原始データを保存します。シルバーレイヤーではデータをクレンジングして重要なビジネスエンティティに統合し、ゴールドレイヤーはビジネス分析用の精練されたデータを提供します。
2. メダリオンアーキテクチャを使用する主な利点は何ですか？
このアーキテクチャは、データの品質と構造を段階的に向上させるよう設計されており、各レイヤーを通じてデータの管理と分析の効率を最大化します。また、データの履歴管理と再処理が容易です。
3. Databricksはメダリオンアーキテクチャをどのようにサポートしていますか？
DatabricksはDelta Live Tables（DLT）などのツールを提供し、数行のコードでデータパイプラインを構築できるようサポートしています。