通信、メディア、エンターテイメント向けレイクハウス ビジネスデータモデル

Databricks Lakehouse ビジネスデータモデル

Databricksレイクハウスの分析基盤としてUnity Catalogに直接デプロイされる、業界ごとに1つずつ、40種類の本番環境対応のSilver層ビジネスデータモデルのライブラリです。

各モデルは、初日から完全で、統制され、内部的に一貫しています。すべてのドメイン、テーブル、カラム、外部キー、分類タグ、メトリックビューはすでに定義されています。一般的な業界テンプレートは、セクター内のすべてのビジネスを平均化するため、顧客には数ヶ月にわたる調整作業が残されます。Lakehouseビジネスデータモデルは、その業界の単一の組織のように形成されており、実際に使用されている用語と部門を備えています。

すべてのモデルは、MVM (Minimum Viable Model) と ECM (Expanded Coverage Model) の2つのスコープで提供され、3つのUnity Catalogレイアウト (カタログ化スタイル) をサポートし、同じ完全なアーティファクトバンドルを含んでいます。

位置付け

Lakehouseビジネスデータモデルは、Silver層です。Bronzeは生データの取り込み (Lakeflow、Auto Loader) を処理します。Silverは、すべてのアナリスト、BIツール、MLワークロードが読み取る、適合化され正規化された分析モデルです。Goldは、Silverの上に計算されたインサイト (KPIテーブル、特徴量テーブル、集計) から導出されます。

各モデルに含まれるもの

各モデルは完全なバンドルとして公開されます。

`model.json` は、すべてのドメイン、サブドメイン、製品、属性、外部キー、分類タグ、およびメトリックビューの定義をキャプチャする論理モデルです。これは通貨単位です。gitにチェックインし、バージョン間で差分を取り、環境間で共有できます。

スキーマ、Deltaテーブル、主キー制約、外部キー制約 (情報提供用)、および分類タグのUnity Catalogデプロイ。正確なカタログ名とスキーマ名は、インストール時に選択されたカタログ化スタイルによって異なります。

メトリックビューは、物理テーブルの上にインストールされた再利用可能なKPI定義であり、AI/BIダッシュボードおよびAI/BI Genieですぐに使用できます。

RDFSナレッジグラフ (ontology/) は、セマンティックツール統合およびAIエージェントのグラウンディングのためのセマンティックグラフとして同じモデルを表現します。

DBML図 (diagram/) は、dbdiagram.ioまたはDBML互換ビューアでの視覚的探索のためのものです。

SQL DDL (schemas/) は、デプロイ全体のためのもので、スキーマごとに整理されています。

ExcelおよびMarkdownドキュメントは、モデルと同時に生成されました。

オプションの合成サンプルデータ。プールベースの行は、すべての外部キー、正規表現制約、および分類タグを尊重します。

階層

すべてのモデルは同じ階層に従います。組織はビジネス全体です。これには、オペレーション (ビジネスが物理的に行うこと)、ビジネス (誰にサービスを提供し、どのように収益を上げるか)、およびコーポレート (サポートするバックオフィス) の3つの部門が含まれます。各部門には、1つ以上のドメイン (1語、小文字、単数形の境界付けられたコンテキスト) が含まれます。各ドメインには、2つ以上のサブドメイン (2語のセマンティックグループ) が含まれます。各サブドメインには製品 (Deltaテーブル) が含まれます。各製品には属性 (カラム) が含まれ、データ型と分類タグが事前に割り当てられています。

オペレーションとビジネスを合わせたドメインは常に80%以上を占め、コーポレートは20%に制限されます。この比率により、すべてのモデルは、管理バックオフィスではなく、実際にビジネスを運営するものに焦点を当て続けます。

すべてのモデルは、構造上、有向非巡回グラフでもあります。外部キーは常に子から親を指し (order.customer_id、customer.latest_order_idではありません)、公開前にサイクルは解消されます。すべてのドメインは外部キーを介して少なくとも他の1つのドメインに接続されているため、ドメイン間の分析は常に可能です。

2つのスコープ: MVMとECM

MVM (Minimum Viable Model) は、ECMテーブル数の30%から50%を占め、SMBエンゲージメント、パイロット、開発/テスト環境向けにサイズ設定された、必須のビジネス機能のみをカバーします。

ECM (Expanded Coverage Model) は、Fortune 100のデプロイ向けにサイズ設定された、サポートするコーポレートドメインを含む、完全なエンタープライズ範囲です。属性の深さは両方のスコープで同じです。MVMはスケルトンではなく、単に表面積が小さいだけです。

MVMとECMをさらに詳しく比較してみましょう。

通信、メディア、エンターテイメント業界で利用可能なもの

出発点として、現在MVMまたはECMとして利用可能なモデルが4つあります。これらのモデルは次のとおりです。

広告の例

リポジトリを見ると、MVMとECMのモデルタイプの比較がわかるので、どのモデルスコープに興味があるかについて良い判断ができます。

これには、利用可能なドメインと製品の詳細なレビューが含まれます。

選択したモデルスコープの一部であるものの詳細を取得できます。これには、手順、サンプル、ドキュメント、リリースノートが含まれます。

モデルを環境にデプロイする準備ができたら、メインリポジトリのreadmeを確認して手順を実行してください。大まかに言えば、必要なのは、興味のある業界とモデルスコープを指定してインストーラーノートブックを実行することだけです。

はじめに

ライブラリはIndustry Solutionsリポジトリにあります: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main。モデル、スコープ（MVMまたはECM）、カタログスタイル、デプロイカタログを選択し、インストールノートブックを実行してください。一般的なMVMのインストールは数十分で完了しますが、Databricks Serverlessでは2時間未満で完了します。どちらも、AI/BIダッシュボードとAI/BI Genieに対応したメトリックビューを備えた、Unity Catalogに完全にデプロイされたSilverレイヤーを生成します。

すべてのモデルは出発点です。モデルを組織に適応させる必要があるお客様（ドメイン名の変更、製品の結合または分割、不足しているドメインの追加、命名規則の変更など）は、自然言語の指示を通じてモデルを反復処理するModeling Agentを使用してそれを行うことができます。

関連リソース

詳細については、データモデリングブログリリースの第一弾「Databricks Industry Data Modelsでデータモデリングをジャンプスタート」をご覧ください。
https://www.databricks.com/blog/jumpstart-your-data-modeling-databricks-industry-data-models