製造・産業分野向けレイクハウスビジネスデータモデル

Databricks Lakehouseビジネスデータモデル

位置づけ

Lakehouseビジネスデータモデルは、Silverレイヤーに位置します。Bronzeは未加工データの取り込み（Lakeflow、Auto Loader）を処理します。Silverは、すべての分析担当者、BIツール、MLワークロードが読み取る、適合・正規化された分析モデルです。Goldは、Silver上で計算されたインサイト（KPIテーブル、特徴量テーブル、集計）から派生します。

各モデルに含まれるもの

各モデルは、完全なバンドルとして公開されます。

`model.json`は、すべてのドメイン、サブドメイン、プロダクト、属性、外部キー、分類タグ、メトリックビューの定義を取り込む論理モデルです。これは共通の基本単位となります。gitにチェックインし、バージョン間の差分（diff）を確認し、環境間で共有できます。

Unity Catalogデプロイメント（スキーマ、Deltaテーブル、主キー制約、外部キー制約（情報用）、分類タグ）。正確なカタログ名とスキーマ名は、インストール時に選択したカタログスタイルによって異なります。

メトリックビューは、物理テーブルの上にインストールされる再利用可能なKPI定義であり、AI/BIダッシュボードやAI/BI Genieですぐに使用できます。

RDFSナレッジグラフ（ontology/）は、セマンティックツールの統合やAIエージェントのグラウンディングのために、同じモデルをセマンティックグラフとして表現します。

dbdiagram.ioやあらゆるDBML互換ビューアで視覚的に探索するためのDBMLダイアグラム（diagram/）。

スキーマごとに整理された、デプロイメント全体を対象とするSQL DDL（schemas/）。

モデルと並行して生成されたExcelおよびMarkdownドキュメント。

オプションの合成サンプルデータ。プールベースの行は、すべての外部キー、正規表現制約、分類タグを遵守します。

階層構造

すべてのモデルは同じ階層に従います。組織（organization）はビジネス全体を指します。これには、Operations（ビジネスが物理的に行うこと）、Business（誰にサービスを提供し、どのように収益を上げるか）、Corporate（サポートを提供するバックオフィス）の3つの部門が含まれます。各部門には、1つ以上のドメイン（domain）（1単語、小文字、単数形の限定されたコンテキスト）が含まれます。各ドメインには、2つ以上のサブドメイン（subdomain）（2単語のセマンティックグループ）が含まれます。各サブドメインには、プロダクト（product）（Deltaテーブル）が含まれます。各プロダクトには、データ型と分類タグがあらかじめ割り当てられた属性（attribute）（列）が含まれます。

OperationsとBusinessの合計で常にドメインの少なくとも80%を占め、Corporateは最大20%に制限されます。この比率により、すべてのモデルが管理的なバックオフィスではなく、実際にビジネスを動かしている部分に焦点を当て続けることができます。

また、すべてのモデルは構造上、Directed Acyclic Graph（有向非巡回グラフ）になっています。外部キーは常に子から親を指し（order.customer_id、customer.latest_order_idは不可）、公開前に循環が解消されます。すべてのドメインは外部キーを介して少なくとも1つの他のドメインに接続されているため、ドメインをまたいだ分析が常に可能です。

2つのスコープ：MVMとECM

MVM（Minimum Viable Model）は、ECMのテーブル数の30〜50%を占め、重要なビジネス機能のみをカバーします。SMB（中小企業）での取り組み、パイロット、開発/テスト環境に適した規模です。

ECM（Expanded Coverage Model）は、サポート的なCorporateドメインを含む、エンタープライズ全体の広範な領域をカバーし、Fortune 100規模のデプロイメントに適しています。属性の深さは両方のスコープで同一です。MVMは骨組みだけのものではなく、単に対象範囲が狭いだけです。

MVMとECMをさらに詳しく比較してみましょう。

製造・産業分野で利用可能なモデル

出発点として、現在MVMまたはECMとして利用可能な6つのモデルがあります。モデルは以下の通りです。

自動車 〜 一例

リポジトリを確認すると、MVMとECMのモデルタイプの比較が表示され、関心のあるモデルスコープを適切に決定できます。

これには、利用可能なドメインとプロダクトの詳細なレビューが含まれます。

選択したモデルスコープに含まれる内容の詳細を確認できます。これには、手順、サンプル、ドキュメント、リリースノートが含まれます。

環境にモデルをデプロイする準備ができたら、メインリポジトリのREADMEを参照して手順を実行してください。大まかに言えば、関心のある業界とモデルスコープを指定したインストーラーノートブックを実行するだけです。

開始方法

このライブラリは、Industry Solutionsのリポジトリ（https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main）にあります。モデル、スコープ（MVMまたはECM）、カタログ作成スタイル、デプロイ先カタログを選択し、インストールノートブックを実行します。一般的なMVMのインストールは数十分で完了しますが、Databricks Serverlessの場合は2時間未満かかります。どちらの方法でも、Unity Catalog内に完全にデプロイされたSilverレイヤーが作成され、AI/BIダッシュボードやAI/BI Genieですぐに使用できるメトリクスビューが提供されます。

すべてのモデルは出発点にすぎません。自社組織に合わせてモデルをカスタマイズ（ドメイン名の変更、プロダクトの統合や分割、不足しているドメインの追加、命名規則の変更など）する必要があるお客様は、自然言語の指示に従ってモデルを反復処理するModeling Agentを使用して行うことができます。

関連資料

詳細については、データモデリングに関するブログシリーズの第1部「Databricks Industry Data Modelsでデータモデリングを迅速に開始する」をご覧ください。