公共部門およびサービス向けレイクハウス ビジネスデータモデル

Databricks Lakehouse ビジネスデータモデル

Databricks lakehouseの分析基盤としてUnity Catalogに直接デプロイできる、業界ごとに1つ、合計40の本番運用対応シルバーレイヤー・ビジネスデータモデルのライブラリです。

各モデルは、導入初日から完全で、ガバナンスが効いており、内部的に一貫性があります。すべてのドメイン、テーブル、列、外部キー、分類タグ、メトリックビューはすでに定義されています。一般的な業界Templateは、セクター内のあらゆるビジネスを平均化するため、顧客は数か月もの調整作業を行う必要があります。Lakehouse ビジネスデータモデルは、その業界の単一の組織のように形成されており、実際に使用されている用語や部門が反映されています。

すべてのモデルは、MVM (実用最小限のモデル) と ECM (拡張カバレッジモデル) の2つのスコープで提供され、3つのUnity Catalog Layout (カタログ作成スタイル) をサポートし、同じ完全なアーティファクトバンドルを含んでいます。

位置付け

Lakehouse ビジネス データ モデルは、シルバーレイヤーです。ブロンズは、生のデータの取り込み (Lakeflow、Auto Loader) を処理します。シルバーは、すべてのアナリスト、BI ツール、機械学習 ワークロードが読み取る、適合化および正規化された分析モデルです。ゴールドは、シルバー上でコンピュートされた知見 (KPI テーブル、特徴量テーブル、集計) から導出されます。

各モデルの構成内容

各モデルは、完全なバンドルとして公開されます。

`model.json` は、すべてのドメイン、サブドメイン、製品、属性、外部キー、分類タグ、メトリクスビューの定義を格納する論理モデルです。これは基本単位です。git にチェックインし、バージョン間で差分を取り、環境間で共有できます。

スキーマ、Delta テーブル、主キー制約、外部キー制約（情報提供用）、分類タグのUnity Catalog デプロイ。正確なカタログ名とスキーマ名は、インストール時に選択されたカタログ スタイルによって異なります。

メトリックビューは、物理テーブルの上にインストールされる再利用可能なKPI定義で、AI/BIダッシュボードやAI/BI Genieですぐに利用できます。

RDFS知識グラフ (ontology/) は、セマンティックツールの統合とAIエージェントのグラウンディングのために、同じモデルをセマンティックグラフとして表現します。

dbdiagram.io または任意の DBML 互換ビューアで視覚的に探索するためのDBML 図（diagram/）。

デプロイ全体に対応し、スキーマ別に整理されたSQL DDL (schemas/)

Excel および Markdown のドキュメントがモデルと同時に生成されました。

オプションの合成サンプルデータ。プールベースの行は、すべての外部キー、正規表現の制約、および分類タグを遵守します。

階層

すべてのモデルは同じ階層に従います。組織はビジネス全体です。これには、オペレーション (ビジネスが物理的に行うこと)、ビジネス (誰にサービスを提供し、どのように収益を上げるか)、コーポレート (支援的なバックオフィス) の3つの部門が含まれます。各部門には、1つ以上のドメイン (単一単語、小文字、単数形の境界付けられたコンテキスト) が含まれます。各ドメインには、2 つ以上のサブドメイン（2 つの単語からなる意味のまとまり）が含まれています。各サブドメインには製品 (Deltaテーブル) が含まれます。各製品には属性 (列) が含まれ、データ型と分類タグが事前に割り当てられています。

オペレーションとビジネスを合わせて常にドメインの80%以上を占め、コーポレートは20%を上限とします。この比率により、各モデルは管理部門のバックオフィスではなく、実際の事業運営に焦点を当てることができます。

すべてのモデルは、その構造上、有向非巡回グラフでもあります。外部キーは常に子から親を指します（order.customer_id、決して customer.latest_order_id のようにはなりません）;サイクルは公開前に解消され、すべてのドメインは外部キーを介して他の少なくとも 1 つのドメインに接続するため、ドメインをまたいだアナリティクスが常に可能です。

2つのスコープ: MVMとECM

MVM (実用最小限のモデル) は、ECMテーブル数の30～50%を占め、必要不可欠なビジネス機能のみをカバーし、SMBエンゲージメント、パイロット、開発/テスト環境向けにサイズ設定されています。

ECM (拡張カバレッジモデル)は、支援的なコーポレートドメインを含む、エンタープライズ全体をカバーするもので、Fortune 100のデプロイメント向けにサイズ設定されています。属性の深さは、両方のスコープで同一です。MVMはスケルトンではなく、単に表面積が小さいだけです。

MVM と ECM をさらに詳しく比較してみましょう。

公共部門およびサービス産業で利用可能なもの

出発点として、現在、MVMまたはECMとして6つのモデルが利用可能です。これらのモデルは次のとおりです。

教育 - 一例

リポジトリを参照すると、MVM と ECM のモデルタイプが比較されているため、関心のあるモデルスコープを適切に決定できます。

これには、利用可能なドメインと製品の詳細なレビューが含まれます。

選択したモデルスコープに含まれる内容の詳細を確認できます。これには、手順、サンプル、ドキュメント、リリースノートが含まれます。

お使いの環境にモデルをデプロイする準備ができましたら、メインリポジトリの readme を確認し、ステップに沿って進めてください。概要としては、対象とする業界とモデルのスコープを指定してインストーラーノートブックを実行するだけです。

無料トライアル

このライブラリは、Industry ソリューション リポジトリにあります: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main。モデル、スコープ (MVM または ECM)、カタログ作成スタイル、デプロイメントカタログを選択し、インストールノートブックを実行します。Databricks Serverless では 2 時間未満かかるのに対し、一般的な MVM のインストールは数十分で完了します。どちらも、Unity Catalog に、完全にデプロイされ、AI/BI ダッシュボードと AI/BI Genie ですぐに使えるメトリックビューを備えたシルバーレイヤーを生成します。

すべてのモデルは出発点です。モデルを自組織に合わせて適応させる (ドメイン名の変更、製品のMergeや分割、不足しているドメインの追加、命名規則の変更) 必要がある顧客は、自然言語の指示によってモデルを反復処理するモデリングエージェントを使用できます。

関連リソース

情報については、データモデリングに関するブログリリースの最初のパート『Jumpstart your Data Modeling with Databricks Industry Data Models』をご覧ください
https://www.databricks.com/blog/jumpstart-your-data-modeling-databricks-industry-data-models