旅行・物流向けレイクハウス ビジネスデータモデル

Databricks Lakehouse ビジネスデータモデル

位置

Lakehouse ビジネス データ モデルは シルバーレイヤーです。ブロンズは、未加工データの取り込み（Lakeflow、Auto Loader）を処理します。シルバーは、すべてのアナリスト、BIツール、機械学習ワークロードが読み取る、準拠および正規化された分析モデルです。ゴールドは、シルバーの上で計算された知見（KPIテーブル、特徴量テーブル、集計）から導出されます。

各モデルの同梱物

各モデルは、完全なバンドルとして公開されます。

`model.json` は、すべてのドメイン、サブドメイン、プロダクト、属性、外部キー、分類タグ、およびメトリック ビュー定義を格納する論理モデルです。これが基本単位となります。Git にチェックインしてバージョン間の差分を比較し、環境間で共有できます。

スキーマ、Delta テーブル、主キー制約、外部キー制約（情報）、および分類タグのUnity Catalog デプロイメント。正確なカタログ名とスキーマ名は、インストール時に選択されたカタログ作成スタイルによって異なります。

メトリックビューは、物理テーブルの上にインストールされる再利用可能なKPI定義であり、AI/BIダッシュボードとAI/BI Genieですぐに利用できます。

RDFS 知識グラフ (ontology/) は、セマンティック ツーリングの統合と AI エージェントのグラウンディングを目的として、セマンティック グラフと同じモデルを表します。

DBML ダイアグラム (diagram/) は、dbdiagram.io または任意の DBML 互換ビューアで視覚的に探索するためのものです。

SQL DDL (schemas/) であり、デプロイメント全体をスキーマ別に整理したものです。

Excel と Markdown のドキュメントがモデルと共に生成されました。

任意の合成サンプルデータプールベースの行は、すべての外部キー、正規表現の制約、および分類タグを尊重します。

階層

すべてのモデルは同じ階層に従います。組織はビジネス全体です。これには、オペレーション (事業が物理的に行うこと)、ビジネス (サービス提供の対象と収益獲得の方法)、コーポレート (支援を行うバックオフィス) の 3 つの部門が含まれます。各部門には 1 つ以上のドメイン (1 単語、小文字、単数形の境界づけられたコンテキスト) が含まれます。各ドメインには 2 つ以上のサブドメイン (2 単語の意味的なグループ化) が含まれます。各サブドメインには製品 (Delta テーブル) が含まれます。各製品には、データ型と分類タグが事前に割り当てられた属性 (列) が含まれます。

オペレーションとビジネスを合わせたドメインは常に全体の80%以上を占め、コーポレートは20%を上限とします。この比率により、各モデルは管理部門のバックオフィスではなく、実際の事業運営に重点を置くことができます。

すべてのモデルは、構造上有向非巡回グラフでもあります。外部キーは常に子から親を指します (order.customer_id、customer.latest_order_id のようにはなりません)。サイクルは公開前に解消されます。すべてのドメインは外部キーを介して他の少なくとも 1 つのドメインに接続しているため、クロスドメイン分析が常に可能です。

2 つのスコープ：MVM と ECM

MVM (Minimum Viable Model) は、ECMテーブル数の30～50%を占め、中小企業（SMB）のエンゲージメント、パイロット、開発/テスト環境向けにサイズ調整されており、不可欠なビジネス機能のみをカバーします。

ECM (Expanded Coverage Model) は、コーポレート ドメインのサポートを含む、企業全体を網羅するモデルであり、Fortune 100 企業への導入を想定した規模になっています。属性の深さは、両方のスコープで同一です。MVM はスケルトンではなく、対象範囲がより小さいだけです。

MVMとECMをさらに詳しく比較してみましょう。

旅行業界と物流業界で利用可能なもの

現時点では、MVMまたはECMとして4つのモデルが利用可能です。これらのモデルは次のとおりです。

旅行・ホスピタリティ～例

リポジトリを見ると、MVM と ECM のモデルタイプの比較を確認できるため、関心のあるモデルスコープについて適切な判断を下すことができます。

これには、利用可能なドメインと製品の詳細なレビューが含まれます。

選択されたモデルスコープに含まれる項目の詳細を確認できます。これには、手順、サンプル、ドキュメント、リリースノートが含まれます。

お使いの環境にモデルをデプロイする準備ができましたら、メインリポジトリのreadmeで手順をご確認ください。要するに、関心のある業界とモデルのスコープを指定してインストーラー ノートブックをランするだけです。

無料トライアル

ライブラリは、Industry Solutions リポジトリにあります。https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main。モデル、スコープ (MVM または ECM)、カタログ スタイル、デプロイメント カタログを選択し、インストール ノートブックを実行します。Databricks Serverlessが2時間未満かかるのに対し、一般的なMVMのインストールは数十分で完了します。どちらも、AI/BIダッシュボードおよびAI/BI Genieですぐに使えるメトリックビューを備えた、完全にデプロイされたシルバーレイヤーをUnity Catalogに生成します。

すべてのモデルは出発点です。ドメイン名の変更、プロダクトのMergeまたは分割、不足しているドメインの追加、命名規則の変更など、モデルを自社の組織に適応させる必要があるお客様は、モデリング エージェントを使用することで、自然言語の指示を通じてモデルのイテレーションを行うことができます。

関連リソース

詳細については、データモデリングに関するブログリリースの第 1 部 「Databricks 業界データモデルでデータモデリングをジャンプスタート」をご覧ください。

GitHubでDatabricksレイクハウス業界データモデルを入手 ~ GitHubのレイクハウス業界データモデル