メインコンテンツへジャンプ

Lakehouse ビジネスデータモデル(ヘルス&ライフサイエンス向け)

Databricksレイクハウスの分析基盤としてUnity Catalogに直接デプロイできる、ヘルス&ライフサイエンス向けの本番運用に対応した統制済みシルバーレイヤーのビジネスデータモデルです。初日から一貫性が確保されます。

Lakehouse medallion layers with the Silver business data model

Databricks Lakehouse ビジネスデータモデル

その位置付け

レイクハウスビジネスデータモデルは、シルバーレイヤーです。ブロンズは、生のデータ取り込み(Lakeflow、Auto Loader)を処理します。シルバーは、すべてのアナリスト、BI ツール、機械学習 ワークロードが読み取る、準拠および正規化された分析モデルです。ゴールドは、シルバー上で計算される知見(KPI テーブル、特徴量テーブル、集計)から導出されます。

Databricks Lakehouse ビジネスデータモデル - その位置付け

各モデルに付属するもの

各モデルは完全なバンドルとして公開されます。

`model.json`は、すべてのドメイン、サブドメイン、製品、属性、外部キー、分類タグ、指標ビュー定義を記述した論理モデルです。これが基本単位です。Gitにチェックインし、バージョン間で差分を取り、環境間で共有します。

Unity Catalogのデプロイ: スキーマ、Deltaテーブル、主キー制約、外部キー制約 (情報)、および分類タグ。正確なカタログ名とスキーマ名は、インストール時に選択されたカタログ作成スタイルによって異なります。

メトリックビューとは、物理テーブルの上にインストールされる再利用可能なKPI定義であり、AI/BIダッシュボードやAI/BI Genieですぐに使用できます。

RDFS知識グラフ (ontology/)は、セマンティックツールの統合やAIエージェントのグラウンディングにおいて、セマンティックグラフと同じモデルを表現します。

dbdiagram.io または任意の DBML 互換ビューアで視覚的に探索するためのDBML 図 (diagram/)。

SQL DDL(schemas/)は、スキーマごとに整理された全デプロイメントの構成です。

ExcelとMarkdownのドキュメントがモデルと共に生成されました。

オプションの合成サンプルデータ。プールベースの行は、すべての外部キー、正規表現の制約、分類タグを尊重します。

階層

組織階層

すべてのモデルは同じ階層に従います。組織は、ビジネス全体です。それには、オペレーション (ビジネスが物理的に行うこと)、ビジネス (誰にサービスを提供し、どのように収益を上げるか)、コーポレート (サポートするバックオフィス) の 3 つの部門が含まれます。各部門には、1つ以上のドメイン (1単語、小文字、単数形の境界付けられたコンテキスト) が含まれます。各ドメインには、2つ以上のサブドメイン (2単語の意味論的なグループ) が含まれます。各サブドメインには、製品 (Deltaテーブル) が含まれます。各製品には、データ型と分類タグが事前に割り当てられた属性 (列) が含まれます。

オペレーションとビジネスを合わせると常にドメインの 80% 以上を占め、コーポレートは 20% が上限となります。この比率により、すべてのモデルが管理的なバックオフィス業務ではなく、ビジネスを実際に動かしているものに焦点を当て続けることができます。

すべてのモデルは、構造上 有向非巡回グラフ でもあります。外部キーは常に子から親を指します (order.customer_idcustomer.latest_order_id ではありません) ;サイクルは公開前に解消されます。すべてのドメインは外部キーを介して少なくとも1つの他のドメインに接続するため、クロスドメイン分析が常に可能です。

2つのスコープ: MVMとECM

2つのスコープ: MVMとECM

MVM (実用最小限モデル) は、ECM テーブル数の 30~50% を占め、必須のビジネス機能のみを対象とし、SMB のエンゲージメント、パイロット、開発/テスト環境向けにサイズ調整されています

ECM(拡張カバレッジモデル)は、コーポレートドメインのサポートを含め、企業全体をカバーするもので、フォーチュン100企業での導入を想定した規模になっています。属性の深さは、両方のスコープで同一です。MVMはスケルトンではなく、対象領域がより小さいだけです。

MVMとECMをより詳しく比較してみましょう。

直接比較表

ヘルスケアおよびライフサイエンス業界で利用可能なもの

出発点として、現在 MVM または ECM として利用できるモデルが 4 つあります。これらのモデルは次のとおりです。

ヘルスケア~一例

リポジトリを見ると、MVMとECMモデルの比較が見られるので、どのモデルのスコープに興味があるか判断しやすいです。

モデルメトリクスの比較

これには、利用可能なドメインと製品の詳細なレビューが含まれます。

請求テーブル

選択したモデルのスコープに含まれる内容の詳細を確認できます。これには、手順、サンプル、ドキュメント、リリースノートが含まれます。

出力フォルダ構造

モデルを環境にデプロイする準備ができたら、メインリポジトリの readme で手順を確認してください。概要としては、ご希望の業界とモデルスコープを指定してインストーラー ノートブック を実行するだけです。

無料トライアル

The ライブラリ lives in the Industry ソリューション repo: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main。モデル、スコープ(MVMまたはECM)、カタログスタイル、デプロイメントカタログを選び、インストールノートブックを実行します。典型的なMVMのインストールは数十分で完了しますが、DatabricksのServerlessは2時間未満で完了します。両者とも、AI/BIダッシュボードやAI/BI Genie向けにメトリクスビューを用意した完全なSilverレイヤーをUnity Catalogに生成します。

すべてのモデルは出発点です。モデルを組織に合わせて調整(ドメイン名の変更、製品のMergeまたは分割、欠落ドメインの追加、命名規則の変更など)する必要があるお客様は、自然言語による指示を通じてモデルを反復処理するモデリングエージェントを使用することで、これを実行できます。

関連リソース

詳細については、データモデリングに関するブログリリースの最初のパート ~ Databricks Industry Data Models でデータモデリングを迅速に開始をご覧ください。

GitHubのDatabricks Lakehouse Industry Data Models ~ Lakehouse Industry Data Models on GitHub