공공 부문을 위한 Lakehouse 비즈니스 데이터 모델 & 서비스

Databricks Lakehouse 비즈니스 데이터 모델

업계별로 하나씩 제공되는 40개의 프로덕션 지원 실버 레이어 비즈니스 데이터 모델 라이브러리로, Databricks 레이크하우스의 분석 기반으로 Unity Catalog에 직접 배포됩니다.

각 모델은 처음부터 완전하며, 관리되고, 내부적으로 일관성을 유지합니다. 모든 도메인, 테이블, 열, 외래 키, 분류 태그, 측정항목 뷰가 이미 정의되어 있습니다. 일반적인 업계 템플릿은 한 분야의 모든 비즈니스를 평균화하므로 고객이 몇 달 동안 불필요한 부분을 덜어내는 작업을 해야 합니다. Lakehouse 비즈니스 데이터 모델은 실제로 사용하는 용어와 부서를 포함하여 해당 업계의 단일 조직처럼 구성됩니다.

모든 모델은 MVM(최소 실행 가능 모델)과 ECM(확장된 적용 범위 모델)의 두 가지 범위로 제공되며, 세 가지 Unity Catalog 레이아웃(카탈로그 스타일)을 지원하고 동일한 전체 아티팩트 번들을 포함합니다.

위치

Lakehouse 비즈니스 데이터 모델은 실버 레이어예요. 브론즈는 생 섭취를 처리해요 (Lakeflow, Auto Loader). Silver는 모든 애널리스트, BI 도구, ML 워크로드가 읽는 적합하고 정규화된 분석 모델이에요. 금은 실버 위에서 계산한 인사이트 (KPI 테이블, 특징 테이블, 집계) 에서 파생돼요.

각 모델에 포함된 내용

각 모델은 완전한 번들로 게시됩니다.

`model.json` 은 모든 도메인, 하위 도메인, 제품, 속성, 외래 키, 분류 태그 및 메트릭 뷰 정의를 캡처하는 논리적 모델입니다. 이것이 기준 단위입니다. git에 체크인하고 버전 간 차이점을 비교하며 환경 간에 공유하세요.

스키마, Delta 테이블, 기본 키 제약 조건, 외래 키 제약 조건(정보용) 및 분류 태그의 Unity Catalog 배포 입니다. 정확한 카탈로그 및 스키마 이름은 설치 중에 선택한 카탈로그 지정 스타일에 따라 다릅니다.

메트릭 뷰는 물리적 테이블 위에 설치된 재사용 가능한 KPI 정의로, AI/BI 대시보드와 AI/BI Genie에서 바로 사용할 수 있어요.

RDFS 지식 그래프 (ontology/)는 시맨틱 도구 통합 및 AI 에이전트 그라운딩을 위해 동일한 모델을 시맨틱 그래프로 표현합니다.

dbdiagram.io 또는 모든 DBML 호환 뷰어에서 시각적 탐색을 위한 DBML 다이어그램 (diagram/)입니다.

전체 배포를 위한 SQL DDL (schemas/)이며, 스키마별로 구성되어 있습니다.

Excel 및 Markdown 문서 가 모델과 함께 생성되었습니다.

선택적 합성 샘플 데이터. Pool 기반 행은 모든 외래 키, 정규식 제약 조건, 분류 태그를 준수합니다.

계층 구조

모든 모델은 동일한 계층 구조를 따릅니다. 조직이 사업의 전부입니다. 운영 (비즈니스가 물리적으로 하는 일), 비즈니스 (서비스를 제공하는 대상 및 수익 방식), 기업 (지원 백오피스) 의 세 부서로 이루어져 있어요. 각 구분에는 하나 이상의 도메인 (한 단어, 소문자, 단수, 제한된 컨텍스트)이 포함됩니다. 각 도메인은 두 개 이상의 하위 도메인 (두 단어로 이루어진 의미 그룹)을 포함합니다. 각 하위 도메인에는 제품 (Delta 테이블) 이 들어 있어요. 각 제품에는 데이터 유형과 분류 태그가 앞에 할당된 속성 (열) 이 들어 있어요.

운영 및 비즈니스를 합쳐서 항상 도메인의 최소 80%를 차지하며 Corporate는 20%로 제한됩니다. 이 비율은 모든 모델이 관리 백오피스보다는 실제로 비즈니스를 운영하는 것에 집중하도록 합니다.

모든 모델은 구성상 방향성 비순환 그래프(DAG) 입니다. 외래 키는 항상 자식에서 부모로 연결됩니다(order.customer_id, 절대 고객. 최신_주문_ID); 출판 전에 사이클이 깨져요. 모든 도메인은 외래 키로 적어도 하나 이상과 연결되기 때문에 도메인 간 분석이 항상 가능해요.

두 가지 범위: MVM 및 ECM

MVM(최소 실행 가능 모델) 은 ECM 테이블 수의 30~50%를 차지하고 핵심 비즈니스 기능만 다루며, SMB 계약, 파일럿, 개발/테스트 환경에 맞게 규모가 조정됩니다.

ECM(확장된 적용 범위 모델) 은 기업 도메인을 지원하며 Fortune 100 기업 배포에 적합한 규모로 전체 엔터프라이즈 범위를 포괄합니다. 속성 깊이는 두 범위 모두에서 동일합니다. MVM은 뼈대가 아니라 단지 적용 범위가 더 작을 뿐입니다.

MVM과 ECM을 좀 더 자세히 비교해 보겠습니다.

공공 부문과 서비스 산업에서 사용할 수 있는 것은 뭐예요?

시작점으로, 현재 MVM 또는 ECM으로 6개의 모델을 사용할 수 있습니다. 이러한 모델은 다음과 같습니다.

교육 ~ 하나의 사례

리포지토리에서 MVM 및 ECM 모델 유형을 비교하여 관심 있는 모델 범위를 현명하게 결정할 수 있습니다.

여기에는 사용 가능한 도메인 및 제품에 대한 자세한 검토가 포함됩니다.

선택한 모델 범위에 포함된 내용에 대한 세부 정보를 얻을 수 있습니다. 여기에는 지침, 샘플, 문서, 릴리스 노트가 포함됩니다.

사용자 환경에 모델을 배포할 준비가 되었다면 메인 리포지토리의 readme를 확인하여 단계를 진행해 보세요. 간단히 말해, 관심 있는 산업 및 모델 범위를 지정하여 설치 프로그램 노트북을 실행하기만 하면 됩니다.

시작하기

라이브러리는 Industry 솔루션 리포지토리 https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main에 있습니다. 모델, 범위(MVM 또는 ECM), 카탈로그 스타일, 배포 카탈로그를 선택하고 설치 노트북을 실행하세요. 일반적인 MVM 설치는 수십 분 내에 완료되는 반면, Databricks Serverless는 2시간 미만이 소요됩니다. 두 가지 모두 Unity Catalog에 완전히 배포된 Silver 레이어를 생성하며, AI/BI 대시보드 및 AI/BI Genie에 즉시 사용할 수 있는 메트릭 뷰를 포함합니다.

모든 모델은 시작점입니다. 조직에 맞게 모델을 조정(도메인 이름 변경, 제품 Merge 또는 분할, 누락된 도메인 추가, 이름 지정 규칙 변경)해야 하는 고객은 자연어 지시를 통해 모델을 반복하는 모델링 에이전트를 사용하여 이를 수행할 수 있습니다.

관련 리소스

자세한 정보는 데이터 모델링 블로그 릴리스의 첫 번째 부분인 'Databricks 산업 데이터 모델로 데이터 모델링 시작하기'를 확인하세요.
https://www.databricks.com/blog/jumpstart-your-data-modeling-databricks-industry-data-models