통신, 미디어 및 엔터테인먼트를 위한 레이크하우스 비즈니스 데이터 모델

Databricks Lakehouse 비즈니스 데이터 모델

Databricks 레이크하우스의 분석 기반으로서 Unity Catalog에 직접 배포되는, 산업별로 하나씩 제공되는 40개의 프로덕션 지원 Silver 레이어 비즈니스 데이터 모델 라이브러리입니다.

각 모델은 도입 첫날부터 완전하고, 거버넌스가 적용되며, 내부적으로 일관성을 유지합니다. 모든 도메인, 테이블, 컬럼, 외래 키(foreign key), 분류 태그 및 메트릭 뷰가 이미 정의되어 있습니다. 일반적인 산업 템플릿은 해당 분야의 모든 비즈니스를 평균화하므로 고객이 불필요한 부분을 정리하는 데 수개월이 걸립니다. 반면, Lakehouse 비즈니스 데이터 모델은 해당 산업의 실제 조직 구조와 유사하게 구성되어 있어 실제로 사용하는 용어와 부서를 그대로 반영합니다.

모든 모델은 MVM(Minimum Viable Model) 및 ECM(Expanded Coverage Model)의 두 가지 범위로 제공되며, 세 가지 Unity Catalog 레이아웃(카탈로그 스타일)을 지원하고, 동일한 완전한 아티팩트 번들을 포함합니다.

작동 위치

Lakehouse 비즈니스 데이터 모델은 Silver 레이어에 해당합니다. Bronze는 원시 데이터 수집(Lakeflow, Auto Loader)을 처리합니다. Silver는 모든 분석가, BI 도구 및 ML 워크로드가 읽는 일관되고 정규화된 분석 모델입니다. Gold는 Silver 위에서 계산된 인사이트(KPI 테이블, 피처 테이블, 집계)에서 파생됩니다.

각 모델과 함께 제공되는 항목

각 모델은 완전한 번들 형태로 제공됩니다.

`model.json`은 모든 도메인, 서브도메인, 제품, 속성, 외래 키, 분류 태그 및 메트릭 뷰 정의를 캡처하는 논리적 모델입니다. 이는 기본 단위 역할을 합니다. git에 체크인하고, 버전 간 차이(diff)를 비교하고, 여러 환경에 공유할 수 있습니다.

스키마, Delta 테이블, 기본 키(primary-key) 제약 조건, 외래 키(foreign-key) 제약 조건(정보용) 및 분류 태그의 Unity Catalog 배포입니다. 정확한 카탈로그 및 스키마 이름은 설치 중에 선택한 카탈로그 스타일에 따라 달라집니다.

메트릭 뷰는 물리적 테이블 위에 설치되는 재사용 가능한 KPI 정의로, AI/BI 대시보드 및 AI/BI Genie에서 바로 사용할 수 있습니다.

RDFS 지식 그래프(ontology/)는 시맨틱 도구 통합 및 AI 에이전트 그라운딩을 위해 동일한 모델을 시맨틱 그래프로 표현합니다.

dbdiagram.io 또는 모든 DBML 호환 뷰어에서 시각적으로 탐색할 수 있는 DBML 다이어그램(diagram/)입니다.

스키마별로 정리된 전체 배포용 SQL DDL(schemas/)입니다.

모델과 함께 생성된 Excel 및 Markdown 문서입니다.

선택 사항인 합성 샘플 데이터입니다. 풀(pool) 기반 행은 모든 외래 키, 정규식 제약 조건 및 분류 태그를 준수합니다.

계층 구조

모든 모델은 동일한 계층 구조를 따릅니다. 조직(organization)은 비즈니스 전체를 의미합니다. 여기에는 세 가지 부서가 포함됩니다. Operations(비즈니스가 물리적으로 수행하는 작업), Business(서비스 대상 및 수익 창출 방식), Corporate(지원 백오피스)입니다. 각 부서에는 하나 이상의 도메인(domain)(단일 단어, 소문자, 단수형의 제한된 컨텍스트)이 포함됩니다. 각 도메인에는 두 개 이상의 서브도메인(subdomain)(두 단어로 구성된 시맨틱 그룹화)이 포함됩니다. 각 서브도메인에는 제품(product)(Delta 테이블)이 포함됩니다. 각 제품에는 데이터 유형과 분류 태그가 미리 할당된 속성(attribute)(컬럼)이 포함됩니다.

Operations와 Business를 합친 도메인 비율은 항상 최소 80% 이상을 차지하며, Corporate는 최대 20%로 제한됩니다. 이 비율을 통해 모든 모델이 관리 백오피스보다는 실제로 비즈니스를 운영하는 핵심 영역에 집중되도록 유지합니다.

또한 모든 모델은 구조적으로 방향성 비순환 그래프(Directed Acyclic Graph)입니다. 외래 키는 항상 자식에서 부모를 가리키며(order.customer_id, customer.latest_order_id은 불가), 순환(cycle)은 게시 전에 제거됩니다. 모든 도메인은 외래 키를 통해 최소 하나 이상의 다른 도메인과 연결되므로 항상 교차 도메인 분석이 가능합니다.

두 가지 범위: MVM 및 ECM

MVM(Minimum Viable Model) 은 ECM 테이블 수의 30~50%를 차지하며 필수적인 비즈니스 기능만 다룹니다. SMB 프로젝트, 파일럿 및 개발/테스트 환경에 적합한 규모입니다.

ECM(Expanded Coverage Model)은 지원 부서인 Corporate 도메인을 포함하여 전체 엔터프라이즈 범위를 포괄하며, Fortune 100 기업 배포에 적합한 규모입니다. 속성의 깊이는 두 범위 모두 동일합니다. MVM은 뼈대만 있는 모델이 아니라 단지 적용 범위가 더 좁을 뿐입니다.

MVM과 ECM을 더 자세히 비교해 보겠습니다.

통신, 미디어 및 엔터테인먼트 산업에서 사용할 수 있는 모델

시작 단계로, 현재 MVM 또는 ECM으로 제공되는 4개의 모델이 있습니다. 해당 모델은 다음과 같습니다.

광고 ~ 예시

리포지토리를 살펴보면 MVM 및 ECM 모델 유형의 비교를 확인할 수 있어, 관심 있는 모델 범위에 대해 올바른 결정을 내리는 데 도움이 됩니다.

여기에는 사용 가능한 도메인 및 제품에 대한 자세한 검토가 포함됩니다.

선택한 모델 범위에 포함된 내용에 대한 자세한 정보를 얻을 수 있습니다. 여기에는 지침, 샘플, 문서 및 릴리스 노트가 포함됩니다.

사용자 환경에 모델을 배포할 준비가 되었다면, 메인 리포지토리의 readme를 참조하여 단계를 진행해 보세요. 요약하자면, 관심 있는 산업 및 모델 범위를 가리키는 설치 프로그램 노트북을 실행하기만 하면 됩니다.

시작하기

라이브러리는 Industry Solutions 리포지토리에 있습니다: https://github.com/databricks-industry-solutions/lakehouse-industry-data-models/tree/main. 모델, 범위(MVM 또는 ECM), 카탈로그 스타일, 배포 카탈로그를 선택하고 설치 노트북을 실행하세요. 일반적인 MVM 설치는 수십 분 내에 완료되며, 2시간 미만이 소요되는 Databricks Serverless와 비교됩니다. 두 방법 모두 AI/BI 대시보드 및 AI/BI Genie에서 사용할 수 있는 메트릭 뷰가 포함된, 완전히 배포된 Unity Catalog 내의 Silver 레이어를 생성합니다.

모든 모델은 시작점입니다. 조직에 맞게 모델을 조정해야 하는 고객(도메인 이름 변경, 제품 병합 또는 분할, 누락된 도메인 추가, 명명 규칙 변경 등)은 자연어 지시어를 통해 모델을 반복적으로 개선하는 Modeling Agent를 사용하여 조정할 수 있습니다.

관련 리소스

자세한 내용은 데이터 모델링 블로그 출시의 첫 번째 파트인 'Databricks Industry Data Models로 데이터 모델링 시작하기'를 확인해 보세요.
https://www.databricks.com/blog/jumpstart-your-data-modeling-databricks-industry-data-models