작성자: Leo Mao, Abhishek Dey, Justin Breese , 소함 바트
많은 고객들이 기존 데이터 웨어하우스를 Databricks Lakehouse로 마이그레이션하고 있습니다. 이는 데이터 웨어하우스를 현대화할 뿐만 아니라 성숙한 스트리밍 및 고급 분석 플랫폼에 즉시 액세스할 수 있기 때문입니다. Lakehouse는 스트리밍, ETL, BI 및 AI 요구 사항을 모두 충족하는 단일 플랫폼이므로 모든 것을 처리할 수 있으며, 비즈니스 팀과 데이터 팀이 단일 플랫폼에서 협업할 수 있도록 지원합니다.
현장에서 고객을 지원하면서 많은 고객들이 Databricks에서 적절한 데이터 모델링 및 물리적 데이터 모델 구현에 대한 모범 사례를 찾고 있다는 것을 알게 되었습니다.
이 글에서는 Databricks Lakehouse 플랫폼에서 차원 모델링의 모범 사례에 대해 더 깊이 알아보고, 테이블 생성 및 DDL 모범 사례를 사용하여 물리적 데이터 모델 구현의 실제 예시를 제공하고자 합니다.
이 블로그에서 다룰 주요 내용은 다음과 같습니다.
데이터 모델은 데이터 웨어하우스를 구축하는 데 있어 가장 중요한 부분입니다. 일반적으로 프로세스는 의미론적 비즈니스 정보 모델, 논리적 데이터 모델, 그리고 마지막으로 물리적 데이터 모델(PDM)을 방어하는 것으로 시작됩니다. 이 모든 것은 적절한 시스템 분석 및 설계 단계에서 시작되며, 비즈니스 정보 모델과 프로세스 흐름이 먼저 생성되고, 조직 내 비즈니스 프로세스에 따라 주요 비즈니스 엔터티, 속성 및 상호 작용이 캡처됩니다. 그런 다음 논리적 데이터 모델이 엔터티 간의 관계를 보여주도록 생성되며, 이는 기술에 독립적인 모델입니다. 마지막으로, 쓰기 및 읽기가 효율적으로 수행될 수 있도록 기본 기술 플랫폼을 기반으로 PDM이 생성됩니다. 우리 모두 알다시피, 데이터 웨어하우징을 위해 스타 스키마 및 데이터 볼트와 같은 분석 친화적인 모델링 스타일이 매우 인기가 있습니다.
정의된 비즈니스 문제를 기반으로 데이터 모델 설계의 목표는 재사용성, 유연성 및 확장성을 위해 데이터를 쉽게 표현하는 것입니다. 다음은 각 트랜잭션을 저장하는 판매 사실 테이블과 데이터를 슬라이스하고 다이싱하는 고객, 제품, 매장, 날짜 등의 다양한 차원 테이블을 보여주는 일반적인 스타 스키마 데이터 모델입니다. 특정 월에 가장 인기 있는 제품은 무엇인지 또는 분기에 가장 실적이 좋은 매장은 어디인지와 같은 특정 비즈니스 질문에 답하기 위해 차원을 사실 테이블에 조인할 수 있습니다. Databricks에서 이를 구현하는 방법을 살펴보겠습니다.
다음 섹션에서는 예제를 사용하여 아래 내용을 시연하겠습니다.
Unity Catalog는 Databricks 거버넌스 계층으로, Databricks 관리자와 데이터 관리자가 Databricks 계정의 모든 워크스페이스에서 단일 메타스토어를 사용하여 사용자 및 데이터 액세스를 중앙에서 관리할 수 있도록 합니다. 다른 워크스페이스의 사용자는 Unity Catalog에서 중앙에서 부여된 권한에 따라 동일한 데이터에 대한 액세스를 공유할 수 있습니다. Unity Catalog는 데이터를 구성하는 3단계 네임스페이스(카탈로그.스키마(데이터베이스).테이블)를 가지고 있습니다. Unity Catalog에 대해 자세히 알아보세요.


섹션의 뒷부분에서 사용할 카탈로그와 스키마를 테이블 생성 전에 설정하는 방법은 다음과 같습니다. 예시에서는 카탈로그 US_Stores와 스키마(데이터베이스) Sales_DW를 생성하고 사용합니다.
카탈로그 및 데이터베이스 설정
다음은 3단계 네임스페이스를 사용하여 fact_sales 테이블을 쿼리하는 예시입니다.
기본 키와 외래 키 정의는 데이터 모델을 생성할 때 매우 중요합니다. PK/FK 정의를 지원하는 기능은 Databricks에서 데이터 모델을 매우 쉽게 정의할 수 있게 해줍니다. 또한 분석가가 Databricks SQL Warehouse에서 조인 관계를 빠르게 파악하여 효과적으로 쿼리를 작성할 수 있도록 도와줍니다. 대부분의 다른 대규모 병렬 처리(MPP), EDW 및 클라우드 데이터 웨어하우스와 마찬가지로 PK/FK 제약 조건은 정보 제공용입니다. Databricks는 PK/FK 관계를 강제하지는 않지만, 의미론적 데이터 모델 설계를 쉽게 할 수 있도록 정의할 수 있는 기능을 제공합니다.
다음은 store_id를 ID 열로 사용하고 동시에 기본 키로 정의하여 dim_store 테이블을 생성하는 예시입니다.
기본 키 정의로 스토어 차원을 생성하기 위한 DDL 구현
테이블이 생성된 후, 아래 테이블 정의에서 기본 키(store_id)가 제약 조건으로 생성된 것을 볼 수 있습니다.
다음은 transaction_id를 기본 키로 사용하고, 차원 테이블을 참조하는 외래 키를 사용하여 fact_sales 테이블을 생성하는 예시입니다.
외래 키 정의로 판매 사실을 생성하기 위한 DDL 구현
사실 테이블이 생성된 후, 아래 테이블 정의에서 기본 키(transaction_id)와 외래 키가 제약 조건으로 생성된 것을 볼 수 있습니다.