데이터 마트란 무엇인가요?

데이터 마트란 무엇입니까?

데이터 마트는 하나의 데이터 팀, 커뮤니티 또는 사업부(예: 마케팅 또는 엔지니어링 부서)에 따른 특정 요구 사항을 충족하도록 설계된 테이블 세트가 포함된 큐레이션 데이터베이스입니다. 빅 데이터 시대가 도래해 데이터 분석의 중요성이 점점 더 커져가고 있는 지금, 정보를 효율적으로 관리하고 활용하는 데 꼭 필요합니다. 보통, 데이터 웨어하우스보다 작고 집중적이며 일반적으로 조직의 대규모 엔터프라이즈 데이터 웨어하우스의 하위 집합으로 존재하며 분석, 비즈니스 인텔리전스 및 보고에 주로 사용됩니다. 데이터 마트는 중앙 데이터 웨어하우스 및 데이터 레이크의 실질적인 첫 번째 진화 단계였습니다. ACNielsen은 1970년대 초 고객에게 디지털 형식으로 정보를 저장하고 영업을 강화할 수 있는 방법을 제공하는 최초의 데이터 마트를 소개했습니다.

데이터 마트의 특징

• 일반적으로 데이터 마트는 엔터프라이즈 데이터 팀에서 구축 및 관리하지만 사업부 SME측에서도 유기적으로 구축 및 유지 관리할 수 있습니다.
• 비즈니스 그룹 데이터 관리자는 데이터 마트를 유지 관리하고, 최종 사용자는 읽기 전용 액세스 권한을 가지며, 기술에 익숙하지 않은 사용자가 실수로 중요한 비즈니스 데이터를 삭제하거나 수정하는 것을 방지하기 위해 테이블을 쿼리하고 볼 수 있지만 수정할 수는 없습니다.
• 일반적으로 차원 모델 및 스타 스키마를 사용합니다.
• 더 큰 데이터 웨어하우스의 큐레이션된 데이터 하위 집합을 포함합니다. 데이터는 엔터프라이즈 데이터 팀에 의해 정리되고 정형화되어 이해하기 쉽고 쿼리하기 쉽도록 고도로 구조화되어 있습니다.
• 특정 사업부나 사용 사례의 고유한 요구 사항을 중심으로 설계되었습니다.
• 일반적으로 사용자는 SQL 명령을 사용하여 데이터를 쿼리합니다.

데이터 마트 유형: 독립 데이터 마트, 종속 데이터 마트 및 하이브리드 데이터 마트

오늘날 데이터 마트에는 다음과 같은 세 가지 기본 유형이 있습니다.

• 독립 데이터 마트는 데이터 웨어하우스의 일부가 아니고 ACNielsen에서 제공하는 원래 데이터 마트와 매우 유사하며 하나의 사업부나 주제와 같은 특정 영역에 중점을 둡니다. 데이터 소스에는 외부 원본과 내부 원본이 모두 포함될 수 있습니다. 그런 다음 데이터 소스를 변환, 처리한 다음 데이터 마트에 로드하여 필요할 때까지 저장합니다.
• 종속 데이터 마트는 기존 데이터 웨어하우스에 기본 제공됩니다. 하향식 접근 방식이 사용되어 중앙 위치에 모든 데이터를 저장할 수 있고 명확하게 정의된 데이터 섹션은 연구 목적으로 선택됩니다.
• 하이브리드 데이터 마트는 데이터 웨어하우스와 "기타" 데이터 소스에서 가져온 데이터를 결합합니다. 이는 조직에 추가된 새 그룹이나 제품과의 애드혹(ad-hoc) 통합 제공을 비롯하여 다양한 상황에서 유용할 수 있습니다. 하이브리드 데이터 마트는 여러 데이터베이스 환경에 적합하며 빠른 구현 턴어라운드를 제공합니다. 이 시스템은 데이터를 손쉽게 정리할 수 있으며 소규모 데이터 중심 애플리케이션에서도 잘 작동합니다.

데이터 마트의 장점

• 단일 정보 소스 — 데이터 마트는 특정 사업부에 대한 단일 정보 소스 역할을 하여 모든 사용자가 동일한 사실과 데이터로 작업합니다.
• 단순성 — 데이터를 찾는 비즈니스 사용자는 필요한 데이터를 얻기 위해 전체 데이터 웨어하우스를 살펴보고 테이블을 조인할 필요 없이 큐레이션된 데이터 마트를 방문하여 관심 있는 데이터에 쉽게 액세스할 수 있습니다.

데이터 마트의 과제

엔터프라이즈 데이터 웨어하우스는 기업의 모든 데이터 관리 요구 사항을 충족하기 위해 만들어졌습니다. 그러나 사업부마다 데이터 요구 사항과 목표가 다르기 때문에 늘 그렇듯 모두를 만족시키기는 어렵습니다. 따라서 각 부서는 셀프 서비스 분석 및 부서별 보고 요구를 충족하기 위해, 특정 데이터 웨어하우스의 주제 영역을 보완하는 자체 데이터 마트를 복사하거나 생성하게 됩니다. 경우에 따라 엔터프라이즈 IT 팀의 지원이 필요할 수 있습니다. 결과적으로 시간이 지남에 따라 데이터 마트는 엔터프라이즈 관점에서 데이터 사일로 및 데이터의 섀도 복사본이 될 수 있지만 부서 관점에서는 요구 사항을 충족합니다. 많은 부서가 이 작업을 수행 할 때 다양한 버전의 소스를 사용합니다.

레이크하우스가 데이터 마트의 과제를 해결하는 방법

레이크하우스는 통합 보안 및 거버넌스를 통해 모든 엔터프라이즈 데이터 웨어하우스 및 데이터 마트를 하나의 플랫폼에 배치하여 위에서 언급한 문제를 해결하는 동시에 서로 다른 팀에게 자체 샌드박스를 보유할 수 있는 유연성을 제공합니다. 모든 데이터 마트 또는 "보강된 사본"은 다른 모든 소스와 동일한 레이크하우스 플랫폼에서 만들어지기 때문에 레이크하우스의 데이터 카탈로그는 이를 발견하고, 태그 지정 및 데이터 사전 사용 등과 같은 데이터 거버넌스 규칙에 따라 모든 사람이 보강된 사본을 검색할 수 있도록 하여 유사한 중복 사본을 방지합니다.

Databricks SQL에서 차세대 데이터 마트를 구축하세요

Databricks SQL 무료로 시작하기

리소스

• Databricks SQL
• Databricks Delta Lake
• 용어집 - 데이터 웨어하우스(Data warehouse)