데이터 웨어하우징 개념: 공통 프로세스 살펴보기
추가로 살펴보기
데이터 웨어하우스의 목적은 무엇인가요?
데이터 웨어하우스(DWH)는 데이터 관리 시스템입니다. 여러 소스로부터 수집한 현재 및 과거 데이터를 비즈니스 친화적인 방식으로 저장하고 구성합니다. 데이터 웨어하우스는 방대한 양의 데이터를 처리할 수 있으며, 기업이 시간에 따른 트렌드를 분석할 수 있도록 설계되었습니다. 데이터 웨어하우스의 주요 목적은 데이터를 저장하고 다양한 소스의 데이터를 통합하며, 데이터 인사이트와 보고를 위한 기반을 제공하는 데 있습니다.
데이터 웨어하우스는 어떤 비즈니스 요구를 지원하나요?
데이터 웨어하우스는 일반적으로 비즈니스 인텔리전스(BI), 분석, 보고, 데이터 애플리케이션, 머신러닝(ML) 데이터 준비, 데이터 분석에 사용됩니다.
데이터 웨어하우스는 다음을 지원합니다:
- POS 시스템, 재고 관리 시스템, 마케팅·영업 데이터베이스 등 운영 시스템에서 수집한 비즈니스 데이터를 빠르고 쉽게 분석할 수 있도록 합니다.
- 여러 소스의 데이터를 통합하여 과거 트렌드를 보여줍니다.
- 고급 분석 및 보고 기능을 지원하고, 통합된 데이터 세트에 대한 실시간 접근을 제공하여 의사결정을 향상합니다.
- 단일 진실 공급원(Single Source of Truth)을 제공하여 분석 인사이트에 대한 신뢰를 구축합니다.
- 분석 처리와 거래형 데이터베이스를 분리하여 두 시스템의 성능을 모두 개선합니다.
- 데이터 정제와 통합을 통해 데이터 품질과 정확성을 보장합니다.
- 데이터 명명 규칙, 제품 유형 코드, 언어, 통화 등 데이터에 대한 표준화된 의미 체계를 사용하여 일관성을 촉진합니다.
- 민감한 데이터를 안전하고 감사 가능한 방식으로 저장·관리하여 규제 준수를 용이하게 합니다.
데이터 웨어하우스 핵심 개념
데이터 웨어하우징은 엔터프라이즈 데이터를 비즈니스 인사이트와 의사결정에 활용할 수 있도록 준비하고 제공하기 위한 여러 단계, 도구, 프로세스로 구성됩니다. 일반적인 프로세스에는 다음이 포함됩니다:
데이터 저장데이터 웨어하우스 핵심 개념
데이터 저장은 데이터 웨어하우징의 핵심 요소입니다. 데이터는 분석과 보고가 가능하도록 저장되어야 합니다. 데이터 웨어하우스와 함께, 데이터 저장 솔루션에는 다음이 포함될 수 있습니다.
데이터베이스: 데이터베이스는 구조화된 데이터의 모음으로, 텍스트와 숫자를 넘어 이미지, 비디오 등 다양한 형태를 포함합니다. 반면 데이터 웨어하우스는 비즈니스 인텔리전스와 분석을 위한 구조화된 저장소입니다.
데이터 레이크: 데이터 레이크는 대량의 데이터를 원시 형식 그대로 저장하는 중앙 위치입니다. 대부분의 데이터베이스나 데이터 웨어하우스와 달리, 데이터 레이크는 비정형 및 반정형 데이터(이미지, 비디오, 오디오, 문서 등)를 포함한 모든 데이터 유형을 처리할 수 있으며, 이는 머신러닝과 고급 분석 사례에 필수적입니다.
데이터 레이크하우스: 데이터 레이크하우스는 데이터 레이크와 데이터 웨어하우스의 장점을 결합한 개방형 데이터 관리 아키텍처입니다. 모든 데이터에 대해 BI와 머신러닝을 가능하게 하며, 데이터 웨어하우스와 유사한 데이터 구조와 관리 기능을 사용하 지만 클라우드 데이터 레이크 위에서 직접 실행합니다. 궁극적으로 레이크하우스는 전통적인 분석, 데이터 과학, 머신러닝이 동일한 시스템 내에서 개방형 포맷으로 공존할 수 있도록 합니다.
페더레이션은 데이터 저장에서 중요한 개념입니다. 이 데이터 관리 전략은 다양한 소스의 데이터를 단일 가상 형식으로 질의함으로써 데이터 접근성과 품질을 향상합니다. 이러한 모델은 대규모 데이터 저장 시스템의 필요성을 줄이고 데이터 분석과 통합을 강화합니다.
데이터 통합 및 적재
데이터 통합 및 적재는 여러 소스로부터 데이터를 수집하여 데이터 웨어하우스에 저장하는 과정입니다. 통합 및 적재 과정에서 데이터는 일관된 형식으로 저장되어 일관성과 품질을 보장하고 사용을 용이하게 합니다. 기업은 앞에서 언급한 데이터 통합 기법인 페더레이션을 활용하여, 실제로 데이터를 물리적으로 통합하지 않고도 여러 소스의 데이터를 단일 관점으로 볼 수 있습니다.
전통적으로, 이는 ETL(extract, transform and load)을 통해 이루어졌습니다. 이 과정에서 데이터 엔지니어는 여러 소스에서 데이터를 추출하고, 데이터를 사용할 수 있고 신뢰할 수 있는 리소스로 변환한 뒤, 최종 사용자가 접근하여 비즈니스 문제를 해결할 수 있는 시스템에 데이터를 적재합니다.
그러나 ELT(extract, load and transform)는 최신 데이터 저장 역량을 활용하는 새로운 처리 방식입니다. ELT에서는 데이터가 추출되자마자 변환 과정 없이 곧바로 적재됩니다. 이후 필요에 따라 데이터 저장소에서 직접 변환되어 사용 가능한 형식으로 바뀝니다. ELT는 구조화 및 비정형 데이터를 모두 저장할 수 있는 메달리온 아키텍처와 같은 최신 데이터 레이크 아키텍처와 잘 맞습니다. ELT를 사용하면 분석가는 더 다양한 데이터 유형을 활용할 수 있으며, 이는 잠재적으로 더 가치 있는 인사이트로 이어질 수 있습니다.
데이터 변환
데이터 변환은 데이터를 데이터 웨어하우스에 적재할 수 있는 형식으로 변경하는 과정입니다. 일반적으로 데이터는 서로 다른 형식을 사용하는 여러 소스로부터 수집됩니다. 데이터 변환은 데이터를 정제하고 표준화하여 비즈니스 활용을 용이하게 합니다.
변환 단계에는 다음이 포함될 수 있습니다.
- 데이터 정제 및 필터링: 불일치, 오류, 누락된 값, 중복 데이터를 식별합니다.
- 데이터 검증: 데이터 유형, 형식, 정확성, 일관성, 고유성을 확인하여 데이터의 정확성을 보장하고 잘못된 결과를 방지합니다.
- 형식 변환: 데이터의 형식을 변경하여 호환성을 확보하고 원활한 데이터 처리를 지원합니다.
데이터 제공(Data serving)
데이터 제공은 분석, 보고, 의사결정을 지원하기 위해 사용자에게 데이터를 전달하는 과정입니다. 데이터 제공 프로세스에는 저장 시스템에서 데이터를 질의, 프로비저닝, 검색하는 과정이 포함됩니다. 목표는 데이터 저장 및 인덱싱 전략을 최적화하여 사용자, 애플리케이션, 시스템에 빠르고 효율적으로 데이터를 제공하는 것입니다. 또한 데이터는 안전하게 제공되어야 하므로 접근 제어, 인증, 권한 관리가 필수적입니다.
데이터 질의(Data querying)
데이터 질의는 SQL과 같은 구조적 질의 언어를 사용하여 데이터베이스에서 특정 데이터에 접근해 추출하거나 조작하는 과정입니다. 질의는 데이터 웨어하우징의 핵심으로, 사용자가 웨어하우스에 저장된 대량의 데이터에서 의미 있는 인사이트를 접근·추출·분석하는 방법입니다. 기업은 질의를 통해 보고서, 대시보드, 시각화를 생성하여 기회를 식별하고, 성과를 모니터링하며, 데이터 기반 의사결정을 내립니다. 데이터 웨어하우스는 대규모 데이터 세트에 대한 복잡한 질의를 효율적으로 실행하도록 설계되어 있습니다.
데이터 시각화(Data visualization)
데이터 시각화는 웨어하우스의 데이터를 그래프, 차트, 다이어그램, 지도, 인포그래픽, 데이터 스토리, 보고서, 대시보드와 같은 시각적 형태로 표시하는 과정입니다. 인간의 뇌는 숫자 나열보다 이미지를 더 빠르게 처리하기 때문에, 시각화는 사용자가 데이터를 더 쉽게 이해하도록 돕습니다. 예를 들어, 스프레드시트보다 시각화를 통해 데이터를 비교하고 패턴, 트렌드, 이상치, 특이값을 식별하기가 용이합니다. 데이터 시각화 도구는 사용자가 시각화를 생성하고, 인사이트를 발견하며, 결론을 공유할 수 있도록 합니다.
데이터 웨어하우스 성능 최적화
데이터 웨어하우스 최적화는 데이터 웨어하우스 내에서 질의 성능, 처리, 데이터 검색을 개선하는 과정입니다. 이는 복잡한 질의를 지원하고 높은 성능을 유지하며 시의적절한 인사이트를 생성하기 위해 특정 기술을 사용합니다. 데이터 최적화는 특히 대규모 데이터 세트를 관리하는 데 중요합니다.
데이터 웨어하우스 최적화 기법에는 다음이 포함됩니다.
- 고성능 스토리지, 효율적인 데이터 압축, 확장 가능한 인프라를 포함한 하드웨어 및 저장소 최적화
- 데이터 검색 속도를 높이기 위한 인덱싱 전략
- 더 빠른 질의 실행을 위한 구체화된 뷰(Materialized Views)
- 데이터를 더 작은 세그먼트로 나누어 데이터 접근과 질의 성능을 향상하는 파티셔닝
- 성능을 높이기 위한 효율적인 SQL 질의 작성
지능형 데이터 웨어하우스는 전통적인 데이터 웨어하우스의 발전된 형태로, 최적화를 훨씬 더 발전시킵니다. 현대 데이터 웨어하우스는 전통적인 아키텍처 대신 개방형 데이터 레이크하우스 아키텍처를 활용하며, 지능적이고 자동으로 최적화되는 플랫폼을 갖추고 있습니다. AI 기반 최적화는 수동 관리의 부담을 제거하고 최적의 데이터 웨어하우스 프로세스를 보장합니다.
AI 및 ML 통합
전통적인 데이터 웨어하우스는 과거 보고, BI, 질의 등 일반적인 데이터 웨어하우스 워크로드를 지원하도록 설계되었습니다. 그러나 AI나 ML 워크로드를 지원하도록 설계되거나 의도된 것은 아니었습니다. 하지만 최근의 발전으로 인해 AI와 ML을 데이터 웨어하우스에 통합할 수 있게 되었습니다. 지능형 데이터 웨어하우스는 AI와 ML 모델에 대한 접근을 제공할 뿐만 아니라, AI를 활용하여 질의, 대 시보드 생성, 성능 및 규모 최적화를 지원합니다.
데이터 거버넌스
데이터 거버넌스는 조직의 데이터 자산을 비즈니스 전략에 맞게 관리하기 위해 사용되는 원칙, 관행, 도구로 구성됩니다. 데이터 거버넌스는 데이터 가시성, 품질, 보안, 규정 준수 역량을 조직 전반에서 보장하기 때문에 데이터 웨어하우징에 매우 중요합니다. 효과적인 데이터 거버넌스 전략을 구현하면 기업은 데이터를 데이터 기반 의사결정에 쉽게 활용할 수 있도록 하는 동시에, 무단 접근으로부터 데이터를 보호하고 규제 요건 준수를 보장할 수 있습니다.
데이터 보안
데이터는 조직에 귀중한 자산이며, 동시에 매우 개인적이고 민감할 수 있습니다. 기업은 자사 데이터뿐 아니라 고객 데이터를 잘못된 손에 넘어가지 않도록 보호 장치를 마련해야 합니다. 데이터 웨어하우스 보안 조치에는 다음이 포함됩니다.
- 역할 기반 접근 제어와 다중 인증을 포함한 접근 제어 및 권한 관리 → 권한이 있는 사람만 웨어하우스의 데이터에 접근할 수 있도록 합니다.
- 암호화 → 데이터 유출 시 보호 계층을 제공하며, 종종 규제 준수의 일부로 요구됩니다.
- 데이터 손실 방지 → 데이터를 모니터링하고 실수를 방지하는 보안 장치 역할을 합니다.
- 정기적인 보안 감사 → 보안 시스템을 점검합니다.
메타데이터 관리
메타데이터는 ‘데이터에 대한 데이터’로, 데이터 거버넌스와 관리에 매우 중요합니다. 메타데이터는 데이터의 출처, 변환 과정, 구조, 관계, 사용 방식 및 기타 중요한 요소에 대한 맥락과 세부 정보를 제공하여 데이터의 일관성, 품질, 신뢰성을 보장하는 데 핵심적인 역할을 합니다.
메타데이터 관리는 조직이 메타데이터를 수집, 카탈로그화, 관리할 수 있도록 돕는 도구와 프로세스의 집합입니다. 효과적인 메타데이터 관리 시스템은 데이터 품질을 높이고, 사용자가 필요한 데이터를 쉽게 찾고, 추출하며, 이해하여 인사이트를 생성할 수 있도록 합니다. 또한 데이터 계보 — 데이터가 생애주기 동안 어떤 경로를 거쳐왔는지, 누가 데이터에 접근했는지에 대한 기록 — 정보를 제공하기 때문에 보안 측면에서도 매우 중요합니다.
데이터 웨어하우징 개념이 비즈니스 인텔리전스를 지원하는 방법
데이터 웨어하우스의 핵심 목적은 조직이 데이터의 가치를 활용할 수 있도록 데이터를 저장하는 데 있습니다. 비즈니스 인텔리전스는 기업의 데이터를 기반으로 비즈니스에 대한 중요한 질문을 던지고 그 답을 찾는 과정으로, 조직이 데이터에서 가치를 얻는 가장 중요한 방법입니다. 데이터 웨어하우싱의 각 핵심 개념은 기업이 비즈니스 인텔리전스를 수행할 수 있는 능력을 지원합니다. 이러한 데이터 웨어하우싱 개념은 데이터를 안전하게 저장하고, 비즈니스 사용자가 데이터를 쉽게 접근하고 분석할 수 있도록 함께 작동합니다. 전체적으로 이러한 프로세스와 시스템은 인사이트와 데이터 기반 의사결정을 촉진하 여 기업의 혁신, 발전, 성공을 이끕니다.
Databricks에서의 현대적 데이터 웨어하우징
Databricks는 지능형 데이터 웨어하우스인 Databricks SQL을 제공합니다. 데이터의 고유한 특성을 이해하는 데이터 인텔리전스 엔진(Data Intelligence Engine)을 기반으로 구축된 Databricks SQL 은 기술 사용자와 비즈니스 사용자 모두에게 분석을 민주화합니다. 기업은 시장에서 최고의 가격 대비 성능을 제공하는 지능적이고 자동 최적화되는 플랫폼을 통해 빠르게 혁신할 수 있습니다. 또한 Databricks 데이터 인텔리전스 플랫폼의 일부로서, Databricks SQL은 레이크하우스 아키텍처의 단순성, 통합된 거버넌스, 개방성을 함께 누릴 수 있습니다.