주요 컨텐츠로 이동

엔터프라이즈 데이터 웨어하우스(EDW)

엔터프라이즈 데이터 웨어하우스(EDW)란 무엇인가요?

엔터프라이즈 데이터 웨어하우스(EDW)는 조직의 데이터를 통합하고 관리하기 위해 설계된 중앙 집중식의 구조화된 리포지토리입니다. EDW의 핵심 이점은 서로 다른 시스템의 정보가 통합되고 표준화되어 일관된 보고 및 분석을 위해 액세스할 수 있는 관리형 환경을 제공한다는 것입니다.

약어 EDW는 전문적인 기술 컨텍스트에서 널리 사용되지만 데이터 웨어하우스 (DW) 또는 데이터 웨어하우징(DWH)과 같이 동일한 개념을 지칭하는 다른 용어를 접할 수도 있습니다. 하지만 '엔터프라이즈'라는 단어는 중요한 차이점을 더합니다. DW 또는 DWH는 엔터프라이즈를 의미할 수도 있고, 좁은 목적에 부합하는 프로젝트별 웨어하우스를 의미할 수도 있습니다. 확실히 알려면 더 많은 컨텍스트가 필요합니다.

그러나 EDW는 재무나 운영과 같은 다양한 부서의 데이터를 통합하여 전체 조직에 걸쳐 사용되도록 특별히 설계되었습니다. 이를 통해 분석이 단편화되거나 서로 모순되지 않도록 보장할 수 있습니다. 예를 들어, 재무 시스템에서 가져온 수익 수치를 CRM 플랫폼에서 추적하는 고객 활동과 일치시켜 보고서가 상충될 위험을 줄이고, 조직의 데이터에 관한 단일 진실 공급원을 구축하는 EDW의 주요 목적을 달성하는 데 도움을 줍니다.

조직은 종종 일관되지 않은 측정항목, 중복 레코드, 호환되지 않는 보고 도구로 인해 어려움을 겪습니다. EDW는 정보를 하나의 시스템으로 통합하여 경영진, 분석가, 운영팀이 동일한 정의와 데이터세트를 기반으로 작업하도록 보장합니다. 이러한 일관성은 정확한 예측, 규정 준수, 전략적 계획에 매우 중요합니다.

이를 위해 EDW는 광범위한 소스에서 데이터를 통합합니다. 일반적인 입력에는 고객 관계 관리(CRM) 시스템, 전사적 자원 관리(ERP) 플랫폼, 트랜잭션 데이터베이스, 최신 서비스형 소프트웨어(SaaS) 애플리케이션이 포함됩니다. 추출, 변환, 로드(ETL) 또는 최신 데이터 파이프라인 접근 방식을 통해 이러한 다양한 데이터 피드는 정보를 저장할 뿐만 아니라 전사적으로 거버넌스, 품질 및 접근성 표준을 적용하는 통합 스토리지 솔루션으로 통합됩니다.

자세히 보기

EDW를 정의하는 주요 특징

다음은 EDW를 더 작은 규모의 데이터 웨어하우스 아키텍처와 구별하는 몇 가지 주요 특징입니다.

전사적 범위. 데이터 마트나 팀별 리포지토리와 달리 EDW는 조직 전체의 정보를 통합합니다. 이를 통해 인사이트가 분리된 사일로가 아닌 비즈니스 전체 범위를 반영하도록 보장합니다.

중앙 집중식 스토리지. 중앙 집중화는 여러 소스의 데이터를 서로 다른 위치에 두어 발생하는 문제를 해결하는 데 도움이 됩니다. 이를 통해 정보에 더 쉽게 액세스할 수 있으며 사용되는 정보가 일관되게 동일한 소스에서 제공되도록 보장할 수 있습니다.

구조화 및 거버넌스. 웨어하우스에 들어가는 데이터는 정리, 변환, 표준화됩니다. 품질 관리 및 거버넌스 정책은 정보의 신뢰성을 보장하여 의사 결정을 저해할 수 있는 오류와 불일치를 줄이는 데 도움이 됩니다.

신뢰할 수 있는 단일 데이터 원본. 표준을 적용하고 데이터를 통합함으로써 EDW는 경영진부터 애널리스트까지 모든 사용자가 검증된 동일한 정보를 사용하여 작업할 수 있도록 합니다. 이러한 일관성은 상충되는 결과가 나올 가능성을 줄여 사용자가 생성하는 보고서와 확인하는 대시보드에 대한 신뢰를 구축합니다.

분석에 최적화되었습니다. EDW는 복잡한 쿼리, 집계, 보고를 위해 설계되었습니다. 또한 일상적인 트랜잭션을 처리하는 온라인 트랜잭션 처리(OLTP) 시스템과 달리 추세 분석 및 예측에 이상적인 온라인 분석 처리(OLAP)를 지원합니다.

과거 데이터 보존. EDW는 현재 기록과 과거 기록을 모두 유지합니다. 이 비휘발성 스토리지를 통해 조직은 시간 경과에 따른 변경 사항을 추적하고, 장기적인 추세를 파악하며, 여러 기간의 성과를 비교할 수 있습니다. 

주제 중심 설계. 마지막으로, EDW는 고객, 제품 또는 판매와 같은 주요 비즈니스 주제를 중심으로 데이터를 구성합니다. 이러한 주제 중심 접근 방식은 분석을 더욱 직관적으로 만들고 warehouse를 비즈니스의 실제 운영 방식에 맞게 조정합니다.

엔터프라이즈 데이터 웨어하우스의 작동 방식

EDW 운영은 일상적인 비즈니스 시스템의 데이터를 처리 및 분석이 가능한 중앙 집중식 환경으로 이동시키는 본질적으로 지속적인 프로세스를 포함합니다. 이 프로세스는 명확하고 반복 가능한 순서를 따릅니다.

  • 추출
  • 통합
  • 로드 중
  • 분석

소스 시스템에서 데이터 추출

EDW 프로세스는 비즈니스 활동을 기록하는 시스템에서 데이터를 가져오는 추출 작업으로 시작됩니다. 일반적인 소스로는 트랜잭션 데이터베이스, CRM 플랫폼, ERP 시스템, SaaS 애플리케이션 및 기타 운영 데이터베이스가 있습니다. 전체 데이터세트를 복사하는 전체 추출, 새 레코드나 변경된 레코드만 캡처하는 증분 추출, 실시간으로 업데이트를 추적하는 변경 데이터 캡처(CDC) 등 다양한 추출 방법을 사용할 수 있습니다.

추출은 소스 시스템의 데이터를 변경하거나 제거하지 않으며, 배치 모드(예: 야간 업데이트)로 예약하거나 거의 실시간에 가까운 통합을 위해 스트리밍 파이프라인을 통해 지속적으로 실행될 수 있다는 점에 유의하세요.

데이터 통합: ETL 및 ELT 프로세스

데이터가 추출되면 통합되어야 합니다. 전통적으로 조직에서는 데이터를 warehouse에 입력하기 전에 정리하고 표준화하는 추출, 변환, 로드(ETL)(ETL) 프로세스를 사용해 왔습니다. 그러나 이제 많은 클라우드 플랫폼에서는 가공되지 않은 데이터를 먼저 로드한 다음 변환 단계를 수행하는 추출, 로드, 변환(ELT) 프로세스를 선호하는 경우가 많습니다. 이를 통해 조직은 다음을 포함하여 데이터 변환을 위해 웨어하우스의 컴퓨팅 성능을 활용할 수 있습니다. 

  • 데이터 정리(중복 제거, 오류 수정)
  • 표준화(날짜, 통화, 코드에 대해 일관된 형식 적용)
  • 통합(여러 소스의 관련 데이터 결합)
  • 비즈니스 규칙 적용(데이터를 조직의 정의에 맞게 조정)

데이터 저장 및 구성

변환 후 데이터는 분석에 최적화된 구조화된 형식으로 저장됩니다. EDW는 종종 고객이나 제품과 같은 주제를 중심으로 정보를 구성하는 차원 모델을 사용합니다. 또한 클라우드 환경에서는 스토리지와 compute이(가) 분리되어 있어 각각 독립적으로 확장할 수 있다는 점에 유의하세요.

데이터가 로드되면 비휘발성이 되므로 정확한 추세 분석을 위해 과거 기록이 보존됩니다.

데이터 액세스 및 분석

추출, 변환, 로드가 완료되면 사용자는 비즈니스 인텔리전스(BI) 도구, SQL 쿼리 인터페이스 또는 셀프 서비스 분석 플랫폼을 통해 EDW에 액세스합니다. 역할 기반 액세스 제어(RBAC)는 직원이 보기 권한이 있는 데이터만 볼 수 있도록 보장합니다.

EDW는 애드혹 분석과 예약된 보고를 모두 지원하므로 여러 비즈니스 영역에 걸쳐 데이터를 조인하는 복잡한 쿼리를 처리할 수 있습니다. 깨끗하고 통합된 데이터는 대시보드, 보고서, 심지어 고급 인공 지능 (AI) 또는 machine learning(ML) 모델을 지원하여 가공되지 않은 데이터를 실행 가능한 인사이트와 데이터 기반 의사 결정으로 전환합니다.

EDW와 다른 데이터 스토리지 솔루션의 주요 차이점

EDW와 다른 스토리지 솔루션의 주요 차이점 중 하나는 EDW가 독립적인 기술이 아니라는 점입니다. 데이터 웨어하우스, 데이터 레이크 또는 데이터 마트와 같은 여러 스토리지 솔루션을 포함하는 더 광범위한 데이터 생태계의 일부로 간주되어야 합니다. EDW가 이러한 관련 도구와 어떻게 다른지 이해하면 다양한 사용 사례에 적합한 솔루션을 선택하는 데 도움이 될 수 있습니다.

EDW와 부서별 데이터 웨어하우스

앞서 언급했듯이 "데이터 웨어하우스"라는 용어는 EDW와 혼용되기도 하지만 중요한 차이점이 있습니다. 부서별 데이터 웨어하우스는 마케팅이나 재무와 같은 단일 비즈니스 부서에만 서비스를 제공하는 반면, EDW는 정의상 조직 전체에 걸쳐 있습니다. 따라서 EDW는 다음과 같은 방식으로 다르게 설계되고 작동합니다: 

  • 범위: EDW는 모든 부서의 데이터를 통합하는 반면, 부서별 웨어하우스는 단일 기능에 초점을 맞춥니다.
  • 통합: EDW는 CRM, ERP 또는 트랜잭션 데이터베이스와 같은 다양한 엔터프라이즈 시스템을 통합하는 반면, 부서별 웨어하우스는 다른 사업부와 통합되지 않은 제한된 소스에서 데이터를 가져옵니다.
  • 거버넌스: EDW는 전사적 데이터 품질 및 거버넌스 표준을 적용하여 비즈니스 전반의 일관성을 보장합니다. 부서별 warehouse는 일반적으로 해당 단위 내에서만 제어를 시행합니다.
  • 용도: EDW는 영업, 재무, 운영과 같은 부서 간 비교를 가능하게 하여 부서 간 분석을 지원합니다. 부서별 웨어하우스는 기능별 보고를 지원합니다.

EDW 대 데이터 레이크

데이터 레이크는 또 다른 일반적인 스토리지 솔루션이지만 다음과 같은 점에서 EDW와 크게 다릅니다.

  • 데이터 유형: EDW는 정형화되고 처리된 데이터를 저장하는 반면, 데이터 레이크는 logs, 이미지 또는 센서 피드와 같은 원시, 비정형 또는 반정형 데이터를 보관합니다.
  • 스키마: EDW는 schema‑on‑write를 사용하며, 이는 데이터를 로드하기 전에 구조화한다는 의미입니다. 데이터 레이크는 schema-on-read를 사용하므로 쿼리될 때만 데이터를 구조화합니다.
  • 데이터 품질: EDW에는 큐레이팅되고 깨끗하며 관리되는 데이터가 포함됩니다. 데이터 레이크는 사용 전에 처리가 필요한 가공되지 않은 데이터를 저장합니다.
  • 사용 사례: EDW는 BI, 대시보드, 보고에 이상적입니다. 데이터 레이크는 데이터 과학, ML, 탐색적 분석 활동에 매우 적합합니다.
  • 쿼리 성능: EDW는 빠른 분석 쿼리에 최적화되어 있습니다. 데이터 레이크는 성능을 위해 추가 처리가 필요한 경우가 많습니다.

참고: 조직에서는 실험을 위한 유연한 리포지토리로 데이터 레이크를, 프로덕션 분석용으로 EDW를 모두 사용하는 경우가 매우 흔합니다.

EDW 대 데이터 마트

데이터 마트 는 EDW보다 더 작고 집중적인 솔루션으로, 특정 부서의 요구에 맞춰 사전 집계된 데이터를 제공합니다. 데이터 마트는 종종 EDW의 하위 집합이지만 다음과 같은 점에서 EDW와 다릅니다.

  • 범위: 데이터 마트는 일반적으로 단일 주제 영역이나 부서를 다루는 반면, EDW는 전체 기업을 대상으로 합니다.
  • 소스: 데이터 마트는 종종 EDW에서 소싱됩니다. 반면에 EDW는 운영 시스템에서 직접 데이터를 가져옵니다.
  • 복잡성: 데이터 마트는 소스가 더 적고 EDW보다 더 간단합니다. EDW는 기업 전체의 데이터를 통합하므로 더 복잡한 아키텍처와 인프라가 필요합니다.
  • 배포: 데이터 마트는 신속하게 구현할 수 있습니다. EDW는 규모와 복잡성으로 인해 더 긴 타임라인이 필요합니다.

EDW 아키텍처 및 핵심 구성 요소 

EDW 아키텍처는 소스 시스템의 데이터가 안정적으로 저장 및 분석될 수 있는 구조화된 환경으로 흐르는 방식을 정의합니다. 역사적으로 EDW는 처음에 하드웨어와 유지 관리에 상당한 투자가 필요하고 확장이 어려운 온프레미스 환경에서 호스팅되었습니다.

호스팅 환경이 발전함에 따라 EDW 아키텍처도 발전하여, 기존의 3계층 온프레미스 시스템에서 탄력적인 확장과 클라우드 생태계와의 원활한 통합을 통해 더 큰 유연성을 제공하는 클라우드 네이티브 플랫폼으로 전환되었습니다. 이러한 발전을 통해 조직은 막대한 인프라 관리 없이 비용을 최적화하고, 워크로드를 동적으로 확장 및 축소하며, 고급 분석을 배포할 수 있습니다.

EDW 아키텍처의 다음 측면을 이해하면 조직이 특정 요구사항에 맞는 올바른 플랫폼을 선택하고 EDW 성능을 최적화하는 데 도움이 될 수 있습니다.

3계층 EDW 아키텍처

고전적인 EDW 설계는 각각 고유한 목적을 수행하는 하위, 중간, 상위의 3개 계층을 기반으로 구축됩니다.

하위 계층은 데이터 통합 계층으로 간주되며, 가공되지 않은 데이터를 캡처하여 저장을 위해 준비하는 곳입니다. ETL 또는 ELT 프로세스 는 소스 시스템의 데이터를 통합하여 EDW로 이동시킵니다. Fivetran, Airbyte, Matillion과 같은 최신 데이터 파이프라인 도구는 CRM 및 ERP 시스템, 트랜잭션 데이터베이스 또는 SaaS 애플리케이션과 같은 데이터 소스에 대한 커넥터를 제공합니다.

미들 티어는 처리된 데이터가 웨어하우스 자체에 있는 실제 스토리지 및 데이터베이스 계층입니다. 기존 EDW는 분석에 최적화된 관계형 데이터베이스에 의존했습니다. 주요 기술에는 열 형식 스토리지(더 빠른 쿼리를 위해 데이터를 행이 아닌 열 단위로 저장), 압축(스토리지 크기 축소), 파티셔닝(데이터를 관리 가능한 세그먼트로 분할)이 포함됩니다. 이러한 기능은 분석 워크로드를 효율적이고 확장 가능하게 만듭니다.

최상위 계층은 쿼리 및 프레젠테이션 레이어로, 사용자가 다양한 BI 도구, 대규모 병렬 처리 기능이 있는 쿼리 엔진, API 또는 사용자 인터페이스를 사용하여 데이터와 직접 상호작용하여 대시보드를 구축하고 보고서를 생성하는 곳입니다.

이제 많은 조직이 클라우드 플랫폼을 활용하여 스토리지와 컴퓨팅을 분리함으로써 3계층 아키텍처를 확장하고, 이를 통해 각 리소스를 독립적으로 확장할 수 있게 되었습니다. 따라서 필요한 경우 compute 비용을 반드시 늘리지 않고도 스토리지 용량을 확장할 수 있으며, 그 반대의 경우도 마찬가지입니다.

마지막으로 3계층 아키텍처 외에 거버넌스 레이어는 보안 제어, 역할‑기반 액세스, 메타데이터 관리, 데이터 품질 모니터링을 포함하는 중요한 EDW 구성 요소로서, EDW가 신뢰할 수 있고 규정을 준수하며 안전한 환경으로 유지되도록 돕습니다.

데이터 모델 및 구성

EDW가 설계되는 방식은 비즈니스 가치를 극대화하는 데 중요한 역할을 하지만, EDW 내부에서 데이터가 모델링되고 구성되는 방식도 그에 못지않게 중요할 수 있습니다. 효과적인 데이터 모델링을 통해 쿼리 속도를 획기적으로 개선하고 비전문 사용자가 웨어하우스를 더 쉽게 탐색할 수 있기 때문입니다.

대부분의 EDW는 팩트 테이블과 차원 테이블을 사용하여 최적의 쿼리 성능과 사용자 이해를 위해 데이터를 구조화하도록 설계된 차원 모델링을 사용합니다.

팩트 테이블은 판매 수익, 주문 수량, 판매 단위와 같이 측정 가능한 트랜잭션 및 이벤트에 대한 데이터를 저장합니다. 차원 테이블은 고객 위치 또는 연령, 주문 내역, 주문 날짜와 같은 설명적인 컨텍스트를 제공하는 데이터를 저장합니다.

또한 데이터는 일반적으로 재무나 영업과 같이 회사의 운영 구조를 반영하는 비즈니스 단위에 맞춰 스키마로 구성됩니다. 이를 통해 애널리스트와 관리자는 데이터를 더욱 직관적으로 사용할 수 있습니다. 데이터가 팩트 및 차원 테이블로 구성되어 있으므로 지역, 제품 또는 고객 세그먼트별 매출 비교와 같은 분석 활동을 더 쉽게 수행할 수 있습니다.

EDW 구현의 이점

EDW의 핵심 기능은 조직에 데이터 관리 및 분석을 위한 강력한 기반을 제공하는 것입니다. 정보를 통합하여 기업이 데이터에서 더 많은 가치를 얻는 방법을 자세히 살펴보겠습니다.

단일 진실 공급원 및 데이터 일관성

EDW의 가장 중요한 이점 중 하나는 과거 분석과 미래 예측 모두를 위한 단일 진실 공급원을 구축하는 데 도움이 된다는 것입니다. 많은 조직에서 부서들은 데이터 관리 및 보고를 위해 별도의 시스템에 의존하며, 이는 상충되는 결과로 이어질 수 있습니다. 예를 들어, 마케팅 부서가 BI에 한 시스템을 사용하고 재무 부서가 다른 시스템을 사용한다면 고객 생애 가치가 서로 다르게 나올 수 있습니다. 이러한 종류의 불일치는 조직 전체의 데이터 결과물에 대한 전반적인 신뢰를 약화시킬 수 있습니다.

그러나 EDW는 모든 사업부의 데이터를 통합하므로 사용자는 회사의 어느 부서에서 근무하든 상관없이 사용 권한이 있는 동일한 검증된 정보에 액세스할 수 있습니다. 이를 통해 상충하는 결과물을 줄이고 신뢰도를 높여 리더가 신뢰할 수 있는 통합된 데이터를 기반으로 의사 결정을 내릴 수 있습니다.

개선된 데이터 품질 및 거버넌스

EDW의 또 다른 이점은 작동 방식 자체만으로도 중복 레코드 제거, 형식 표준화, 완전성 보장을 위한 유효성 검사 규칙 등 데이터 품질 표준을 강화하는 데 도움이 된다는 것입니다. 품질 표준 외에도 EDW는 데이터 리니지 추적, GDPR 또는 HIPAA와 같은 규정 준수 지원, RBAC, 암호화, 감사 로그 및 열 수준 보안을 포함하여 민감한 데이터를 보호하기 위한 강력한 보안 조치 등 강력한 거버넌스 기능을 갖추고 있습니다.

신뢰할 수 있는 품질과 강력한 거버넌스가 결합되어 사용자는 중요한 비즈니스 의사결정에 사용하는 데이터를 신뢰할 수 있습니다.

향상된 BI 및 분석

아마도 더 구체적인 이점은 EDW가 BI 이니셔티브의 기반이 될 수 있다는 점일 것입니다. 보고 및 대시보드가 일관되고 정확한 데이터를 기반으로 할 때 조직은 부서별 정보를 결합하는 교차 기능 분석을 더 쉽게 수행할 수 있으며, 기록 추적은 전략적 및 전술적 결정을 모두 지원하는 추세와 패턴을 식별하는 데 도움이 됩니다. 셀프 서비스 분석을 통해 사용자는 IT 지원에 의존하지 않고도 독립적으로 데이터를 탐색할 수 있으며 더 많은 사람이 EDW의 이점을 누릴 수 있습니다.

ML 및 AI 지원

조직이 운영에 ML 및 AI를 더 많이 도입함에 따라 EDW는 정확한 모델을 훈련하는 데 필요한 고품질의 일관된 과거 데이터를 제공할 수 있습니다. 그런 다음 기업은 이 모델을 사용하여 수요 예측, 고객 이탈 예측 또는 사기 탐지와 같은 예측 분석을 수행할 수 있습니다.

많은 클라우드 기반 EDW는 ML 플랫폼과 직접 통합되며 일부는 내장된 ML 기능을 포함하여 웨어하우스 자체 내에서 모델을 학습하고 실행할 수 있도록 합니다.

클라우드 대 온프레미스 대 하이브리드 EDW 배포

EDW의 배포 환경을 선택하는 것은 비용, 확장성 및 관리에 큰 영향을 미칠 수 있습니다. 각 접근 방식은 다양한 사용 사례에 대한 장점과 강점이 있지만, 대부분의 기업은 유연성과 낮은 초기 비용 때문에 현재 클라우드 우선 전략을 선호합니다. 그러나 조직은 필요에 가장 적합한 옵션을 결정하기 위해 클라우드 기반, 온프레미스 및 하이브리드 모델 간의 장단점을 비교해야 합니다. 

클라우드 기반 EDW 솔루션

클라우드 기반 EDW의 장점은 하드웨어 관리의 필요성을 없애면서 자동 업데이트와 탄력적인 확장을 제공할 수 있다는 점입니다. 가격은 일반적으로 비용 관리에 도움이 되는 종량제 방식이며, 배포는 온프레미스 프로젝트의 경우 몇 년이 걸리는 데 비해 일반적으로 더 빠르고 6~12개월 내에 완료되는 경우가 많습니다.

클라우드 기반 EDW는 일반적으로 유연성, 확장성, 낮은 초기 비용을 우선시하려는 조직에 가장 적합합니다. 클라우드 솔루션은 또한 지출을 자본 지출에서 운영 지출로 전환하여 비용 예측 가능성을 높이고 기업이 대규모 인프라 투자로 변화하는 데이터 수요에 신속하게 적응하도록 지원합니다.

온프레미스 EDW 솔루션

온프레미스 EDW는 조직 자체의 데이터 센터 내에 배포 및 관리됩니다. 이 접근 방식의 주요 장점은 인프라와 데이터에 대한 제어력을 극대화하여 엄격한 규정 준수 또는 주권 요구사항을 충족하는 데 적합하다는 것입니다. 제어력이 높아지는 대신 민첩성과 확장성이 제한되는 경우가 많으며, 이는 혁신과 변화에 대한 적응을 늦출 수 있습니다.

또 다른 단점은 초기 투자 비용이 50만 달러에서 500만 달러 이상에 이르고 지속적인 유지 관리 비용이 추가되어 비용이 일반적으로 다른 접근 방식보다 높다는 것입니다. 온프레미스 배포는 확장이 어렵고 상당한 IT 리소스가 필요하며 기간이 길어서 보통 1년, 때로는 5년까지 걸릴 수 있습니다.

그럼에도 불구하고 일부 조직은 규제 요건에 따라 온프레미스 스토리지를 사용해야 하며, 기존 인프라에 투자한 조직은 온프레미스 접근 방식이 가장 실용적이라고 생각할 수도 있습니다.

하이브리드 EDW 접근 방식

당연하게도 EDW용 하이브리드 모델은 제어와 유연성의 균형을 맞추면서 온프레미스 및 클라우드 배포의 장점을 모두 결합합니다. 예를 들어, 민감한 데이터는 데이터 상주 요건이나 기타 규정 준수상의 이유로 온프레미스에 저장할 수 있으며, 클라우드 플랫폼은 확장 가능한 분석 워크로드를 처리합니다.

하이브리드 모델의 단점은 환경 간 통합이 필요할 수 있다는 것이며, 이는 운영을 복잡하게 만들어 EDW의 운영 및 관리를 더 어렵게 만들 수 있습니다. 따라서 하이브리드 EDW는 일반적으로 레거시 시스템에서 클라우드로 전환하는 조직이나 데이터 주권과 확장성이 모두 필요한 조직에 가장 적합합니다.

구현 고려 사항 및 모범 사례

EDW를 배포하는 것은 기술적 복잡성, 일정, 여러 팀 간의 조정 측면에서 중요한 작업입니다. 현실적인 기대치를 설정하면 불만을 줄이고 EDW가 장기적인 가치를 제공하도록 보장하는 데 도움이 될 수 있습니다. 다음 모범 사례는 일반적인 과제를 해결하고 성공을 위한 실용적인 단계를 제공합니다.

데이터 품질 및 확장성 해결

모든 EDW 프로젝트의 첫 번째 과제 중 하나는 적절한 데이터 품질을 보장하는 것입니다. 소스 시스템에는 중복, 누락된 필드, 일관되지 않은 형식 또는 오래된 레코드가 포함되어 있는 경우가 많습니다. 이러한 문제가 해결되지 않으면 데이터가 EDW로 직접 유입되면서 문제가 증폭되어 신뢰를 저해하게 됩니다. 이를 방지하려면 조직은 데이터를 로드하기 전에 데이터 품질 규칙과 유효성 검사를 구현해야 합니다. 이상 현상에 대한 알림을 통한 지속적인 모니터링은 시간이 지나도 품질을 유지하는 데 도움이 됩니다.

확장성도 또 다른 주요 고려 사항입니다. 조직이 성장함에 따라 데이터 양도 필연적으로 늘어납니다. EDW 아키텍처는 처음부터 이러한 성장을 염두에 두고 설계해야 합니다. 클라우드 플랫폼은 필요에 따라 컴퓨팅 및 스토리지 기능을 늘릴 수 있도록 탄력적인 확장을 제공하여 이 작업을 더 쉽게 만듭니다. 데이터를 분할하고 쿼리를 최적화하는 것도 워크로드가 증가할 때 성능을 유지하는 데 도움이 됩니다.

보안 및 액세스 제어 보장

EDW는 매우 많은 민감한 정보를 한곳에 집중시키므로 강력한 보안 관행이 필수적입니다. 최소 권한 원칙을 따르는 RBAC는 사용자가 필요하거나 사용 권한이 있는 데이터만 볼 수 있도록 보장합니다. 개인 식별 정보(PII)와 같은 매우 민감한 데이터의 경우, 조직은 추가 보호를 위해 열 수준 보안 및 동적 데이터 마스킹을 적용하기를 원할 것입니다.

기타 보안 권장사항은 다음과 같습니다.

  • 저장 상태 및 전송 중인 데이터를 보호하기 위한 종단‑간 암호화.
  • 규정 준수 및 검색을 지원하기 위해 모든 쿼리 및 액세스 이벤트를 추적하는 감사 로그입니다.
  • 다단계 인증(MFA)을 통해 무단 액세스를 방지합니다.
  • 정기적인 보안 감사 및 규정 준수 검토.

일반적인 도입 과제 극복

과제: 배포 방식에 따라 EDW 프로젝트를 완전히 배포하는 데 1~5년이 걸릴 수 있습니다.

솔루션: 부담스러워 보일 수 있지만, 단계적 접근 방식은 기대치를 관리하고 진행 상황을 유지하는 데 도움이 될 것입니다. 판매 보고와 같이 가치가 높은 사용 사례로 시작하여 ROI를 입증하고 거기서부터 확장해 나가십시오.

과제: 사용자가 새로운 도구나 프로세스에 저항하는 경우 변경 관리는 또 다른 중요한 과제가 됩니다.

해결책: 교육에 투자하고, 경영진 수준의 후원을 확보 및 소통하며, 초기 성공 사례를 축하하여 추진력을 구축하세요.

과제: 조직이 많은 시스템에 의존하기 때문에 데이터 통합은 종종 복잡합니다.

솔루션: Fivetran 및 Airbyte와 같은 최신 파이프라인 도구는 이 작업을 단순화하며, 팀은 가장 중요한 소스를 먼저 우선적으로 처리해야 합니다.

과제: 비용 문제로 인해 도입이 늦어질 수 있습니다.

솔루션: 클라우드 플랫폼은 더 낮은 진입점을 제공하며, 초기 ROI를 입증하면 지속적인 투자를 정당화하는 데 도움이 됩니다.

결론: 데이터 기반 의사 결정을 위한 기반으로서의 EDW

EDW는 조직 전체의 데이터를 통합하여 일관되지 않은 보고서, 사일로화된 시스템, 신뢰할 수 없는 데이터와 같은 일반적인 기업 문제를 해결하는 보고 및 분석을 위한 일관되고 신뢰할 수 있는 기반이 될 수 있습니다. 이러한 기능은 팀이 확신을 갖고 조치를 취하는 데 필요한 신뢰할 수 있는 정보를 제공함으로써 EDW를 데이터 기반 의사 결정의 핵심 기반으로 만들어 줍니다.

또한 EDW의 이점은 기술을 넘어 확장됩니다. 전체 데이터 품질을 개선하고 분석을 강화하며 ML과 같은 고급 기능을 지원하는 동시에, 다양한 배포 옵션을 통해 필요에 따라 비용, 제어 또는 규정 준수의 우선순위를 정할 수 있는 유연성을 제공합니다. 성공적인 구현을 위해서는 현실적인 기대치, 강력한 데이터 품질 관행, 신중한 변경 관리가 필요하지만, EDW는 조직이 데이터를 귀중한 인사이트로 전환하는 데 도움이 되는 전략적 자산이 될 수 있습니다.

EDW에 대해 자주 묻는 질문

EDW는 무엇의 약자인가요?

EDW는 엔터프라이즈 데이터 웨어하우스를 의미하며, 조직 전체의 데이터를 한데 모아 데이터 기반 의사 결정을 위한 단일 진실 공급원을 제공하는 중앙 집중식 스토리지 시스템입니다.

데이터 웨어하우스와 EDW의 차이점은 무엇인가요?

데이터 웨어하우스(DW)는 일반적으로 마케팅이나 재무와 같은 단일 부서 또는 기능을 지원하는 반면, EDW는 여러 시스템의 데이터를 통합하고 전사적 거버넌스를 적용하며 부서 간 분석을 지원합니다.

데이터 웨어하우스에서 ETL과 ELT란 무엇인가요?

ETL과 ELT는 소스에서 추출된 데이터를 실제 웨어하우스에 통합하는 두 가지 다른 방법을 의미합니다. ETL은 데이터를 웨어하우스에 로드하기 전에 정리하고 변환하는 프로세스를 의미합니다. ELT는 순서가 다른 유사한 프로세스로, 가공되지 않은 데이터를 먼저 추출 및 로드한 다음 EDW의 compute 성능을 사용하여 warehouse 내부에서 변환합니다. ETL은 종종 "전통적인" 접근 방식으로 간주되는 반면, ELT는 더 빠르고 확장성이 뛰어나기 때문에 클라우드 플랫폼에서 호스팅되는 EDW에 더 일반적입니다.

EDW에 어떻게 액세스하나요?

사용자는 일반적으로 BI 도구, 대시보드, SQL query 도구 또는 셀프 서비스 분석 플랫폼을 통해 EDW에 액세스합니다. 대부분의 조직은 사용 편의성을 위해 보안이 설정된 브라우저 기반 액세스를 제공하며, 역할 기반 권한으로 액세스를 제어하여 사용자가 볼 수 있도록 승인된 데이터만 표시되도록 합니다.

    용어집으로 돌아가기