Databricks가 검증된 전략과 도구로 데이터 웨어하우스 마이그레이션을 어떻게 단순화하는지

Databricks로 이동하여 데이터 웨어하우스를 현대화하십시오

기업용 데이터 웨어하우스(EDWs)는 확장을 목표로 하는 비즈니스와 고급 분석을 채택하는 데 장애물이 되고 있습니다. 전통적인 EDWs는 다음과 같은 문제에 직면합니다:

• 확장성: 비싼 하드웨어 업그레이드로 인해 프로젝트가 지연되고 성장이 제한됩니다.
• 비용 효율성: 높은 초기 자본 비용 대 유연한 사용량별 결제 클라우드 모델.
• 고급 분석: 실시간 인사이트, AI, 그리고 머신 러닝(ML)에 대한 지원이 제한적입니다.
• 유연성: 새로운 사용 사례에 적응하거나 다양한 데이터 소스를 통합할 수 없는 유연성이 없는 시스템.

현대적인 플랫폼인 Databricks로 이전하면 탄력적인 확장성, 감소된 비용, 내장 보안 기능, 오픈 소스 기술 통합이 가능해져서 벤더 락인을 피할 수 있습니다. 이러한 변화는 조직이 실시간 분석과 AI 기반 의사결정을 활용할 수 있게 하며, 그들의 인프라를 미래에 대비하게 합니다.

고객들은 또한 레이크하우스로 이동함으로써 이러한 이점을 인식하고 있습니다. 이 Trek Bicycle의 사례 연구를 확인해 보세요! 

Databricks가 도입되기 전에는, 우리는 북미 시간에 맞춰 매일 소매 분석을 실행해야 했는데, 이로 인해 다른 지역에서는 데이터를 늦게 받았습니다. 이제 우리는 하루에 세 번씩 레이크하우스를 새로 고치며, 각 지역별로 한 번씩, 그리고 이해관계자들은 결정을 내리는 데 필요한 시간에 신선한 데이터를 받습니다. 우리가 레이크하우스에서 달성한 결과를 바탕으로, 우리는 모든 새로운 프로젝트에 Databricks를 우선적으로 접근하고 있습니다. 우리는 온프레미스 BI 솔루션 중 많은 부분을 Databricks로 마이그레이션하고 있습니다. 왜냐하면 우리는 레이크하우스에 올인하고 있기 때문입니다.

— Advait Raje, 데이터 엔지니어링 팀 책임자, Trek Bicycle

낮은 위험으로 이주하는 검증된 전략

EDW를 이전하는 것은 복잡하지만 위험하지 않아야 합니다. Databricks는 수백 명의 고객이 사용한 구조화된 5단계 프레임워크를 제공하여 원활한 전환을 보장합니다. 

고객들은 이 마이그레이션 전략을 사용하여 마이그레이션 프로젝트를 가속화하고 있습니다. 이 VGZ의 사례 연구를 확인해 보세요! 

새로운 데이터 플랫폼은 초기 설정과 골든 소스 추출을 위한 한 분기, 그리고 안정화를 위한 한 분기를 이어서 세 분기 내에 원활하게 구현되었습니다. 이 효율적인 롤아웃은 우리의 기대를 초과하는 결과를 가져다주었고, 우리를 매우 만족스럽게 만들었습니다.

— 로한 호스트만, 데이터 솔루션 아키텍트, VGZ

단계 1: 평가 

현재 환경에 대한 종합적인 평가는 성공의 기반을 마련합니다. 주요 평가 항목은 다음과 같습니다:

• 비즈니스 사용 사례: 이해당사자의 의견을 바탕으로 중요한 작업 부하와 미래의 필요성을 식별합니다.
• 아키텍처 평가: 의존성, 데이터 흐름, 그리고 통합 포인트를 문서화합니다.
• 기술 지표: ETL 프로세스, 쿼리 성능, 그리고 준수 요구사항을 분석합니다.

단계 2: 정의

데이터 웨어하우스의 미래 상태를 설계하는 것은 비즈니스 목표와 기술 능력을 조정하는 것을 포함합니다. 이 단계에는 주요 성과 지표(KPIs)를 정의하는 것도 포함됩니다. 현대화 선택사항에는 다음이 포함됩니다:

• Lift-and-shift 마이그레이션: BladeBridge(이제 Databricks의 일부)와 같은 자동화 도구를 사용하여 레거시 시스템을 빠르게 폐기합니다.
• 완전한 현대화: ML 기반 예측 분석과 같은 고급 사용 사례를 가능하게 하는 워크플로우를 재구축합니다.
• 하이브리드 접근법: Lift-and-shift로 시작하여 새로운 기능을 추가함으로써 점진적으로 현대화합니다.

올바른 기술 스택 선택이 중요합니다—Databricks Lakehouse는 Delta Lake 저장소와 분산 컴퓨팅을 결합하여 확장성과 상호 운용성을 제공합니다.

단계 3: 선택

Databricks는 두 가지 주요 마이그레이션 전략 접근법을 지원합니다:

1. Ingestion and ETL first (back-to-front): 대시보드를 마이그레이션하기 전에 견고한 데이터 기반을 구축합니다—점진적 최적화에 이상적입니다.
2. BI 우선 (앞에서 뒤로): 대시보드를 먼저 복제하여 즉각적인 비즈니스 가치를 보여주는 것이 이상적입니다—사용자 채택을 조기에 촉진하는 데 이상적입니다.

Databricks-native 기능인 Lakehouse Federation을 사용하면 두 전략 간의 전환을 원활하게 할 수 있습니다.

단계 4: 검증

마이그레이션 노력을 확대하기 전에, 가정을 검증하고 잠재적 위험을 식별합니다. 검증은 다음 중 하나를 포함해야 합니다:

• 개념 증명(POC): 특정 파이프라인 또는 쿼리의 실행 가능성을 테스트합니다.
• 최소 기능 제품 (MVP): 작업 부하의 일부에 필수 기능을 제공하여 빠르게 가치를 보여줍니다.

명확한 성공 기준은 이전 과정에 대한 확신을 보장합니다.

단계 5: 구현

마지막 단계는 지속적인 성능 최적화와 모니터링을 통한 전체 규모의 구현을 포함합니다. 주요 초점 영역은 다음과 같습니다:

• 준수를 위한 데이터 거버넌스 및 보안 정책.
• 인덱싱, 캐싱, 자동 확장 메커니즘을 통한 성능 튜닝.
• 문제를 미리 파악하고 비용을 최적화하기 위한 지속적인 모니터링.

지식 전달

모든 마이그레이션의 마지막 단계는 지식 전달입니다. 성공적인 마이그레이션은 기술적 구현을 넘어 조직적 적용과 전문성 개발을 포함합니다. 팀이 Databricks 플랫폼을 효과적으로 활용할 수 있도록 지식 획득 및 새로운 워크플로우와 기능에 대한 문화 적응을 위한 신중한 계획이 필요합니다.

기술 개발 및 변화 관리, 철저한 문서화 및 지식 기반을 포함하는 것을 잊지 마세요.

이주를 간소화하는 Databricks 도구들

Databricks는 Delta Lake의 통합 저장 형식, 자동화된 ETL 파이프라인, 주요 ISV 와의 통합과 같은 목적에 맞게 제작된 기능으로 마이그레이션을 가속화합니다. 이러한 도구들은 복잡성을 줄이면서 실시간 분석과 AI 기반 인사이트를 가능하게 합니다.

다음 단계

데이터 웨어하우스를 현대화하려고 준비하셨나요? 우리의 eBook, “Transforming Legacy Data Warehouses: A Strategic Migration Blueprint을 다운로드 받아, Databricks Data Intelligence Platform으로의 저위험 전환을 보장하는 상세한 전략과 모범 사례를 확인하세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)