웨어하우스에서 레이크하우스로: Databricks로의 마이그레이션 접근법

건축적 결정을 내리기 전에, 더 넓은 이주 전략을 다시 검토하는 것이 가치가 있습니다. 우리의 이전 포스트에서, 우리는 Databricks 전문 서비스의 복잡한 데이터 웨어하우스 이주 접근법을 소개하였고, 전략과 디자인에 대한 초기 결정의 중요성을 강조하였습니다. 이러한 기본적인 선택들은 대상 플랫폼의 구현과 아키텍처에 직접적인 영향을 미칩니다.

우리는 또한 두 가지 시퀀싱 전략을 소개했습니다: ETL-first와 BI-first. BI-first 접근법은 소비 계층을 현대화함으로써 빠른 가치를 제공하며, ETL-first 접근법은 상류 파이프라인에 초점을 맞춥니다. 각각은 우선순위에 따라 적절한 위치를 가지고 있습니다.

이 포스트에서는 가장 중요한 디자인 선택 중 하나인 Lift-and-Shift 방식과 현대화 방식 사이에서 선택하는 것을 탐구합니다. 각 접근법이 무엇을 의미하는지, 언제 사용해야 하는지, 그리고 이를 어떻게 병합하여 Databricks에서 장기적인 성공을 위한 하이브리드 접근법으로 만드는지 설명합니다.

전략에서 마이그레이션 접근법까지: 올바른 경로 선택

더 넓은 이주 전략—ETL-first 또는 BI-first—에 동의한 후 다음 주요 결정은 이주를 어떻게 구조화할 것인지입니다. 기존의 것을 복제하시겠습니까, 아니면 미래를 위해 재상상하시겠습니까?

이 건축적 결정은 일반적으로 두 가지 핵심 접근법으로 좁혀집니다:

• Lift-and-Shift: 마이그레이션을 가속화하기 위해 작업 부하를 그대로 이동
• 현대화: 장기 효율성과 규모를 확보하기 위해 플랫폼을 재설계합니다

적절한 접근 방식은 귀하의 목표, 제약 사항, 그리고 시간표에 따라 달라집니다. 아래에서는 각각의 타협점을 분석하고, 많은 조직들이 두 가지의 장점을 결합하기 위해 사용하는 하이브리드 모델을 포함하였습니다.

Lift and shift 이주 

Lift-and-Shift는 기존의 데이터 모델과 코드베이스를 최소한의 변경으로 새로운 플랫폼으로 이동하는 것을 포함합니다. 새로운 사용 사례를 도입하지 않고, 아키텍처는 그대로 유지됩니다.

이 접근법은 범위를 정하고, 계획하고, 자동화하기 쉽기 때문에 매력적입니다. 프로파일러와 코드 분석기와 같은 도구들은 작업 패턴, 복잡성, 비용을 측정하는 데 도움을 주어 평가하고 실행하는 것을 더 쉽게 만듭니다.

주요 이점들은 다음과 같습니다:

• 예측 가능한 타임라인
• 자동화 도구 (예: 코드 변환기, 대조 검증기)
• 마감일이나 만료된 라이선스에 직면할 때 더 빠른 이주

예를 들어, 코드 변환기는 스크립트의 최대 80%를 자동으로 처리할 수 있습니다. 기능성은 동일하게 유지되므로, 두 시스템에서 유효성 검사를 하고 쿼리를 실행하고 출력을 비교하는 것이 더 쉽습니다.

Databricks에서, Lift-and-Shift는 z-정렬과 액체 클러스터링과 같은 기능을 사용하여 즉시 성능 향상을 얻으면서 레거시 플랫폼에서 빠르게 벗어날 수 있습니다. 이주가 완료된 후에, 귀하의 조직은 플랫폼을 점진적으로 현대화하기 시작할 수 있습니다.

이주 패턴을 현대화하십시오

현대화는 Lift-and-Shift와 대조적으로, 기존 아키텍처에 제약받지 않고 목표 시스템에서 새로운 데이터 플랫폼을 구축하는 것을 의미합니다. 단순히 기존 자산을 이전하는 것에서 벗어나 사용 사례를 재상상하고 미래의 필요성을 위해 설계하는 것에 초점이 이동합니다. 구식 최적화를 매핑하는 대신, 최상의 사례와 레이크하우스의 잘 구축된 기둥을 구현합니다.

오픈 레이크하우스에서는 이것이 코드를 리팩토링하고 데이터 구조를 재구성하여 귀하의 조직의 현재 및 미래의 확장성, 성능, 비용, 그리고 기능 요구사항을 충족시키는 것을 의미하며, 이는 레거시 제한에서 자유롭습니다.

도구는 여전히 유용하지만, 더 많이 발견하고 계획하는 데 사용됩니다:

• 프로파일러와 코드 분석기는 이주해야 할 것들을 목록화하는 데 도움이 됩니다
• 이것은 직접적인 코드 번역이 아니기 때문에 코드 변환기와 화해 도구는 최소한의 역할을 합니다.

이 접근법은 유연한 시간표를 가지고 있고, 낡았거나 과도하게 복잡한 레거시 시스템이 있을 때, 종종 수천 개의 테이블과 스크립트가 있는 경우에 이상적입니다. 처음부터 시작하는 것은 느리고 압도적으로 느껴질 수 있지만, 장기적인 이점은 상당합니다: 단순화된 아키텍처, 더 나은 성능, 그리고 유지 보수 비용의 감소.

그러나, 수천 개의 스크립트를 이전하는 것은 종종 그들의 유지 관리 복잡성을 유지하는 것을 의미합니다. 그것이 어렵게 느껴진다면, Databricks Professional Services 또는 인증된 이주 전문가와 파트너십을 고려하여 계획 및 설계 단계를 도와주고 더욱 원활한 경로를 보장하는 것을 고려해 보세요.

하이브리드 접근법: 리프트 앤 쉬프트, 그리고 현대화

또 다른 접근법은 속도와 장기 가치를 균형잡는 하이브리드 이전 전략입니다. 가능한 빠르게 기존 플랫폼을 제거하기 위해 Lift-and-Shift 접근법으로 시작하게 될 것입니다, 특히 만료되는 라이선스와 같은 긴급한 제약 조건에 직면할 때. 자동화와 반복 가능한 도구는 이 초기 단계를 가속화하고 실행 중에 위험을 줄이는 데 도움이 됩니다.

Databricks로 작업 부하를 이전한 후에 현대화 단계로 이동할 수 있습니다. 

하이브리드 접근법에서는 다음을 수행합니다:

• 새롭고 현대적인 데이터 소스 통합
• 데이터 제품 전략 구현
• 고급 분석, AI, 그리고 비즈니스 결정을 이끄는 새로운 사용 사례를 가능하게 합니다

이 단계는 종종 구조적 업데이트를 필요로 하지만 점진적으로 발전할 수 있게 해줍니다. 하이브리드 전략을 사용하면 첫 날에 모든 것을 현대화할 필요가 없습니다. 미래의 요구 사항에 맞춰 안정적인 기반 위에 구축합니다.

이 접근법을 추구하고 있다면, Databricks Professional Services와 인증된 파트너들이 당신의 로드맵을 안내하고, 원활한 전환과 미래 준비 아키텍처를 보장하는데 도움을 줄 수 있습니다.

우리의 관점

이주 접근법을 선택하는 것은 일률적인 것이 아닙니다. 가장 일반적인 접근법은 하이브리드 이주입니다:

1. 자동화 도구를 활용하는 이전 공장을 만듭니다.
2. Lift-and-shift 코드베이스의 대부분. 
3. 박스 밖 최적화를 가능하게 하십시오, 예를 들어 z-정렬 그리고 액체 클러스터링, 당신의 현대화 노력을 시작하십시오.

Databricks는 귀하의 주요 데이터 웨어하우스 역할을 할 수 있습니다. 예를 들어, 저장된 절차를 노트북으로 이주하고 SQL Scripting 을 사용하여 SQL의 편안함을 떠나지 않고 확장성과 AI 통합을 할 수 있습니다. Transact-SQL을 다른 클라우드 데이터 웨어하우스로 이주하는 것은 Python 코드가 SQL 기능을 감싸고 있는 노트북으로 Transact-SQL을 이주하는 것과 비슷한 노력을 필요로 합니다. 노트북을 사용하는 이점은 유연성과 훌륭한 개발 경험을 얻을 수 있다는 것입니다.

다음에 할 일

데이터 웨어하우스를 현대화할 준비가 되셨나요? 우리의 eBook, "레거시 데이터 웨어하우스 변형: 전략적 마이그레이션 블루프린트,"를 다운로드하여 Databricks Data Intelligence Platform으로의 저위험 전환을 보장하는 상세 전략과 모범 사례를 확인해보세요.

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)