Netezza에서 Databricks로의 마이그레이션 탐색: 원활한 전환을 위한 팁

왜 Netezza에서 Databricks로 이전해야 하나요?

전통적인 기업 데이터 웨어하우스(EDW) 기기인 Netezza의 한계가 점점 더 분명해지고 있습니다. 이 시스템들은 저장소, 컴퓨트, 메모리 아키텍처가 밀접하게 연결되어 있어 확장성이 제한됩니다. 용량 확장은 종종 비싼 하드웨어 업그레이드를 필요로 하며, 클라우드에서도 이는 유연성이 떨어지는 아키텍처와 높은 비용을 초래합니다. 조직이 Netezza EDW 플랫폼을 현대화하려고 할 때, Databricks Lakehouse로 이전하는 것은 이러한 문제를 극복하는 확장 가능한 클라우드 네이티브 솔루션을 제공합니다. 이는 최고의 가격 대비 성능을 가진 클라우드 데이터 웨어하우스뿐만 아니라 고급 분석 및 데이터 인텔리전스 플랫폼, 스트리밍 및 통합 거버넌스 기능을 제공하여 데이터 아키텍처를 미래에 대비하게 합니다. 

Databricks로 마이그레이션하는 주요 이점 

Netezza에서 Databricks로 이전하는 것은 단순히 리프트 앤 쉬프트 작업이 아니라 데이터 아키텍처를 현대화하고 더 넓은 기능을 활용할 수 있는 기회입니다. 레이크하우스 아키텍처로 이동함으로써, 조직은 밀접하게 연결된 하드웨어 의존적 시스템의 제한에서 벗어나 더욱 확장 가능하고 유연하며 미래 준비가 된 플랫폼을 채택할 수 있습니다. 아래는 Netezza 마이그레이션에 Databricks를 매력적인 대상으로 만드는 주요 이점들입니다.

• 통합 플랫폼: 구조화된 데이터와 비구조화된 데이터 처리를 AI/ML 기능과 결합합니다. Databricks는 클라우드 저장소에 데이터의 단일 복사본을 유지하고 데이터 웨어하우징, 머신 러닝, 그리고 생성적 AI 애플리케이션을 위한 다양한 처리 엔진을 제공하여 관리를 간소화하고 생산성을 향상시킵니다.
• 확장성: 어플라이언스 기반의 Netezza와 달리, Databricks는 클라우드 네이티브 인프라를 통해 무제한의 확장성을 제공합니다. 작업 요구에 따라 자원이 탄력적으로 확장되어 인프라 및 라이선스 비용을 크게 줄이면서도 강한 쿼리 부하 하에서도 성능을 보장합니다.
• 비용 효율성: 사용한 만큼만 지불하는 클라우드 가격 모델로 인프라 비용을 줄입니다.
• 고급 분석: Databricks는 내장 AI, ML, 그리고 GenAI 기능과 같은 전통적인 웨어하우스 어플라이언스에서 사용할 수 없는 고급 분석 기능을 제공합니다. 이 플랫폼은 BI 도구(Tableau, Power BI, ThoughtSpot)와 원활하게 통합되며, 저장 프로시저와 같은 SQL 스크립팅을 지원하여 사용자가 복잡한 분석을 더 효율적으로 수행할 수 있게 합니다.
• 단순화된 데이터 거버넌스: Unity Catalog를 통해 Databricks는 데이터 거버넌스를 단순화하며, 중앙 집중식 보안, 종합적인 감사, 종단 간 데이터 라인, 그리고 모든 데이터 자산에 대한 세분화된 접근 제어를 제공합니다. 
• AI: 데이터를 안전하게 AI 모델과 연결하여 정확하고, 도메인 특화된 애플리케이션을 생성합니다. Databricks는 데이터 인텔리전스 플랫폼 전반에 AI를 도입하여 성능을 최적화하고 지능형 경험을 구축합니다.

Lakehouse 아키텍처를 위한 재설계 

Lakehouse를 위한 재설계

Netezza에서 Databricks로 마이그레이션하는 것은 데이터 아키텍처를 단순화하고 현대화하는 기회입니다. 레이크하우스 아키텍처는 강건하고, 어플라이언스 기반 시스템을 분석과 AI를 지원하는 통합 플랫폼에서 확장 가능한 클라우드 네이티브 접근법으로 대체합니다.

일반적인 접근법은 레이크하우스를 계층화된 영역으로 구성하는 것입니다:

• Bronze Layer: 다양한 소스에서 원시 데이터를 중앙 집중식 착륙 구역으로 가져옵니다. 이 계층은 감사 및 재생 목적으로 데이터의 정확성을 보존합니다.
   
• 실버 레이어: 정제되고, 표준화되며, 도메인 모델링된 데이터를 호스팅합니다. 이곳이 일반적으로 대부분의 변환과 비즈니스 로직이 적용되는 곳입니다.
   
• 골드 레이어: 분석가, 데이터 과학자, 애플리케이션에 맞게 맞춤화된 비즈니스 준비 데이터셋—스타 스키마, 마트, 샌드박스, 데이터 과학 영역—을 제공합니다.
   

이 계층 구조는 명확성, 재사용성, 일관성을 촉진합니다. 또한 데이터 실로를 해소하여 팀 간의 협업을 용이하게 하고 데이터 품질과 접근 제어를 유지합니다​​​​​​.
 

데이터 이전 전략

Netezza에서 데이터를 이전하는 것은 정확성, 성능, 그리고 최소한의 중단을 보장하기 위해 신중한 계획이 필요합니다. 최선의 접근 방식은 작업 부하의 크기와 복잡성, 그리고 기존 인프라에 따라 다릅니다. 아래는 Netezza에서 Databricks로 효율적으로 데이터를 이동하는 데 검증된 전략들입니다.

작업 크기와 복잡성에 따라 적절한 방법을 선택하세요:

1. NZUNLOAD + Auto Loader: Netezza에서 클라우드 저장소로 내보낸 후, Databricks Auto Loader로 가져옵니다.
2. 데이터 수집 파트너: 변경 데이터 캡처(CDC) 지원을 가진 파트너 도구를 사용하세요.
3. Cloud Tools: AWS DMS, Azure Data Factory, 또는 GCP DMS를 사용하여 간소화된 마이그레이션을 진행합니다.
4. JDBC/ODBC 드라이버: Databricks 커넥터를 통한 직접 접근.

코드 및 로직 마이그레이션

Netezza에서 실행되는 Netezza SQL 스크립트, 저장 프로시저, 그리고 ETL 파이프라인은 성능을 최적화하면서 Databricks 호환 형식으로 변환되어야 합니다.

BladeBridge를 이용한 자동 코드 변환

Databricks 마이그레이션 도구, BladeBridge,는 Netezza SQL 방언을 Databricks SQL 스크립트로 자동 변환할 수 있습니다. 

BladeBridge는 NZSQL에서 Databricks SQL로의 변환을 80-90% 이상 자동화할 수 있으며, 저장 프로시저를 모듈화된 Databricks 워크플로우, SQL 스크립팅, 또는 DLT 파이프라인으로 변환합니다. 

 

ETL 파이프라인 현대화 

Databricks는 Informatica나 Control-M과 같은 도구로 전통적으로 관리되는 복잡한 워크플로우를 단순화하는 다양한 옵션을 제공합니다. Databricks에서의 ETL 오케스트레이션 옵션:

1. Databricks 워크플로우: Python 스크립트, 노트북, dbt 변환 등을 지원하는 네이티브 오케스트레이션 도구.
2. DLT 파이프라인: 내장된 데이터 품질 검사와 함께 선언적 파이프라인.
3. 외부 도구: Apache Airflow 또는 Azure Data Factory를 REST API를 통해 통합합니다.

 

BI 및 분석 통합

데이터가 이전되고 파이프라인이 현대화된 후 다음 단계는 분석 및 보고를 위한 접근을 가능하게 하는 것입니다. Databricks는 내장된 도구와 인기 있는 BI 플랫폼과의 원활한 통합을 제공하여, 분석가와 비즈니스 사용자가 데이터를 쿼리하고, 대시보드를 구축하고, 인사이트를 탐색하는 것을 쉽게 만듭니다—레이크하우스에서 데이터를 이동할 필요 없이.

Databricks는 BI를 더 쉽게 만드는 많은 기능을 가진 서버리스 SQL 웨어하우스를 제공합니다: 

1. AI/BI Genie: 우리의 AI 모델은 지속적으로 데이터와 변화하는 비즈니스 개념을 학습하고 적응하여 자연어 Q&A를 사용하여 조직의 맥락 내에서 정확한 답변을 제공합니다. AI/BI Genie를 사용하면 BI 대시보드에서 다루지 않은 질문에 대한 답변을 얻을 수 있습니다. 
2. AI 기반 대시보드: 원하는 시각화를 자연어로 간단히 설명하고 Databricks Assistant가 차트를 생성하게 하세요. 그런 다음, 차트를 클릭하여 수정하세요.
3. 간편한 BI 도구 통합: Databricks SQL은 BI 도구(Power BI, Tableau 등)를 레이크하우스에 쉽게 연결하여 빠른 성능, 낮은 지연 시간, 그리고 데이터 레이크에 대한 높은 사용자 동시성을 제공합니다. 

이전 후 검증

검증은 이전된 데이터셋이 플랫폼 간에 정확성과 일관성을 유지하는 것을 보장합니다. 권장 검증 단계:

1. 소스(Netezza)와 대상(Databricks) 사이의 스키마를 확인합니다.
2. Remorph Reconcile 또는 DataCompy와같은 자동화 도구를 사용하여 행 수와 집계 값을 비교합니다.
3. 쿼리 결과를 검증하기 위해 전환 단계 동안 병렬 파이프라인을 실행합니다.

지식 전달 및 조직 준비

Databricks 개념인 Delta Lake 아키텍처, Spark SQL, 성능 최적화에 대한 지침 등에 대한 팀의 업스킬링은 장기적인 성공을 위해 중요합니다. 교육 추천:

• 분석가들에게 Databricks SQL 웨어하우스 기능에 대해 교육하세요.
• NZSQL에서 DLT 파이프라인으로 전환하는 엔지니어들을 위한 실습을 제공하세요.
• 이전 패턴과 문제 해결 플레이북을 문서화합니다.

예측 가능하고, 위험성이 낮은 마이그레이션

Netezza에서 Databricks로의 이전은 기술뿐만 아니라 데이터 관리와 분석 방식에 있어서도 중요한 변화를 의미합니다. 철저한 계획을 세우고, 플랫폼 간의 주요 차이점을 해결하고, Databricks의 독특한 기능을 활용함으로써, 조직은 향상된 성능, 확장성, 비용 효율성을 제공하는 성공적인 마이그레이션을 달성할 수 있습니다. 

이 마이그레이션 여정은 데이터가 어디에 위치하고 어떻게 작업하는지 현대화하는 기회입니다. 이 팁을 따르고 일반적인 함정을 피함으로써, 귀사는 Databricks 플랫폼으로 원활하게 전환하고 데이터 기반 의사결정을 위한 새로운 가능성을 개방할 수 있습니다. 

이전의 기술적 측면이 중요하긴 하지만, 조직의 준비도, 지식 전달, 채택 전략에 동등한 주의를 기울여야 장기적인 성공을 보장할 수 있다는 것을 기억하세요.

다음에 할 일

이전은 어려울 수 있습니다. 항상 균형을 맞추어야 할 타협점과 예상치 못한 문제와 지연을 관리해야 합니다. 이전의 사람, 프로세스, 기술 측면에 대한 검증된 파트너와 솔루션이 필요합니다. 우리는 Databricks Professional Services 와 우리의 인증된 이전 파트너를 신뢰하는 것을 추천합니다. 이들은 고품질의 이전 솔루션을 적시에 제공하는 데 광범위한 경험을 가지고 있습니다. 연락 하여 이전 평가를 시작하세요.

우리는 완전한 Netezza에서 Databricks로의 이전 가이드를 가지고 있습니다–여기에서 무료 복사본을 받으세요.  

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)