Advanced Data Engineering with Databricks - Korean

이 과정은 고급 데이터 엔지니어링 with Databricks를 배우기 위한 적절한 입문 과정입니다. 

아래에서는 이 과정에 포함된 4개의 4시간짜리 모듈에 대해 각각 설명합니다.

참고: Databricks Academy는 Databricks 환경 내 강의 세션을 노트북 기반 형식으로 전환하며, 첫  모듈 강의에서 슬라이드 데크 사용을 중단합니다. 강의 노트북은 Vocareum 랩 환경에서 확인할 수 있습니다.

Advanced Techniques with Spark Declarative Pipelines

이 과정은 프로덕션 수준의 스트리밍 파이프라인을 구축하기 위한 Databricks의 Lakeflow Spark Declarative Pipelines(SDP)를 심층적으로 다룹니다. 여러분은 실제 레이크하우스(Lakehouse) 엔지니어링에 필수적인 고급 설계 패턴, 견고한 데이터 품질 관리 기법, 그리고 크로스 플랫폼 통합 방안을 학습하게 될 것입니다.

과정 전반에 걸쳐 여러분은 최신 데이터 수집 및 처리 기법을 깊이 있게 탐구하며, 레이아웃 최적화를 위한 Liquid Clustering이나 혼합 스키마 이벤트를 처리하는 Multiplex Streaming 패턴과 같은 도구들을 완벽하게 익히게 됩니다. 모든 모듈을 마치고 나면, 스키마 진화(Schema Evolution)에 자신 있게 대처하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 확실하게 보장하는 방법을 습득하게 될 것입니다.

강의와 실습 데모를 통해 여러분은 다음과 같은 역량을 갖추게 됩니다.

• 다중 소스에서 유입되는 데이터를 단일화된 Bronze 테이블로 수집하는 다중 흐름(Multi-flow) 파이프라인을 구축합니다.

• 실버 및 골드 레이어 전반에 걸쳐 리퀴드 클러스터링과 데이터 품질 기대치를 적용합니다.

• 크로스 플랫폼 데이터 접근을 위해 Iceberg UniForm을 활용한 Multiplex 패턴을 구현합니다.

• `AUTO CDC INTO` 기능을 사용하여 SCD Type 2 이력 추적을 자동화합니다.

• 유효하지 않은 레코드를 감사하고 관리하기 위한, 데이터 손실이 전혀 없는 격리(Quarantine) 파이프라인을 설계합니다.

Databricks Data Privacy

이 콘텐츠는 Databricks 내에서 데이터 프라이버시를 관리하는 포괄적인 가이드를 제공합니다. 델타 레이크 아키텍처, 지역별 데이터 격리, GDPR/CCPA 준수, 변경 데이터 피드(CDF) 사용법 등 핵심 주제를 다룹니다. 실습 데모와 핸즈온 랩을 통해 참가자는 민감한 데이터를 보호하고 규정 준수를 보장하기 위한 Unity catalog 기능을 활용하는 방법을 배우며, 데이터 무결성을 효과적으로 보호할 수 있는 역량을 강화합니다.

Databricks Performance Optimization

이 과정에서는 Spark와 Delta Lake를 활용해 워크로드와 물리적 레이아웃을 최적화하는 방법을 배우고, Spark UI를 분석하여 성능을 평가하고 애플리케이션을 디버깅하는 방법을 익히게 됩니다. 스트리밍, 유동적 클러스터링, 데이터 스키핑, 캐싱, 포토네이션 등 다양한 주제를 다룰 예정입니다. 

Automated Deployment with Declarative Automation Bundles

이 과정은 DevOps 원칙과 이를 Databricks 프로젝트에 적용하는 방법에 대한 포괄적인 개요를 제공합니다. 먼저 핵심 DevOps, DataOps, continuous integration (CI), continuous deployment (CD), 테스트에 대한 개요를 다룬 후, 이러한 원칙을 데이터 엔지니어링 파이프라인에 어떻게 적용할 수 있는지 살펴봅니다.

이어서 이 과정은 CI/CD 프로세스 내의 지속적 배포에 중점을 두고, 프로젝트 배포를 위한 Databricks REST API, SDK, CLI와 같은 도구를 살펴봅니다. 선언형 자동화 번들(DAB)과 이것이 CI/CD 프로세스에 어떻게 통합되는지 배우게 됩니다. DAB의 주요 구성 요소와 폴더 구조를 심층적으로 살펴보고, Databricks의 다양한 대상 환경에서 배포를 어떻게 간소화하는지 알아봅니다. 또한 Databricks CLI를 사용하여 서로 다른 구성을 가진 여러 환경에 대해 선언형 자동화 번들에 변수를 추가하고, 수정하고, 검증하고, 배포하고, 실행하는 방법을 배우게 됩니다.

마지막으로, 이 과정에서는 선언형 자동화 번들을 로컬에서 빌드, 테스트 및 배포하고 개발 프로세스를 최적화하기 위한 대화형 개발 환경(IDE)으로 Visual Studio Code를 소개합니다. 과정의 마지막 부분에서는 GitHub Actions를 사용하여 배포 파이프라인을 자동화함으로써 선언형 자동화 번들과 함께 CI/CD 워크플로를 강화하는 방법을 다룹니다.

이 과정을 마치면 Databricks 프로젝트 배포를 Declarative Automation Bundles로 자동화하여 DevOps 관행을 통해 효율성을 높일 수 있는 역량을 갖추게 됩니다.

Languages Available: English | 日本語 | Português BR | 한국어