Data Engineering with Databricks - Korean

이 과정은 Databricks를 활용한 데이터 엔지니어링 학습을 위한 적절한 입문 과정입니다.
아래에서는 본 과정에 포함된 4개의 4시간 모듈을 각각 설명합니다.

1. Lakeflow Connect를 활용한 데이터 인제스트

본 과정은 다양한 데이터 소스에서 Databricks로 데이터를 인제스트하기 위한 확장 가능하고 간소화된 솔루션인 Lakeflow Connect에 대한 포괄적인 소개를 제공합니다. Lakeflow Connect 내의 다양한 커넥터 유형(표준 및 관리형)을 살펴보고, 배치, 증분 배치, 스트리밍 등 다양한 인제스트 기법을 학습한 후, 델타 테이블과 메달리온 아키텍처의 주요 이점을 검토하게 됩니다.

이후 CREATE TABLE AS(CTAS), COPY INTO, Auto Loader 등의 방법을 활용하여 Lakeflow Connect 표준 커넥터로 클라우드 객체 저장소에서 데이터를 효율적으로 수집하는 실무 기술을 습득하고, 각 접근 방식의 장점과 고려 사항을 알아봅니다. Databricks 데이터 인텔리전스 플랫폼으로 데이터를 인제스트할 때 브론즈 레벨 테이블에 메타데이터 컬럼을 추가하는 방법을 학습합니다. 이어서 브론즈 테이블 스키마와 일치하지 않는 레코드를 처리하는 ‘구출된 데이터(rescued data)’ 컬럼을 다루며, 이 구출된 데이터를 관리하는 전략을 익힙니다.

본 과정에서는 반구조화 JSON 데이터의 인제스트 및 플랫닝 기법과 Lakeflow Connect 관리형 커넥터를 활용한 엔터프라이즈급 데이터 인제스트 기술도 소개합니다.

마지막으로 학습자는 MERGE INTO 작업 및 Databricks Marketplace 활용을 포함한 대체 인제스트 전략을 탐구하며, 현대적인 데이터 엔지니어링 인제스트를 지원하기 위한 기초 지식을 습득하게 됩니다. 

2. Lakeflow Jobs를 통한 워크로드 배포

Lakeflow Jobs를 활용한 워크로드 배포 과정에서는 Lakeflow Jobs를 사용하여 데이터, 분석 및 AI 워크플로를 오케스트레이션하고 자동화하는 방법을 가르칩니다. 유연한 스케줄링, 고급 오케스트레이션, 안정성과 효율성을 위한 모범 사례를 통해 Databricks 데이터 인텔리전스 플랫폼 내에서 원활하게 통합된 견고하고 생산 환경에 적합한 파이프라인을 구축하는 방법을 배우게 됩니다. Databricks, Python 및 SQL에 대한 사전 경험이 권장됩니다.

3. Lakeflow Declarative Pipelines을 활용한 데이터 파이프라인 구축

이 과정은 Databricks의 Lakeflow Declarative Pipelines을 사용하여 증분 배치 또는 스트리밍 수집 및 처리를 위해 여러 스트리밍 테이블과 구체화된 뷰를 통해 데이터 파이프라인을 구축하는 데 필요한 핵심 개념과 기술을 소개합니다. Lakeflow Declarative Pipelines을 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하며, 각각의 특정 목적과 차이점을 강조합니다.

다루는 주제는 다음과 같습니다:

⇾ SQL을 사용한 Lakeflow의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)

⇾ Lakeflow Declarative Pipelines이 파이프라인 그래프를 통해 파이프라인 내 데이터 종속성을 추적하는 방식

⇾ 파이프라인 컴퓨팅 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성

다음으로, 본 과정은 Lakeflow의 데이터 품질 기대치를 소개하며, 데이터 무결성을 검증하고 강제하기 위해 이러한 기대치를 파이프라인에 통합하는 과정을 안내합니다. 학습자는 스케줄링 옵션, 프로덕션 모드, 파이프라인 성능 및 상태 모니터링을 위한 이벤트 로깅 활성화 등을 포함하여 파이프라인을 프로덕션에 배포하는 방법을 탐구하게 됩니다.

마지막으로, Lakeflow Declarative Pipelines 내에서 APPLY CHANGES INTO 구문을 사용하여 Change Data Capture (CDC)를 구현하는 방법을 다루며, 천천히 변화하는 차원(SCD Type 1 및 Type 2)을 관리하고 사용자가 자신의 파이프라인에 CDC를 통합할 수 있도록 준비시킵니다.

4. Unity Catalog를 활용한 데이터 관리 및 거버넌스

이 과정에서는 Databricks Unity Catalog를 사용한 데이터 관리 및 거버넌스에 대해 학습합니다. 데이터 거버넌스의 기초 개념, 데이터 레이크 관리의 복잡성, Unity Catalog의 아키텍처, 보안, 관리, 그리고 세분화된 접근 제어, 데이터 분리, 권한 관리와 같은 고급 주제를 다룹니다.

* 본 과정은 Associate Data Engineering 인증 시험을 준비할 수 있도록 설계되었으며, Databricks를 활용한 고급 데이터 엔지니어링 과정 수강에 필요한 필수 지식을 제공합니다.

Languages Available: English | 日本語 | Português BR | 한국어 | Español