Advanced Techniques with Spark Declarative Pipelines - Korean
이 과정은 프로덕션 수준의 스트리밍 파이프라인을 구축하기 위한 Databricks의 Lakeflow Spark Declarative Pipelines(SDP)를 심층적으로 다룹니다. 여러분은 실제 레이크하우스(Lakehouse) 엔지니어링에 필수적인 고급 설계 패턴, 견고한 데이터 품질 관리 기법, 그리고 크로스 플랫폼 통합 방안을 학습하게 될 것입니다.
과정 전반에 걸쳐 여러분은 최신 데이터 수집 및 처리 기법을 깊이 있게 탐구하며, 레이아웃 최적화를 위한 Liquid Clustering이나 혼합 스키마 이벤트를 처리하는 Multiplex Streaming 패턴과 같은 도구들을 완벽하게 익히게 됩니다. 모든 모듈을 마치고 나면, 스키마 진화(Schema Evolution)에 자신 있게 대처하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 확실하게 보장하는 방법을 습득하게 될 것입니다.
강의와 실습 데모를 통해 여러분은 다음과 같은 역량을 갖추게 됩니다.
• 다중 소스에서 유입되는 데이터를 단일화된 Bronze 테이블로 수집하는 다중 흐름(Multi-flow) 파이프라인을 구축합니다.
• 실버 및 골드 레이어 전반에 걸쳐 리퀴드 클러스터링과 데이터 품질 기대치를 적용합니다.
• 크로스 플랫폼 데이터 접근을 위해 Iceberg UniForm을 활용한 Multiplex 패턴을 구현합니다.
• `AUTO CDC INTO` 기능을 사용하여 SCD Type 2 이력 추적을 자동화합니다.
• 유효하지 않은 레코드를 감사하고 관리하기 위한, 데이터 손실이 전혀 없는 격리(Quarantine) 파이프라인을 설계합니다.
참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.
Languages Available: English | 日本語 | Português BR | 한국어
이 과정에서는 다음과 같은 기술/지식/능력을 가진 참가자들을 위해 내용이 개발되었습니다:
• Spark Declarative Pipelines — "Lakeflow Spark Declarative Pipelines으로 데이터 파이프라인 구축하기" 과정 수료, 또는 CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS, 및 파이프라인 UI에 대한 숙지
• Delta Lake 기초 — Delta 테이블에 대한 이해 및 Delta가 데이터 파일과 트랜잭션 로그를 관리하는 방식에 대한 이해
• 스트리밍 개념 — SDP(Spark Declarative Pipelines)에서의 마이크로 배치 스트리밍, 체크포인팅, 및 이벤트 시간 처리(event-time processing)에 대한 지식
• SQL 활용 능력 — SELECT, JOIN, MERGE, CASE WHEN 및 일반적인 집계 함수를 포함한 SQL 읽기 및 작성 능력
• Databricks Notebook에서의 Python — Databricks Notebook 환경에서 Python 코드를 읽고 실행하는 데 익숙함
• Unity Catalog 기초 — Unity Catalog 내의 카탈로그, 스키마, 테이블, 및 볼륨에 대한 이해
Outline
• SDP에서의 다중 흐름, 기대치 및 액체 클러스터링 입문
• 데모 : 리퀴드 클러스터링 및 데이터 품질을 갖춘 Multi Flow SDP
• 다중화 스트리밍, Delta Sink 및 Iceberg Read 소개
• 데모 : Delta Sink 및 Iceberg Read를 활용한 다중 스트리밍 SDP
• 변경 데이터 캡처(CDC) 복습
• 데모 : Lakeflow Spark Declarative Pipelines에서 AUTO CDC를 활용한 SCD Type 2 자동화
• SDP에서의 고급 데이터 품질 검사 및 기대 사항
• 데모 : SDP에서의 고급 데이터 품질 검사 및 기대치
• 랩 - SDP를 활용한 멀티 소스 전자상거래 파이프라인 구축
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
지금 등록하세요
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
지금 등록하세요
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
