주요 컨텐츠로 이동

Advanced Techniques with Apache Spark Declarative Pipelines - Korean

이 과정에서는 생산 수준의 스트리밍 파이프라인을 구축하기 위한 Databricks의 Apache Spark Declarative Pipelines(SDP)를 살펴봅니다. 실제 레이크하우스 엔지니어링에 필수적인 고급 설계 패턴, 강력한 데이터 품질 적용, 그리고 크로스 플랫폼 통합을 학습합니다.


과정 전반에 걸쳐 최신 데이터 수집 및 처리 기법을 심층적으로 다루며, 레이아웃 최적화를 위한 Liquid 클러스터링과 혼합 스키마 이벤트를 위한 Multiplex 스트리밍 패턴 등의 도구를 마스터합니다. 모듈을 마칠 때쯤에는 스키마 진화를 자신 있게 처리하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 보장하는 방법을 익히게 됩니다.


강의와 실습 데모를 통해 다음을 수행합니다.

• 다중 소스 데이터를 통합된 브론즈 테이블로 수집하는 멀티 플로우 파이프라인을 구축합니다.

• 실버 및 골드 레이어 전반에 걸쳐 Liquid 클러스터링과 데이터 품질 Expectations를 적용합니다.

• 크로스 플랫폼 데이터 액세스를 위해 Iceberg UniForm과 함께 Multiplex 패턴을 구현합니다.

• AUTO CDC INTO를 사용하여 SCD Type 2 이력 추적을 자동화합니다.

• 잘못된 레코드를 감사하고 관리하는 데이터 손실 없는 격리 파이프라인을 설계합니다.


참고: 

1. 이 과정은 'Databricks를 활용한 고급 데이터 엔지니어링' 시리즈의 첫 번째 과정입니다.

2. SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫으십시오. ‘다음 레슨’ 버튼을 클릭하지 마십시오. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Skill Level
Professional
Duration
4h
Prerequisites

이 콘텐츠는 다음과 같은 기술, 지식 및 능력을 갖춘 수강생을 대상으로 개발되었습니다:

• Spark Declarative Pipelines — "Build Data Pipelines with Apache Spark Declarative Pipelines" 과정 수료 또는 CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS, Pipelines UI에 대한 숙지

• Delta Lake Fundamentals — Delta 테이블과 Delta가 데이터 파일 및 트랜잭션 로그를 관리하는 방식에 대한 이해

• 스트리밍 개념 — SDP에서의 마이크로 배치 스트리밍, 체크포인팅, 이벤트 시간 처리에 대한 지식

• SQL 활용 능력 — SELECT, JOIN, MERGE, CASE WHEN 및 일반적인 집계 함수를 포함한 SQL 읽기 및 작성 능력

• Databricks Notebooks에서의 Python — Databricks 노트북에서 Python 코드를 읽고 실행하는 것에 대한 숙련도

• Unity Catalog 기초 — Unity Catalog의 카탈로그, 스키마, 테이블, Volumes에 대한 이해

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.