Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Korean
이 과정은 Databricks의 Lakeflow Spark Declarative Pipelines을 사용하여 증분 배치 또는 스트리밍 수집 및 처리를 위해 여러 스트리밍 테이블과 구체화된 뷰를 통해 데이터 파이프라인을 구축하는 데 필요한 핵심 개념과 기술을 소개합니다. Spark Declarative Pipelines을 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하며, 각각의 특정 목적과 차이점을 강조합니다.
다루는 주제는 다음과 같습니다:
- SQL을 사용한 Spark Declarative Pipelines의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)
- 파이프라인 그래프를 통해 Spark Declarative Pipelines이 파이프라인 내 데이터 종속성을 추적하는 방법
- 파이프라인 compute 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성
이어서 본 과정은 Spark Declarative Pipelines에서의 데이터 품질 기대치를 소개하며, 데이터 무결성을 검증하고 강제하기 위해 이러한 기대치를 파이프라인에 통합하는 과정을 안내합니다. 학습자는 스케줄링 옵션 포함 파이프라인을 프로덕션 환경에 배포하는 방법과 파이프라인 성능 및 상태 모니터링을 위한 이벤트 로깅 활성화 방법을 탐구하게 됩니다.
마지막으로, 본 과정은 Spark Declarative Pipelines 내에서 AUTO CDC INTO 구문을 사용하여 변경 데이터 캡처(CDC)를 구현하는 방법을 다루며, 이를 통해 느리게 변경되는 차원(SCD Type 1 및 Type 2)을 관리하고 사용자가 자신의 파이프라인에 CDC를 통합할 수 있도록 준비시킵니다.
Languages Available: English | 日本語 | Português BR | 한국어
- ⇾ Databricks Data Intelligence platform에 대한 기본 이해(Databricks Workspaces, Apache Spark, Delta Lake, 메달리온 아키텍처, Unity Catalog 포함).
⇾ CSV, JSON, TXT, Parquet 등의 형식을 로드하기 위해 read_files SQL 함수를 사용하는 등 원시 데이터를 Delta 테이블로 가져오는 경험.
⇾ SQL을 사용한 데이터 변환 숙련도(중급 수준의 쿼리 작성 및 SQL 조인에 대한 기본 이해 포함).
Outline
Databricks 데이터 엔지니어링 소개
⇾ Databricks 데이터 엔지니어링
⇾ Lakeflow Spark Declarative Pipelines이란?
⇾ 과정 설정 및 파이프라인 생성
⇾ 과정 프로젝트 개요
Lakeflow Spark Declarative Pipelines 기초
⇾ 데이터셋 유형 개요
⇾ 간소화된 파이프라인 개발
⇾ 일반적인 파이프라인 설정
⇾ 간단한 파이프라인 개발
⇾ 기대값을 통한 데이터 품질 보장
Lakeflow Spark Declarative Pipelines 구축
⇾ 스트리밍 조인 개요
⇾ 파이프라인 프로덕션 배포
⇾ 변경 데이터 캡처(CDC) 개요
⇾ AUTO CDC INTO를 활용한 변경 데이터 캡처
⇾ 추가 기능 개요
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
