주요 컨텐츠로 이동

Build Data Pipelines with Apache Spark Declarative Pipelines - Korean

이 과정은 Databricks에서 Apache Spark™ Declarative Pipelines(SDP)를 사용하여 증분 배치 또는 스트리밍 수집 및 처리를 위한 데이터 파이프라인을 구축하는 데 필요한 핵심 개념과 기술을 사용자에게 소개합니다. 여러 스트리밍 테이블과 구체화된 뷰를 통해 처리 과정을 다룹니다. Spark Declarative Pipelines를 처음 접하는 데이터 엔지니어를 대상으로 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰 등 핵심 구성 요소에 대한 포괄적인 개요를 제공하며, 각 구성 요소의 목적과 차이점을 중점적으로 설명합니다.


다루는 주제는 다음과 같습니다:

• SQL을 사용하여 Spark Declarative Pipelines의 다중 파일 편집기로 ETL 파이프라인을 개발하고 디버깅하기 (Python 코드 예제 포함)

• Spark Declarative Pipelines가 파이프라인 그래프를 통해 파이프라인 내 데이터 의존성을 추적하는 방법

• 파이프라인 compute 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성


다음으로, 이 과정은 Spark Declarative Pipelines의 데이터 품질 기대값을 소개하고, 데이터 무결성을 검증하고 적용하기 위해 파이프라인에 기대값을 통합하는 과정을 안내합니다. 학습자는 스케줄링 옵션 설정, 파이프라인 이벤트 로깅 활성화를 포함하여 파이프라인을 생산 환경에 배포하는 방법을 탐험하고, 파이프라인 성능과 상태를 모니터링하는 방법도 학습합니다.


마지막으로, 이 과정은 Spark Declarative Pipelines 내에서 AUTO CDC INTO 구문을 사용하여 변경 데이터 캡처(CDC)를 구현하고 점진적 변경 차원(SCD Type 1 및 Type 2)을 관리하는 방법을 다루며, 사용자가 자신의 파이프라인에 CDC를 통합할 수 있도록 준비시킵니다.


참고: Databricks Academy는 Databricks 환경 내 강의실 세션을 위해 notebook 기반 형식으로 전환하고 있으며, 강의용 슬라이드 덱 사용을 중단합니다. 강의 notebook은 Vocareum lab 환경에서 액세스할 수 있습니다.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites
이 과정의 콘텐츠는 다음과 같은 기술/지식/역량을 갖춘 참석자를 대상으로 개발되었습니다.

• Databricks Workspaces, Apache Spark, Delta Lake, 메달리온 아키텍처, Lakeflow Jobs 및 Unity Catalog를 포함한 Databricks Data Intelligence Platform에 대한 기본적인 이해.

• CSV, JSON, TXT, Parquet 등의 형식을 로드하기 위해 read_files SQL 함수를 사용하는 것을 포함하여 가공되지 않은 데이터를 Delta 테이블로 수집한 경험.

• 중급 수준의 쿼리 작성 및 SQL 조인에 대한 기본적인 이해를 포함하여 SQL을 사용한 데이터 변환 능력.

• ETL 개념 및 배치/스트리밍 워크플로에 대한 이해.

Outline

Apache Spark™ Declarative Pipelines로 데이터 파이프라인 구축

• Databricks의 데이터 엔지니어링 소개

• 데모: 과정 설정 및 파이프라인 생성

• 코스 프로젝트 및 데이터셋 유형 개요

• 간소화된 파이프라인 개발 및 일반적인 파이프라인 설정

• 데모: 간단한 파이프라인 개발

• Expectations를 활용한 데이터 품질 보장

• 데모: 데이터 품질 기대치 추가

• 실습: 파이프라인 생성

• 스트리밍 조인 및 파이프라인 생산 배포

• 데모: 파이프라인을 생산 환경에 배포하기

• 변경 데이터 캡처(CDC) 개요

• 데모: AUTO CDC를 사용한 SCD TYPE 1 변경 데이터 캡처

• 요약 및 다음 단계

• 실습: AUTO CDC INTO with SCD Type 1

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Databricks Performance Optimization - Korean

Databricks Performance Optimization은 데이터 엔지니어와 애널리스트에게 Databricks Data Intelligence Platform에서 성능 병목 현상을 진단, 측정 및 해결하는 방법과 성능 개선 사항을 비용과 연결하는 방법을 교육합니다. 이 과정은 측정 우선, 플랫폼 우선 워크플로를 따릅니다. 즉, 플랫폼의 자동 최적화 기능이 핵심 작업을 처리하도록 하고, Query Profile과 시스템 테이블을 사용하여 적용된 내용을 확인한 후, 필요한 경우 수동으로 튜닝합니다.

학습자는 Query Profile, Performance Insights, 쿼리 이력 시스템 테이블을 활용하여 성능 측정의 기초를 다집니다. 이를 바탕으로 데이터 레이아웃과 자체 튜닝 관리형 테이블, Liquid 클러스터링, 캐싱 및 중간 결과, 셔플, 스큐, 스필, 행 폭발, 드라이버 성능, Python UDF, 서버리스 compute, Photon, 비용 귀속 등 주요 최적화 기법을 탐색합니다.

과정 전반에 걸쳐 학습자는 합성 소매 데이터에 대해 의도적으로 느리게 설계된 쿼리를 살펴보고, 다양한 최적화 기법이 성능에 미치는 영향을 확인합니다. 파일 프루닝, 태스크 실행 시간, Photon 커버리지, 비용 등의 근거를 활용하여 개선 사항을 평가합니다. 시나리오 기반 실습 두 가지를 통해 진단부터 검증까지 최적화 워크플로를 강화합니다.

참고: Databricks Academy는 Databricks 환경 내 강의실 세션을 노트북 기반 형식으로 전환하고 있으며, 강의에서 슬라이드 덱 사용을 중단하고 있습니다. Vocareum 랩 환경에서 강의 노트북에 액세스할 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
4h
Lab
instructor-led
Professional

Advanced Machine Learning with Databricks - Korean

이 과정은 데이터 과학자와 머신 러닝 실무자를 대상으로 하며, 4시간 모듈 2개로 구성되어 있습니다.

Machine Learning at Scale

이 과정에서는 Apache Spark의 아키텍처와 Databricks 내 머신 러닝 워크로드에 대한 적용에 관한 이론적·실무적 지식을 습득합니다. 데이터 준비, 모델 학습 및 배포에 Spark를 활용하는 시점을 학습하는 동시에, Spark ML 및 Spark 기반 Pandas APIs에 대한 실습 경험을 쌓습니다. 이 과정에서는 하이퍼파라미터 튜닝 및 Spark를 활용한 Optuna 스케일링과 같은 고급 개념을 소개합니다. 또한 포괄적인 모델 패키징 및 거버넌스를 위해 어소시에이트 과정에서 소개된 MLflow 및 Unity Catalog와 같은 기능과 개념을 활용합니다.

Advanced Machine Learning Operations

이 과정에서는 머신 러닝 라이프사이클과 MLOps에 대한 포괄적인 이해를 제공하며, 데이터 및 모델 관리, 테스트, 확장 가능한 아키텍처에 대한 모범 사례를 중점적으로 다룹니다. CI/CD, 파이프라인 관리, 환경 분리를 포함한 주요 MLOps 구성 요소를 다루는 동시에, Declarative Automation Bundles(DABs), Lakeflow Jobs, Model Serving과 같은 자동화 및 인프라 관리를 위한 Databricks 도구를 소개합니다. 모니터링, 사용자 정의 메트릭, 드리프트 감지, 모델 롤아웃 전략, A/B 테스트, 그리고 신뢰할 수 있는 MLOps 시스템의 원칙에 대해 학습하여 Databricks에서 ML 프로젝트를 구현하고 관리하는 방법에 대한 전체적인 뷰를 제공합니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

Paid
8h
Lab
instructor-led
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.