주요 컨텐츠로 이동

Advanced Data Engineering with Databricks - Korean

이 과정을 통해 수강생은 Apache Spark, Delta Lake 및 Delta Live Tables에 대한 기존 지식을 바탕으로 Databricks에서 제공하는 다양한 도구로 데이터 레이크하우스의 잠재력을 최대로 활용할 수 있습니다. 이 과정에서는 증분 데이터 처리 설계에 중점을 두고, 시스템이 계속 증가하는 데이터를 지속적으로 수집 및 분석하는데 최적화 할 수 있도록 지원합니다. 데이터 엔지니어는 내장된 플랫폼 최적화 기능을 활용하도록 워크로드를 설계함으로써, 코드 유지 관리 및 긴급 상황 대비에 대한 부담을 완화하고 리팩터링이나 가동 중지 시간을 최소화하면서 새로운 요구 사항에 맞게 프로덕션 코드를 신속하게 조정할 수 있습니다. 

이 과정의 토픽들은 Databricks 인증 데이터 엔지니어링 전문가 시험 응시 이전에 학습을 완료해야 합니다.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
16h
Prerequisites

이 과정을 시작하기 전에 최소한 다음 사항에 익숙해야 합니다.

  • Databricks Data Engineering & Data Science Workspace를 사용하여 기본 코드 개발 태스크를 수행할 수 있는 능력(클러스터 생성, 노트북에서 코드 실행, 기본 노트북 연산 사용, Git에서 리포지토리 가져오기 등)
  • 중급 수준의 PySpark 프로그래밍 경험
    • 다양한 파일 형식 및 데이터 소스에서 데이터 추출
    • 정제된 데이터에 다수의 일반적인 변환 적용
    • 고급 내장 기능을 사용하여 복잡한 데이터의 구조 변경 및 조작
  • Delta Lake를 사용한 중급 수준의 프로그래밍 경험(테이블 생성, 전체 업데이트 및 증분 업데이트 수행, 파일 압축, 이전 버전 복원 등)
  • Delta Live Tables(DLT) UI를 사용한 초급 수준의 데이터 파이프라인 구성 및 스케줄링 경험
  • PySpark를 사용한 초급 수준의 Delta Live Tables 파이프라인 정의 경험
    • 오토 로더 및 PySpark 구문을 사용하여 데이터 수집 및 처리
    • APPLY CHANGES INTO 구문으로 CDC(Change Data Capture) 피드 처리
    • 파이프라인 이벤트 로그 및 결과를 검토하여 DLT 구문 문제 해결


필요 데이터 엔지니어링 스킬은 Databricks Academy에서 Databricks를 이용한 데이터 엔지니어링(Data Engineering With Databricks) 과정을 통해 습득할 수 있습니다.

Outline

1일 차

  • 레이크하우스 아키텍처
  • 데이터 스토리지 최적화
  • Delta Lake 트랜잭션 이해하기
  • 낙관적 동시성(Optimistic Concurrency)으로 Delta Lake 격리
  • 스트리밍 설계 패턴
  • 개발 및 데이터 백업을 위한 복제
  • 오토 로더 및 브론즈 수집 패턴
  • 스트리밍 중복 제거 및 품질 유지
  • 느린 변경 차원(SCD)
  • 스트리밍 조인 및 스테이트풀(Stateful)

2일 차

  • 저장된(Stored) 뷰 및 구체화된(Materialized) 뷰
  • 데이터를 안전하게 저장
  • PII에 권한 있는(Privileged) 액세스 부여
  • Lakehouse의 데이터 삭제
  • 다중 태스크 Job의 오케스트레이션 및 스케줄링
  • 오류 모니터링, 로깅 및 처리
  • Databricks Repos를 사용하여 코드 승격
  • 프로그래밍 방식의 플랫폼 상호작용(Databricks CLI 및 REST API)
  • 스트리밍 워크로드의 비용 및 레이턴시 관리

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Register now

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Register now

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Platform Architect

Fundamentals of the Databricks Lakehouse Platform Accreditation - Korean (V2)

이 퀴즈는 20분이라는 시간 안에 귀하의 데이터브릭스 레이크하우스 플랫폼(Databricks Lakehouse Platform) 관련 기초 개념 및 지식을 테스트합니다. 해당 플랫폼이 회사 혹은 기관의 데이터 워크로드에 어떻게 도움되는지 등 전반적인 플랫폼에 대한 귀하의 지식을 평가합니다.

데이터브릭스 기능을 사용하여 작업을 수행하는 능력을 테스트하지 않습니다. 반면, 플랫폼을 구성하는 요소들과 이 요소들이 서로 어떻게 결합되는지를 얼마다 잘 설명할 수 있는지를 봅니다.

이 퀴즈를 성공적으로 수료하실 경우, Databricks Lakehouse Fundamentals 뱃지를 수령하실 수 있습니다.

이 퀴즈는 데이터브릭스 아카데미(Databricks Academy)에 있는 모든 롤 기반 학습 경로의 시작 단계입니다 (데이터 분석가, 데이터 엔지니어 및 머신러닝 실무자).

준비에 도움이 되는 교육 과정: 

데이터브릭스 레이크하우스 플랫폼(Databricks Lakehouse Platform)은 무엇인가요?

데이터브릭스 SQL(Databricks SQL)은 무엇인가요? 

데이터브릭스 데이터 사이언스 및 엔지니어링 워크스페이스(Databricks Data Science and Engineering Workspace)는 무엇인가요?

데이터브릭스 머신러닝(Databricks Machine Learning)은 무엇인가요? 

학습 경로

이 교육과정은 모든 학습 경로의 일부입니다.

수료 증명

80%의 합격률을 달성하면 데이터브릭스에서 뱃지를 받게 됩니다.

 

Free
1h 30m
Associate
Career Workshop

Career Workshop/

March 20

Careers at Databricks

We're on a mission to help data teams solve the world's toughest problems. Will you join us?
Advance my career now

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.