Data Engineering with Databricks - Korean
이 과정은 Databricks를 활용한 데이터 엔지니어링 학습을 위한 적절한 입문 과정입니다.
아래에서는 본 과정에 포함된 4개의 4시간 모듈을 각각 설명합니다.
1. Lakeflow Connect를 활용한 데이터 인제스트
본 과정은 다양한 데이터 소스에서 Databricks로 데이터를 인제스트하기 위한 확장 가능하고 간소화된 솔루션인 Lakeflow Connect에 대한 포괄적인 소개를 제공합니다. Lakeflow Connect 내의 다양한 커넥터 유형(표준 및 관리형)을 살펴보고, 배치, 증분 배치, 스트리밍 등 다양한 인제스트 기법을 학습한 후, 델타 테이블과 메달리온 아키텍처의 주요 이점을 검토하게 됩니다.
이후 CREATE TABLE AS(CTAS), COPY INTO, Auto Loader 등의 방법을 활용하여 Lakeflow Connect 표준 커넥터로 클라우드 객체 저장소에서 데이터를 효율적으로 수집하는 실무 기술을 습득하고, 각 접근 방식의 장점과 고려 사항을 알아봅니다. Databricks 데이터 인텔리전스 플랫폼으로 데이터를 인제스트할 때 브론즈 레벨 테이블에 메타데이터 컬럼을 추가하는 방법을 학습합니다. 이어서 브론즈 테이블 스키마와 일치하지 않는 레코드를 처리하는 ‘구출된 데이터(rescued data)’ 컬럼을 다루며, 이 구출된 데이터를 관리하는 전략을 익힙니다.
본 과정에서는 반구조화 JSON 데이터의 인제스트 및 플랫닝 기법과 Lakeflow Connect 관리형 커넥터를 활용한 엔터프라이즈급 데이터 인제스트 기술도 소개합니다.
마지막으로 학습자는 MERGE INTO 작업 및 Databricks Marketplace 활용을 포함한 대체 인제스트 전략을 탐구하며, 현대적인 데이터 엔지니어링 인제스트를 지원하기 위한 기초 지식을 습득하게 됩니다.
2. Lakeflow Jobs를 통한 워크로드 배포
Lakeflow Jobs를 활용한 워크로드 배포 과정에서는 Lakeflow Jobs를 사용하여 데이터, 분석 및 AI 워크플로를 오케스트레이션하고 자동화하는 방법을 가르칩니다. 유연한 스케줄링, 고급 오케스트레이션, 안정성과 효율성을 위한 모범 사례를 통해 Databricks 데이터 인텔리전스 플랫폼 내에서 원활하게 통합된 견고하고 생산 환경에 적합한 파이프라인을 구축하는 방법을 배우게 됩니다. Databricks, Python 및 SQL에 대한 사전 경험이 권장됩니다.
3. Lakeflow Spark Declarative Pipelines을 활용한 데이터 파이프라인 구축
이 과정은 Databricks의 Lakeflow Spark Declarative Pipelines을 사용하여 증분 배치 또는 스트리밍 수집 및 처리를 위해 여러 스트리밍 테이블과 구체화된 뷰를 통해 데이터 파이프라인을 구축하는 데 필요한 핵심 개념과 기술을 소개합니다. Spark Declarative Pipelines을 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하며, 각각의 특정 목적과 차이점을 강조합니다.
다루는 주제는 다음과 같습니다:
- SQL을 사용한 Spark Declarative Pipelines의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)
- 파이프라인 그래프를 통해 Spark Declarative Pipelines이 파이프라인 내 데이터 종속성을 추적하는 방법
- 파이프라인 compute 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성
이어서 본 과정은 Spark Declarative Pipelines에서의 데이터 품질 기대치를 소개하며, 데이터 무결성을 검증하고 강제하기 위해 이러한 기대치를 파이프라인에 통합하는 과정을 안내합니다. 학습자는 스케줄링 옵션 포함 파이프라인을 프로덕션 환경에 배포하는 방법과 파이프라인 성능 및 상태 모니터링을 위한 이벤트 로깅 활성화 방법을 탐구하게 됩니다.
마지막으로, 본 과정은 Spark Declarative Pipelines 내에서 AUTO CDC INTO 구문을 사용하여 변경 데이터 캡처(CDC)를 구현하는 방법을 다루며, 이를 통해 느리게 변경되는 차원(SCD Type 1 및 Type 2)을 관리하고 사용자가 자신의 파이프라인에 CDC를 통합할 수 있도록 준비시킵니다.
4. 데이터 엔지니어링을 위한 DevOps 기본
이 과정에서는 Databricks를 사용하여 작업하는 데이터 엔지니어를 위해 특별히 설계된 소프트웨어 엔지니어링 모범 사례와 DevOps 원칙을 살펴봅니다. 참가자는 코드 품질, 버전 제어, 문서화, 테스트와 같은 핵심 주제에 대한 강력한 기반을 구축하게 됩니다. 이 과정에서는 DevOps를 강조하여 핵심 구성 요소, 이점, 데이터 엔지니어링 워크플로 최적화에서 지속적인 통합 및 배포(CI/CD)의 역할에 대해 다룹니다.
PySpark에서 모듈성 원칙을 적용하여 재사용 가능한 구성 요소를 만들고 효율적으로 코드를 구성하는 방법을 학습합니다. 실습 경험에는 pytest 프레임워크를 사용하여 PySpark 함수에 대한 단위 테스트를 설계하고 구현하는 것과 DLT 및 Workflows를 사용하여 Databricks 데이터 파이프라인에 대한 통합 테스트를 수행하여 안정성을 보장하는 것이 포함됩니다.
또한 이 과정에서는 Databricks Git 폴더를 사용하여 지속적인 통합 관행을 통합하는 것을 포함하여 Databricks 내에서 필수적인 Git 작업도 다룹니다. 마지막으로 REST API, CLI, SDK, Databricks Asset Bundles(DAB) 등 Databricks 자산에 대한 다양한 배포 방법을 간략하게 살펴보고 파이프라인을 배포하고 관리하는 기술에 대한 지식을 얻습니다.
과정을 마치면 소프트웨어 엔지니어링과 DevOps 모범 사례에 능숙해져서 확장 가능하고 유지 관리가 가능하며 효율적인 데이터 엔지니어링 솔루션을 구축할 수 있게 됩니다.
Languages Available: English | 日本語 | Português BR | 한국어 | Español | française
1. Lakeflow Connect를 활용한 데이터 인제스트
⇾ Databricks 데이터 인텔리전스 플랫폼(Databricks Workspaces, Apache Spark, Delta Lake, 메달리온 아키텍처, Unity Catalog 포함)에 대한 기본 이해.
⇾ 다양한 파일 형식(예: Parquet, CSV, JSON, TXT) 작업 경험.
⇾ SQL 및 Python에 능숙함.
⇾ Databricks 노트북에서 코드 실행에 익숙함.
2. Lakeflow Jobs를 통한 워크로드 배포
⇾ 클라우드 기본 개념(가상 머신, 객체 저장소, 신원 관리)에 대한 초보자 수준의 이해
⇾ 기본 코드 개발 작업 수행 능력(컴퓨팅 인스턴스 생성, 노트북에서 코드 실행, 기본 노트북 작업 사용, git에서 저장소 가져오기 등)
⇾ 기본 SQL 개념에 대한 중급 수준의 이해도 (CREATE, SELECT, INSERT, UPDATE, DELETE, WHILE, GROUP BY, JOIN 등)
3. Lakeflow Spark Declarative Pipelines을 활용한 데이터 파이프라인 구축
⇾ Databricks Data Intelligence platform에 대한 기본 이해(Databricks Workspaces, Apache Spark, Delta Lake, 메달리온 아키텍처, Unity Catalog 포함).
⇾ CSV, JSON, TXT, Parquet 등의 형식을 로드하기 위해 read_files SQL 함수를 사용하는 등 원시 데이터를 Delta 테이블로 가져오는 경험.
⇾ SQL을 사용한 데이터 변환 숙련도(중급 수준의 쿼리 작성 및 SQL 조인에 대한 기본 이해 포함).
4. 데이터 엔지니어링을 위한 DevOps 기본
⇾ Databricks Workspaces, Apache Spark, Delta Lake 및 Medallion Architecture, Unity Catalog, Delta Live Tables, Workflows를 포함한
Databricks 플랫폼에 대한 능숙한 지식. Git 버전 제어에 대한 기본적인 이해도 필요합니다.
⇾ 데이터 수집 및 변환 경험, 데이터 처리 및 DataFrame 조작을 위한 PySpark에 대한 능숙함이 필요합니다. 또한 지원자는 데이터 분석 및 변환을 위한 중급 수준의 SQL 쿼리를 작성한 경험이 있어야 합니다.
⇾ Python 프로그래밍에 대한 지식이 있어야 하며, 함수와 클래스를 설계하고 구현하는 능력을 포함하여 중급 수준의 Python 코드를 작성하는 데 능숙해야 합니다. 사용자는 또한 Python 패키지를 만들고, 가져오고, 효과적으로 활용하는 데 능숙해야 합니다.
Outline
1. Lakeflow Connect를 활용한 데이터 인제스트
⇾ Databricks 데이터 엔지니어링 입문
⇾ LakeFlow Connect 표준 커넥터를 활용한 클라우드 스토리지 데이터 수집
⇾ LakeFlow Connect 관리형 커넥터를 활용한 엔터프라이즈 데이터 수집
⇾ 데이터 수집 대안
2. Lakeflow Jobs를 통한 워크로드 배포
⇾ Databricks 데이터 엔지니어링 입문
⇾ Lakeflow 작업 핵심 개념
⇾ 작업 생성 및 스케줄링
⇾ 고급 Lakeflow 작업 기능
3. Lakeflow Spark Declarative Pipelines으로 데이터 파이프라인 구축하기
⇾ Databricks에서의 데이터 엔지니어링 소개
⇾ Lakeflow Spark Declarative Pipelines 기초
⇾ Lakeflow Spark Declarative Pipelines 구축하기
4. 데이터 엔지니어링을 위한 DevOps 기본
소프트웨어 엔지니어링, DevOps 및 CI/CD 기본 사항
⇾ 소프트웨어 엔지니어링(SWE) 모범 사례 소개
⇾ 에 대한 소개 PySpark 코드 모듈화
⇾ PySpark 코드 모듈화 - 필수
⇾ PySpark 모듈화 코드
⇾ DevOps 기초
⇾ CI/CD에서의 역할 DevOps
⇾ 지식 확인/토론
Continuous Integration (CI)
⇾ 프로젝트 계획
⇾ 프로젝트 설정 탐색(필수)
⇾ PySpark를 위한 단위 테스트 소개
⇾ 단위 테스트 생성 및 실행
⇾ 단위 테스트 생성 및 실행
⇾ 통합 실행 DLT를 사용한 테스트 및 Workflows
⇾ DLT를 사용하여 통합 테스트 수행 그리고 Workflows
⇾ Git을 사용한 버전 제어 개요
⇾ 버전 제어와 Databricks Git 폴더 및 GitHub
Continuous Deployment 소개
⇾ Databricks 자산 배포 개요(슬라이드)
⇾ Databricks 프로젝트 배포
⇾ 다음 단계
Upcoming Public Classes
Date | Time | Your Local Time | Language | Price |
|---|---|---|---|---|
Jul 23 - 24 | 09 AM - 05 PM (Asia/Seoul) | - | Korean | $1500.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
지금 등록하세요
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
지금 등록하세요
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
