Data Engineering with Databricks - Korean
이 과정은 Databricks를 활용한 데이터 엔지니어링 학습을 위한 적절한 입문 과정입니다.
아래에서는 본 과정에 포함된 4개의 4시간 모듈을 각각 설명합니다.
1. Lakeflow Connect를 활용한 데이터 인제스트
본 과정은 다양한 데이터 소스에서 Databricks로 데이터를 인제스트하기 위한 확장 가능하고 간소화된 솔루션인 Lakeflow Connect에 대한 포괄적인 소개를 제공합니다. Lakeflow Connect 내의 다양한 커넥터 유형(표준 및 관리형)을 살펴보고, 배치, 증분 배치, 스트리밍 등 다양한 인제스트 기법을 학습한 후, 델타 테이블과 메달리온 아키텍처의 주요 이점을 검토하게 됩니다.
이후 CREATE TABLE AS(CTAS), COPY INTO, Auto Loader 등의 방법을 활용하여 Lakeflow Connect 표준 커넥터로 클라우드 객체 저장소에서 데이터를 효율적으로 수집하는 실무 기술을 습득하고, 각 접근 방식의 장점과 고려 사항을 알아봅니다. Databricks 데이터 인텔리전스 플랫폼으로 데이터를 인제스트할 때 브론즈 레벨 테이블에 메타데이터 컬럼을 추가하는 방법을 학습합니다. 이어서 브론즈 테이블 스키마와 일치하지 않는 레코드를 처리하는 ‘구출된 데이터(rescued data)’ 컬럼을 다루며, 이 구출된 데이터를 관리하는 전략을 익힙니다.
본 과정에서는 반구조화 JSON 데이터의 인제스트 및 플랫닝 기법과 Lakeflow Connect 관리형 커넥터를 활용한 엔터프라이즈급 데이터 인제스트 기술도 소개합니다.
마지막으로 학습자는 MERGE INTO 작업 및 Databricks Marketplace 활용을 포함한 대체 인제스트 전략을 탐구하며, 현대적인 데이터 엔지니어링 인제스트를 지원하기 위한 기초 지식을 습득하게 됩니다.
2. Lakeflow Jobs를 통한 워크로드 배포
Lakeflow Jobs를 활용한 워크로드 배포 과정에서는 Lakeflow Jobs를 사용하여 데이터, 분석 및 AI 워크플로를 오케스트레이션하고 자동화하는 방법을 가르칩니다. 유연한 스케줄링, 고급 오케스트레이션, 안정성과 효율성을 위한 모범 사례를 통해 Databricks 데이터 인텔리전스 플랫폼 내에서 원활하게 통합된 견고하고 생산 환경에 적합한 파이프라인을 구축하는 방법을 배우게 됩니다. Databricks, Python 및 SQL에 대한 사전 경험이 권장됩니다.
3. Lakeflow Declarative Pipelines을 활용한 데이터 파이프라인 구축
이 과정은 Databricks의 Lakeflow Declarative Pipelines을 사용하여 증분 배치 또는 스트리밍 수집 및 처리를 위해 여러 스트리밍 테이블과 구체화된 뷰를 통해 데이터 파이프라인을 구축하는 데 필요한 핵심 개념과 기술을 소개합니다. Lakeflow Declarative Pipelines을 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하며, 각각의 특정 목적과 차이점을 강조합니다.
다루는 주제는 다음과 같습니다:
⇾ SQL을 사용한 Lakeflow의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)
⇾ Lakeflow Declarative Pipelines이 파이프라인 그래프를 통해 파이프라인 내 데이터 종속성을 추적하는 방식
⇾ 파이프라인 컴퓨팅 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성
다음으로, 본 과정은 Lakeflow의 데이터 품질 기대치를 소개하며, 데이터 무결성을 검증하고 강제하기 위해 이러한 기대치를 파이프라인에 통합하는 과정을 안내합니다. 학습자는 스케줄링 옵션, 프로덕션 모드, 파이프라인 성능 및 상태 모니터링을 위한 이벤트 로깅 활성화 등을 포함하여 파이프라인을 프로덕션에 배포하는 방법을 탐구하게 됩니다.
마지막으로, Lakeflow Declarative Pipelines 내에서 APPLY CHANGES INTO 구문을 사용하여 Change Data Capture (CDC)를 구현하는 방법을 다루며, 천천히 변화하는 차원(SCD Type 1 및 Type 2)을 관리하고 사용자가 자신의 파이프라인에 CDC를 통합할 수 있도록 준비시킵니다.
4. Unity Catalog를 활용한 데이터 관리 및 거버넌스
이 과정에서는 Databricks Unity Catalog를 사용한 데이터 관리 및 거버넌스에 대해 학습합니다. 데이터 거버넌스의 기초 개념, 데이터 레이크 관리의 복잡성, Unity Catalog의 아키텍처, 보안, 관리, 그리고 세분화된 접근 제어, 데이터 분리, 권한 관리와 같은 고급 주제를 다룹니다.
* 본 과정은 Associate Data Engineering 인증 시험을 준비할 수 있도록 설계되었으며, Databricks를 활용한 고급 데이터 엔지니어링 과정 수강에 필요한 필수 지식을 제공합니다.
Languages Available: English | 日本語 | Português BR | 한국어
1. Lakeflow Connect를 활용한 데이터 인제스트
⇾ Databricks 데이터 인텔리전스 플랫폼(Databricks Workspaces, Apache Spark, Delta Lake, 메달리온 아키텍처, Unity Catalog 포함)에 대한 기본 이해.
⇾ 다양한 파일 형식(예: Parquet, CSV, JSON, TXT) 작업 경험.
⇾ SQL 및 Python에 능숙함.
⇾ Databricks 노트북에서 코드 실행에 익숙함.
2. Lakeflow Jobs를 통한 워크로드 배포
⇾ 클라우드 기본 개념(가상 머신, 객체 저장소, 신원 관리)에 대한 초보자 수준의 이해
⇾ 기본 코드 개발 작업 수행 능력(컴퓨팅 인스턴스 생성, 노트북에서 코드 실행, 기본 노트북 작업 사용, git에서 저장소 가져오기 등)
⇾ 기본 SQL 개념에 대한 중급 수준의 이해도 (CREATE, SELECT, INSERT, UPDATE, DELETE, WHILE, GROUP BY, JOIN 등)
3. Lakeflow Declarative Pipelines을 활용한 데이터 파이프라인 구축
⇾ Databricks 데이터 인텔리전스 플랫폼에 대한 기본 이해도(Databricks Workspaces, Apache Spark, Delta Lake, 메달리온 아키텍처, Unity Catalog 포함).
⇾ CSV, JSON, TXT, Parquet 등의 형식을 로드하기 위해 read_files SQL 함수를 사용하는 등, 원시 데이터를 Delta 테이블로 가져오는 경험.
⇾ SQL을 활용한 데이터 변환 숙련도. 중급 수준의 쿼리 작성 능력 및 SQL 조인에 대한 기본 이해를 포함합니다.
4. Unity Catalog를 활용한 데이터 관리 및 거버넌스
⇾ 클라우드 컴퓨팅 개념(가상 머신, 객체 저장소 등)에 대한 초급 수준의 이해
⇾ SQL 명령어, 집계 함수, 필터 및 정렬, 인덱스, 테이블, 뷰 등 기본 SQL 개념에 대한 중급 수준의 경험
⇾ Python 프로그래밍, Jupyter Notebook 인터페이스, PySpark 기초에 대한 기본 지식
Outline
1. Lakeflow Connect를 활용한 데이터 인제스트
⇾ Databricks 데이터 엔지니어링 입문
⇾ LakeFlow Connect 표준 커넥터를 활용한 클라우드 스토리지 데이터 수집
⇾ LakeFlow Connect 관리형 커넥터를 활용한 엔터프라이즈 데이터 수집
⇾ 데이터 수집 대안
2. Lakeflow Jobs를 통한 워크로드 배포
⇾ Databricks 데이터 엔지니어링 입문
⇾ Lakeflow 작업 핵심 개념
⇾ 작업 생성 및 스케줄링
⇾ 고급 Lakeflow 작업 기능
3. Lakeflow Declarative Pipelines을 활용한 데이터 파이프라인 구축
⇾ Databricks 데이터 엔지니어링 입문
⇾ Lakeflow 선언적 파이프라인 기초
⇾ Lakeflow 선언적 파이프라인 구축
4. Unity Catalog를 활용한 데이터 관리 및 거버넌스
⇾ 데이터 거버넌스 개요
⇾ 데모: 메타스토어 채우기
⇾ 실습: 메타스토어 탐색하기
⇾ 조직 및 접근 패턴
⇾ 데모: 테이블을 Unity Catalog로 업그레이드하기
⇾ Unity Catalog의 보안 및 관리
⇾ Databricks 마켓플레이스 개요
⇾ Unity Catalog의 권한
⇾ 데모: 데이터 접근 제어
⇾ 세분화된 접근 제어
⇾ 실습: Unity Catalog에서 데이터 마이그레이션 및 관리
Upcoming Public Classes
Date | Time | Language | Price |
|---|---|---|---|
Nov 03 - 04 | 09 AM - 05 PM (Asia/Seoul) | Korean | $1500.00 |
Dec 02 - 03 | 09 AM - 05 PM (Asia/Seoul) | Korean | $1500.00 |
Jan 05 - 06 | 09 AM - 05 PM (Asia/Seoul) | Korean | $1500.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
