Stream Processing and Analysis with Apache Spark™ - Korean

이 과정에서 Apache Spark를 사용하여 스트림 처리 및 분석의 기본 사항을 알아보세요.™ 스트림 처리 기본 사항에 대한 확실한 이해를 얻고 Spark Structured Streaming API를 사용하여 애플리케이션을 개발합니다. 스트림 집계 및 창 분석과 같은 고급 기술을 탐색하여 실시간 데이터를 효율적으로 처리하세요. 이 과정에서는 동적 데이터 환경을 위한 확장 가능하고 장애에 강한 스트리밍 애플리케이션을 만드는 기술을 습득합니다.

Languages Available: English | 日本語 |한국어

Skill Level

Associate

Duration

Prerequisites

- 기본 프로그래밍 지식

- Python에 대한 지식

- SQL 쿼리(SELECT, JOIN, GROUP BY)에 대한 기본 이해

- 데이터 처리 개념에 대한 익숙함

- Spark 또는 Databricks 관련 애플리케이션 개발 경험이 필요합니다.

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Jul 13	09 AM - 01 PM (Asia/Seoul)	-	Korean	$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Jul 13	09 AM - 01 PM (Asia/Seoul)	-	Korean	$750.00

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Architecting Data Warehouses for Large-Scale Deployments - Korean

이 과정에서는 대규모 data warehousing 배포를 위한 성능 최적화, 비용 관리 및 보안을 다룹니다.

이 과정은 여러 사업부에 걸쳐 수백 또는 수천 명의 사용자에게 서비스를 제공하는 Databricks 환경을 관리하는 data warehousing 실무자를 위해 설계되었습니다. 높은 성능, 비용 효율성, 보안 표준 준수를 유지하면서 data warehousing 운영을 효율적으로 확장하는 데 필요한 기술을 습득하게 됩니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

Building ETL Pipelines with SQL - Korean

이 과정은 Databricks Data Intelligence Platform에서 순수 SQL을 사용해 운영 준비가 된 ETL 파이프라인을 구축하는 방법을 가르칩니다. 학생들은 점진적 적재를 위한 Auto Loader가 포함된 스트리밍 테이블, 실버에서 골드로 변환을 위한 점진적 리프레시가 있는 Materialized Views, 선언적 SCD 타입 1 및 타입 2 차원 관리를 위한 AUTO CDC(FLOW AUTO CDC), 그리고 운영 오케스트레이션을 위한 SQL 파일 작업이 포함된 Lakeflow Jobs를 배웁니다. 이 과정은 메달리온 아키텍처(브론즈 → 실버 → 골드)를 통해 현실적인 소매 데이터셋을 따라갑니다.

Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Korean

이 과정은 Databricks의 Lakeflow Spark Declarative Pipelines을 사용하여 증분 배치 또는 스트리밍 수집 및 처리를 위해 여러 스트리밍 테이블과 구체화된 뷰를 통해 데이터 파이프라인을 구축하는 데 필요한 핵심 개념과 기술을 소개합니다. Spark Declarative Pipelines을 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하며, 각각의 특정 목적과 차이점을 강조합니다.

다루는 주제는 다음과 같습니다:

- SQL을 사용한 Spark Declarative Pipelines의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)

- 파이프라인 그래프를 통해 Spark Declarative Pipelines이 파이프라인 내 데이터 종속성을 추적하는 방법

- 파이프라인 compute 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성

이어서 본 과정은 Spark Declarative Pipelines에서의 데이터 품질 기대치를 소개하며, 데이터 무결성을 검증하고 강제하기 위해 이러한 기대치를 파이프라인에 통합하는 과정을 안내합니다. 학습자는 스케줄링 옵션 포함 파이프라인을 프로덕션 환경에 배포하는 방법과 파이프라인 성능 및 상태 모니터링을 위한 이벤트 로깅 활성화 방법을 탐구하게 됩니다.

마지막으로, 본 과정은 Spark Declarative Pipelines 내에서 AUTO CDC INTO 구문을 사용하여 변경 데이터 캡처(CDC)를 구현하는 방법을 다루며, 이를 통해 느리게 변경되는 차원(SCD Type 1 및 Type 2)을 관리하고 사용자가 자신의 파이프라인에 CDC를 통합할 수 있도록 준비시킵니다.

Languages Available: English | 日本語 | Português BR | 한국어