주요 컨텐츠로 이동

Developing Applications with Apache Spark™ - Korean

이 실습 과정에서 Apache Spark로 확장 가능한 데이터 처리를 마스터하세요. Spark의 DataFrame API를 사용하여 효율적인 ETL 파이프라인을 구축하고, 고급 분석을 수행하며, 분산 데이터 변환을 최적화하는 방법을 알아보세요. 그룹화, 집계, 조인, 집합 연산 및 창 함수를 살펴봅니다. 배열, 맵, 구조체와 같은 복잡한 데이터 유형으로 작업하면서 성능 최적화를 위한 모범 사례를 적용하세요.


Languages Available: English | 日本語 | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

- 기본 프로그래밍 지식

 - Python 기본 이해

 - SQL 쿼리(SELECT, JOIN, GROUP BY)

에 대한 기본 이해 - 데이터 처리 개념

에 대한 지식 - "Apache Spark 입문 과정" 또는 이전 Databricks 경험 필요

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Jul 10
09 AM - 01 PM (Asia/Seoul)
-
Korean
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Automated Deployment with Declarative Automation Bundles - Korean

이 과정은 DevOps 원칙과 이를 Databricks 프로젝트에 적용하는 방법에 대한 포괄적인 개요를 제공합니다. 먼저 핵심 DevOps, DataOps, continuous integration (CI), continuous deployment (CD), 테스트에 대한 개요를 다룬 후, 이러한 원칙을 데이터 엔지니어링 파이프라인에 어떻게 적용할 수 있는지 살펴봅니다.

이어서 이 과정은 CI/CD 프로세스 내의 지속적 배포에 중점을 두고, 프로젝트 배포를 위한 Databricks REST API, SDK, CLI와 같은 도구를 살펴봅니다. 선언형 자동화 번들(DAB)과 이것이 CI/CD 프로세스에 어떻게 통합되는지 배우게 됩니다. DAB의 주요 구성 요소와 폴더 구조를 심층적으로 살펴보고, Databricks의 다양한 대상 환경에서 배포를 어떻게 간소화하는지 알아봅니다. 또한 Databricks CLI를 사용하여 서로 다른 구성을 가진 여러 환경에 대해 선언형 자동화 번들에 변수를 추가하고, 수정하고, 검증하고, 배포하고, 실행하는 방법을 배우게 됩니다.

마지막으로, 이 과정에서는 선언형 자동화 번들을 로컬에서 빌드, 테스트 및 배포하고 개발 프로세스를 최적화하기 위한 대화형 개발 환경(IDE)으로 Visual Studio Code를 소개합니다. 과정의 마지막 부분에서는 GitHub Actions를 사용하여 배포 파이프라인을 자동화함으로써 선언형 자동화 번들과 함께 CI/CD 워크플로를 강화하는 방법을 다룹니다.

이 과정을 마치면 Databricks 프로젝트 배포를 Declarative Automation Bundles로 자동화하여 DevOps 관행을 통해 효율성을 높일 수 있는 역량을 갖추게 됩니다.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
4h
Lab
instructor-led
Professional
Data Engineer

Advanced Techniques with Spark Declarative Pipelines - Korean

이 과정은 프로덕션 수준의 스트리밍 파이프라인을 구축하기 위한 Databricks의 Lakeflow Spark Declarative Pipelines(SDP)를 심층적으로 다룹니다. 여러분은 실제 레이크하우스(Lakehouse) 엔지니어링에 필수적인 고급 설계 패턴, 견고한 데이터 품질 관리 기법, 그리고 크로스 플랫폼 통합 방안을 학습하게 될 것입니다.

과정 전반에 걸쳐 여러분은 최신 데이터 수집 및 처리 기법을 깊이 있게 탐구하며, 레이아웃 최적화를 위한 Liquid Clustering이나 혼합 스키마 이벤트를 처리하는 Multiplex Streaming 패턴과 같은 도구들을 완벽하게 익히게 됩니다. 모든 모듈을 마치고 나면, 스키마 진화(Schema Evolution)에 자신 있게 대처하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 확실하게 보장하는 방법을 습득하게 될 것입니다.

강의와 실습 데모를 통해 여러분은 다음과 같은 역량을 갖추게 됩니다.

• 다중 소스에서 유입되는 데이터를 단일화된 Bronze 테이블로 수집하는 다중 흐름(Multi-flow) 파이프라인을 구축합니다.

• 실버 및 골드 레이어 전반에 걸쳐 리퀴드 클러스터링과 데이터 품질 기대치를 적용합니다.

• 크로스 플랫폼 데이터 접근을 위해 Iceberg UniForm을 활용한 Multiplex 패턴을 구현합니다.

• `AUTO CDC INTO` 기능을 사용하여 SCD Type 2 이력 추적을 자동화합니다.

• 유효하지 않은 레코드를 감사하고 관리하기 위한, 데이터 손실이 전혀 없는 격리(Quarantine) 파이프라인을 설계합니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
4h
Lab
instructor-led
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.