주요 컨텐츠로 이동

Advanced Techniques with Spark Declarative Pipelines - Korean

이 과정은 프로덕션 수준의 스트리밍 파이프라인을 구축하기 위한 Databricks의 Lakeflow Spark Declarative Pipelines(SDP)를 심층적으로 다룹니다. 여러분은 실제 레이크하우스(Lakehouse) 엔지니어링에 필수적인 고급 설계 패턴, 견고한 데이터 품질 관리 기법, 그리고 크로스 플랫폼 통합 방안을 학습하게 될 것입니다.


과정 전반에 걸쳐 여러분은 최신 데이터 수집 및 처리 기법을 깊이 있게 탐구하며, 레이아웃 최적화를 위한 Liquid Clustering이나 혼합 스키마 이벤트를 처리하는 Multiplex Streaming 패턴과 같은 도구들을 완벽하게 익히게 됩니다. 모든 모듈을 마치고 나면, 스키마 진화(Schema Evolution)에 자신 있게 대처하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 확실하게 보장하는 방법을 습득하게 될 것입니다.


강의와 실습 데모를 통해 여러분은 다음과 같은 역량을 갖추게 됩니다.

• 다중 소스에서 유입되는 데이터를 단일화된 Bronze 테이블로 수집하는 다중 흐름(Multi-flow) 파이프라인을 구축합니다.

• 실버 및 골드 레이어 전반에 걸쳐 리퀴드 클러스터링과 데이터 품질 기대치를 적용합니다.

• 크로스 플랫폼 데이터 접근을 위해 Iceberg UniForm을 활용한 Multiplex 패턴을 구현합니다.

• `AUTO CDC INTO` 기능을 사용하여 SCD Type 2 이력 추적을 자동화합니다.

• 유효하지 않은 레코드를 감사하고 관리하기 위한, 데이터 손실이 전혀 없는 격리(Quarantine) 파이프라인을 설계합니다.


참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
4h
Prerequisites

이 과정에서는 다음과 같은 기술/지식/능력을 가진 참가자들을 위해 내용이 개발되었습니다: 
• Spark Declarative Pipelines — "Lakeflow Spark Declarative Pipelines으로 데이터 파이프라인 구축하기" 과정 수료, 또는 CREATE OR REFRESH STREAMING TABLE, CONSTRAINTS, 및 파이프라인 UI에 대한 숙지

• Delta Lake 기초 — Delta 테이블에 대한 이해 및 Delta가 데이터 파일과 트랜잭션 로그를 관리하는 방식에 대한 이해

• 스트리밍 개념 — SDP(Spark Declarative Pipelines)에서의 마이크로 배치 스트리밍, 체크포인팅, 및 이벤트 시간 처리(event-time processing)에 대한 지식

• SQL 활용 능력 — SELECT, JOIN, MERGE, CASE WHEN 및 일반적인 집계 함수를 포함한 SQL 읽기 및 작성 능력

• Databricks Notebook에서의 Python — Databricks Notebook 환경에서 Python 코드를 읽고 실행하는 데 익숙함

• Unity Catalog 기초 — Unity Catalog 내의 카탈로그, 스키마, 테이블, 및 볼륨에 대한 이해

Outline

• SDP에서의 다중 흐름, 기대치 및 액체 클러스터링 입문

• 데모 : 리퀴드 클러스터링 및 데이터 품질을 갖춘 Multi Flow SDP

• 다중화 스트리밍, Delta Sink 및 Iceberg Read 소개

• 데모 : Delta Sink 및 Iceberg Read를 활용한 다중 스트리밍 SDP

• 변경 데이터 캡처(CDC) 복습

• 데모 : Lakeflow Spark Declarative Pipelines에서 AUTO CDC를 활용한 SCD Type 2 자동화

• SDP에서의 고급 데이터 품질 검사 및 기대 사항

• 데모 : SDP에서의 고급 데이터 품질 검사 및 기대치

• 랩 - SDP를 활용한 멀티 소스 전자상거래 파이프라인 구축

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Korean

본 과정은 최신의 가장 인기 있는 프레임워크와 Databricks 기능을 사용하여 생성형 AI 애플리케이션을 구축하려는 데이터 과학자, 머신러닝 엔지니어 및 기타 데이터 실무자를 대상으로 합니다.

참고: Databricks Academy는 Databricks 환경 내 강의실 세션을 노트북 기반 형식으로 전환하고 있으며, 강의에 슬라이드 덱 사용을 중단합니다. 강의 노트북은 Vocareum 실습 환경에서 이용할 수 있습니다.

아래에서는 본 과정에 포함된 네 개의 4시간 모듈을 각각 설명합니다.

Building RAG Agents with Agent Bricks: 본 과정에서는 Databricks Agent Bricks를 사용하여 검색 에이전트를 구축하기 위한 실습 교육을 제공합니다. 참가자는 Knowledge Assistants를 탐색하고 쿼리하며, AI Functions를 사용하여 비정형 문서를 정형 데이터로 파싱하고, 시맨틱 검색을 위해 텍스트를 청크로 나누며, Vector Search 인덱스를 구축하고, 여러 지식 소스를 기반으로 하는 프로덕션 준비된 Knowledge Assistants를 생성하는 방법을 학습합니다.

Building Agentic Applications on Databricks: 본 과정에서는 학생들이 Databricks에서 프로덕션 등급의 에이전트 애플리케이션을 구축하는 방법을 학습합니다. 학생들은 Unity Catalog와 MCP를 사용하여 거버넌스된 에이전트 도구를 생성하고, OpenAI Agents SDK로 단일 및 다중 에이전트 시스템을 구축하며, 슈퍼바이저 에이전트로 오케스트레이션되는 knowledge assistant 사용 사례를 위해 Agent Bricks와 Genie를 활용하는 방법을 학습합니다. 본 과정은 도구 프로토타이핑부터 프로덕션 배포까지의 전체 진행 과정을 다루며, MLflow 트레이싱을 사용하여 에이전트 실행을 관찰하는 실습 경험을 제공합니다.

Agent Evaluation on Databricks: 본 과정에서는 학생들이 MLflow의 평가 프레임워크를 사용하여 AI 에이전트를 체계적으로 평가하는 방법을 학습하며, 기존 소프트웨어 테스트로는 처리할 수 없는 비결정론적 AI 시스템의 고유한 과제를 다룹니다. 학생들은 정확성 및 안전성과 같은 일반적인 기준을 위한 기본 내장 심사위원(built-in judges), 비즈니스별 요구 사항을 위한 가이드라인 심사위원, 특수한 요구 사항을 위한 맞춤형 심사위원 등 다양한 평가 접근 방식을 구현하는 방법을 학습합니다. 본 과정은 큐레이션된 데이터셋을 사용하는 오프라인 평가와 온라인 프로덕션 모니터링을 모두 다루며, MLflow의 트레이싱 기능을 사용하여 에이전트 실행 패턴을 이해하고 다양한 유형의 이해관계자로부터 인간 피드백을 수집하는 실습 경험을 제공합니다. 실용적인 데모와 랩을 통해 학생들은 AI 에이전트 개발 수명 주기 전반에 걸쳐 지속적인 품질 개선을 이끄는 평가 워크플로를 만드는 기술을 개발합니다.

Deploying and Monitoring Agent Applications on Databricks: 본 과정에서는 Databricks에서 생성형 AI 에이전트를 배포하고 모니터링하기 위한 엔드투엔드 수명 주기를 다룹니다. 참가자는 Declarative Automation Bundles(DABs)를 사용하여 에이전트를 Databricks Apps로 배포하고, Model Context Protocol(MCP)을 통해 도구를 통합하며, MLflow Tracing으로 에이전트를 계측하고, 스코어러, 멀티턴 심사위원 및 온라인 평가를 사용하여 프로덕션 품질을 평가하는 방법을 학습합니다. 실습 데모와 랩을 통해 참가자는 Databricks 플랫폼에서 프로덕션 등급의 AI 에이전트를 구축, 관찰 및 모니터링하는 실용적인 경험을 얻습니다.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.