주요 컨텐츠로 이동

Get Started with Databricks for Data Warehousing - Korean

이 과정은 Databricks의 현대적인 데이터 웨어하우징 접근 방식에 대한 포괄적이고 실습 중심의 개요를 제공하며, 데이터 레이크하우스 아키텍처가 기존 데이터 웨어하우스의 강점과 클라우드의 유연성 및 확장성을 어떻게 결합하는지를 중점적으로 다룹니다. 가상의 소매업체(Vintage Audio Co.)를 대상으로 엔드투엔드 작업을 수행하면서, 워크스페이스를 탐험하고, 거버넌스가 적용된 Unity Catalog 테이블을 쿼리하며, 분석 읽기를 위해 Unity Catalog 관리형 테이블을 빠르게 유지하고, Auto Loader로 데이터를 증분 로드하고, 스타 스키마를 모델링하며, Unity Catalog 메트릭 뷰를 통해 일관된 인사이트를 제공합니다. 이 모든 작업은 AI 기반 기능(Predictive Optimization, Genie Code)이 전반에 걸쳐 내장된 단일 거버넌스 환경에서 이루어집니다.

Skill Level
Onboarding
Duration
3h
Prerequisites

본 콘텐츠는 다음과 같은 기술/지식/역량을 갖춘 참가자를 대상으로 개발되었습니다:

• 데이터 웨어하우징 도메인에 대한 기본적인 이해(데이터 웨어하우스, 테이블, BI 도구가 무엇인지).

• SQL에 대한 실무 지식(WHERE, GROUP BY, 집계 함수, 조인을 사용하는 SELECT).

• 사전 Databricks 지식은 필요하지 않습니다. Databricks 관련 개념(Unity Catalog, Delta Lake, SQL Warehouses, metric views)은 등장할 때마다 소개됩니다.

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Machine Learning Practitioner

Feature Engineering at Scale - Korean

이 과정에서는 Databricks 플랫폼에서 엔드투엔드 특성 엔지니어링 파이프라인을 설계, 스케일링 및 운영화하는 방법에 대한 포괄적인 이해를 습득합니다. 커리큘럼은 세 가지 점진적 모듈로 구성되어 있습니다: Spark의 분산 실행 및 최적화 기초 마스터링, Auto Loader 및 선언적 LakeFlow 파이프라인을 활용한 확장 가능한 데이터 수집 구현, 그리고 Databricks 특성 저장소를 활용한 생산 수준의 MLOps로의 발전입니다.

Catalyst Optimizer 및 Spark UI를 활용한 Spark 성능 디버깅, 자동화된 품질 검사를 포함한 강건한 브론즈-실버-골드 메달리온 아키텍처 구축, SparkML을 활용한 확장 가능한 특성 변환 구현 등 실습 학습 경험에 참여합니다. 본 과정은 온라인 특성 저장소를 통한 실시간 특성 서빙 배포, 온디맨드 변환을 포함한 FeatureSpec 정의, Unity Catalog를 활용한 거버넌스 및 리니지 추적 적용으로 마무리됩니다.

과정을 마치면 엔터프라이즈 스케일에서 머신 러닝을 위한 완전한 특성 라이프사이클을 관리할 수 있는 역량을 갖추게 됩니다. 즉, 성능이 뛰어나고 신뢰할 수 있으며 거버넌스가 적용된 생산 준비 완료 파이프라인을 설계할 수 있습니다.

참고: SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. ‘Next Lesson’ 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료된 것으로 표시되지 않을 수 있습니다.

Paid & Subscription
3h
Lab
Professional
Data Engineer

Build Data Pipelines with Apache Spark Declarative Pipelines - Korean

이 과정에서는 여러 스트리밍 테이블과 구체화된 보기를 통한 증분 배치 또는 스트리밍 수집 및 처리를 위해 Databricks의 Lakeflow 선언적 파이프라인를 사용하여 데이터 파이프라인을 구축하는 데 필요한 필수 개념과 기술을 사용자에게 소개합니다. Lakeflow 선언적 파이프라인를 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 보기 및 임시 보기와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하고 구체적인 목적과 차이점을 강조합니다.

다루는 주제는 다음과 같습니다.

- SQL을 사용하여 Lakeflow의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)

- Lakeflow 선언적 파이프라인이 파이프라인 그래프

를 통해 파이프라인의 데이터 종속성을 추적하는 방법- 파이프라인 컴퓨팅 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션

 구성 다음으로, 이 과정에서는 Lakeflow의 데이터 품질 기대치를 소개하고, 데이터 무결성을 검증하고 적용하기 위해 기대치를 파이프라인에 통합하는 프로세스를 안내합니다. 그런 다음 학습자는 스케줄링 옵션, 프로덕션 모드, 파이프라인 이벤트 로깅을 활성화하여 파이프라인 성능 및 상태를 모니터링하는 등 파이프라인을 프로덕션에 적용하는 방법을 살펴봅니다.

마지막으로, 이 과정에서는 Lakeflow Declarative Pipelines 내에서 APPLY CHANGES INTO 구문을 사용하여 Change Data Capture  (CDC)를 구현하여 느리게 변화하는 차원(SCD 유형 1 및 유형 2)을 관리하여 사용자가 CDC를 자신의 파이프라인에 통합할 수 있도록 준비하는 방법을 다룹니다.

Languages Available: English | 日本語 | Português BR | 한국어

Paid & Subscription
4h
Lab
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.