주요 컨텐츠로 이동

Get Started with Databricks for Data Engineering - Korean

이 코스에서는 Databricks Data Intelligence Platform에서 기본적인 데이터 엔지니어링 워크플로를 수행하는 데 필요한 기초 기술을 소개합니다. 워크스페이스를 살펴보고, Unity Catalog를 사용하며, 데이터 엔지니어가 Databricks에서 일상적으로 활용하는 핵심 구성 요소를 학습합니다.


이 코스는 실습 중심으로 진행됩니다. 먼저 워크스페이스에 익숙해진 다음, 각 주제별로 데모와 랩 노트북을 짝지어 진행합니다. 데모에서는 강사 또는 가이드 노트북과 함께 개념을 살펴보고, 랩에서는 방금 학습한 내용을 직접 적용합니다.


다루는 내용은 다음과 같습니다.

• Databricks Data Intelligence Platform의 개요와 Databricks Workspace, Unity Catalog, 노트북이 어떻게 함께 작동하는지.

• Delta Lake 테이블의 생성 및 관리.

• INSERT, UPDATE, DELETE를 사용한 데이터 변경.

• Delta 테이블의 버전 기록 및 타임 트래블 살펴보기.

• Lakeflow Connect 옵션(CTAS, 업로드 UI, COPY INTO)을 사용한 데이터 수집.

• 브론즈, 실버, 골드 계층을 통해 데이터를 변환하는 메달리온 아키텍처 파이프라인 구축.

• Lakeflow Jobs를 사용한 파이프라인 자동화.

• (보너스) Spark Declarative Pipelines를 사용한 선언형 파이프라인 구축.


Languages Available: English | 日本語 | Português BR | 한국어 | Español | française

Skill Level
Onboarding
Duration
2h
Prerequisites

이 과정에서는 다음과 같은 기술/지식/능력을 가진 참가자들을 위해 내용이 개발되었습니다: 

• 클라우드 데이터 플랫폼에 대한 기본적인 이해. 데이터베이스, 테이블, 쿼리가 무엇인지 개념적으로 이해하고 있어야 합니다.

• SQL에 대한 실무 지식. WHERE, GROUP BY, 집계 함수를 포함한 SELECT 문을 읽고 작성할 수 있으며 INSERT, UPDATE, DELETE를 이해하고 있어야 합니다.

• 데이터 수집, 변환, 파이프라인과 같은 데이터 엔지니어링 개념에 대한 전반적인 이해가 있으면 도움이 되지만 필수는 아닙니다. 기초 내용은 이 코스에서 다룹니다.

Outline

Databricks에서 데이터 엔지니어링 시작하기

• Databricks Data Intelligence Platform

• 데모: Databricks 워크스페이스 둘러보기

• 데모: 데이터를 찾고 테이블 생성하기

• 랩: 테이블 찾기 및 생성

• 데모: INSERT, UPDATE, DELETE를 사용한 데이터 변경

• 랩: Delta 테이블의 데이터 변경하기

• 데모: 버전 기록 및 타임 트래블 살펴보기

• 랩: 버전 기록 및 타임 트래블 활용하기

• 데모: CTAS 및 업로드 UI를 사용한 데이터 수집

• 랩: CTAS를 사용한 데이터 수집

• 데모: COPY INTO를 사용한 증분 데이터 로드

• 랩: 증분 데이터 로드

• 데모: 메달리온 아키텍처 파이프라인 구축

• 랩: 완전한 메달리온 파이프라인 구축

• 데모: Lakeflow Job을 사용한 파이프라인 자동화

• 랩: 파이프라인 작업 자동화

• 데모: 보너스 - Spark Declarative Pipelines를 사용한 선언형 파이프라인 구축

• 랩: 보너스 - 선언형 파이프라인 결과 살펴보기

• 코스 리소스 재설정 또는 정리

• 요약 및 다음 단계

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Data Ingestion with Lakeflow Connect - Korean

이 과정은 다양한 소스에서 Databricks로 데이터를 수집하기 위한 확장 가능하고 간소화된 솔루션인 LakeFlow Connect에 대한 포괄적인 입문 내용을 제공합니다. LakeFlow Connect 커넥터의 다양한 유형(Standard 및 Managed)을 탐색하는 것으로 시작하여, 배치, 증분 배치, 스트리밍 수집을 포함한 다양한 데이터 수집 기법을 학습합니다. 또한 UC 테이블 사용의 주요 이점과 메달리온 아키텍처도 살펴봅니다.

다음으로, LakeFlow Connect Standard Connectors를 사용하여 클라우드 오브젝트 스토리지에서 데이터를 수집하는 실용적인 기술을 개발합니다. 여기에는 CREATE TABLE AS SELECT(CTAS), COPY INTO, Auto Loader와 같은 방법을 활용하는 내용이 포함되며, 각 접근 방식의 이점과 고려 사항을 중점적으로 다룹니다. 또한 Databricks Data Intelligence Platform으로 수집하는 과정에서 브론즈 레벨 테이블에 메타데이터 컬럼을 추가하는 방법도 학습합니다. 이어서 rescued data 컬럼을 사용하여 테이블 스키마와 일치하지 않는 레코드를 처리하는 방법과 해당 데이터를 관리 및 분석하는 전략을 다룹니다. 반정형 JSON 데이터를 수집하고 평탄화하는 기법도 살펴봅니다.

그 다음으로, LakeFlow Connect Managed Connectors를 사용하여 데이터베이스 및 SaaS(Software-as-a-Service) 애플리케이션에서 데이터를 가져오는 엔터프라이즈급 데이터 수집 방법을 탐색합니다. 또한 수집 워크로드에 파트너 도구를 통합하는 옵션으로 Partner Connect도 소개합니다.

마지막으로, MERGE INTO 운영 및 Databricks Marketplace 활용을 포함한 대안적인 수집 전략으로 과정을 마무리하며, 현대적인 데이터 엔지니어링 사용 사례를 지원하기 위한 탄탄한 기반을 갖출 수 있도록 합니다.

참고: SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. ‘다음 레슨’ 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어 | 普通话

Free
4h
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.