주요 컨텐츠로 이동

Data Preparation for Machine Learning - Korean

이 과정은 Databricks를 활용하여 머신러닝을 위한 데이터를 준비하는 기본 사항에 중점을 둡니다. 수강생들은 전통적인 머신러닝 애플리케이션에 적합한 데이터를 탐색, 정리 및 구성하는 데 필요한 핵심 기술을 습득하게 됩니다. 주요 주제로는 데이터 시각화, 특징 공학, 최적의 특징 저장 전략 등이 포함됩니다. 실습을 통해 수강생들은 Databricks 환경에서 머신러닝용 데이터 세트를 효율적으로 준비하는 실무 경험을 쌓게 됩니다. 본 과정은 준전문가 수준의 데이터 과학자 및 머신러닝 실무자, 그리고 데이터 준비 역량을 강화하여 성공적인 머신러닝 모델 배포를 위한 탄탄한 기반을 마련하고자 하는 분들을 대상으로 합니다. 


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

이 과정을 시작하기 전에 최소한 다음 사항에 익숙해야 합니다. :

• ‘머신러닝을 위한 Databricks 시작하기(온보딩)’ 과정을 수료했거나, Databricks 환경에서 작업하는 데 필요한 이에 상응하는 기초 지식을 갖추고 있어야 합니다.

    - 학습자는 Databricks 워크스페이스를 탐색하고, 노트북을 생성 및 실행하며, Databricks에서 기본적인 머신 러닝 워크플로를 이해하는 데 익숙해야 합니다. 이 과정은 그 기반을 바탕으로 머신 러닝을 위한 데이터 준비에 중점을 둡니다.

• 데이터 준비 및 분석을 위한 Python 프로그래밍 중급 숙련도.

    - 학습자는 pandas, numpy, scikit-learn과 같은 라이브러리를 사용하여 데이터 조작, 누락 값 처리, 기본 기능 변환에 익숙해야 합니다.

• 머신 러닝 기초에 대한 기본 이해.

    - 여기에는 학습 및 테스트 데이터셋, 기능 엔지니어링, 모델 개발 파이프라인과 같은 개념에 대한 친숙함이 포함됩니다.

• Databricks 플랫폼 워크플로에 대한 친숙함.

    - 학습자는 클러스터 생성, 노트북에서 코드 실행, 일반적인 노트북 작업 사용과 같은 기본 작업을 수행할 수 있어야 합니다.

• 데이터 형식과 레이크하우스 개념에 대한 기본 지식.

    - 학습자는 CSV, JSON, Parquet과 같은 일반적인 데이터 형식에 익숙하고, Delta Lake와 Lakehouse 아키텍처에 대한 기초 지식을 갖추고 있어야 합니다.

• 탐색적 데이터 분석 및 기본 통계에 대한 기초적인 이해가 필요합니다.

    - 여기에는 데이터 분포, 누락값, 이상치, 그리고 데이터 품질을 평가할 때 사용하는 간단한 데이터 시각화 기법에 대한 기본적인 이해가 포함됩니다.

Outline

데이터 관리 및 탐색

• Lakehouse에서 데이터 관리 및 탐색


데이터 준비 및 특성 엔지니어링

• 데이터 준비 및 특성 엔지니어링의 기초

• 데이터 결측값 처리

• 데이터 인코딩

• 데이터 표준화


특성 저장소

• 특성 저장소 소개

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Korean

이 과정은 Databricks의 Lakeflow Spark Declarative Pipelines을 사용하여 증분 배치 또는 스트리밍 수집 및 처리를 위해 여러 스트리밍 테이블과 구체화된 뷰를 통해 데이터 파이프라인을 구축하는 데 필요한 핵심 개념과 기술을 소개합니다. Spark Declarative Pipelines을 처음 접하는 데이터 엔지니어를 위해 설계된 이 과정은 증분 데이터 처리, 스트리밍 테이블, 구체화된 뷰, 임시 뷰와 같은 핵심 구성 요소에 대한 포괄적인 개요를 제공하며, 각각의 특정 목적과 차이점을 강조합니다.

다루는 주제는 다음과 같습니다:

- SQL을 사용한 Spark Declarative Pipelines의 다중 파일 편집기로 ETL 파이프라인 개발 및 디버깅 (Python 코드 예제 제공)

- 파이프라인 그래프를 통해 Spark Declarative Pipelines이 파이프라인 내 데이터 종속성을 추적하는 방법

- 파이프라인 compute 리소스, 데이터 자산, 트리거 모드 및 기타 고급 옵션 구성

이어서 본 과정은 Spark Declarative Pipelines에서의 데이터 품질 기대치를 소개하며, 데이터 무결성을 검증하고 강제하기 위해 이러한 기대치를 파이프라인에 통합하는 과정을 안내합니다. 학습자는 스케줄링 옵션 포함 파이프라인을 프로덕션 환경에 배포하는 방법과 파이프라인 성능 및 상태 모니터링을 위한 이벤트 로깅 활성화 방법을 탐구하게 됩니다.

마지막으로, 본 과정은 Spark Declarative Pipelines 내에서 AUTO CDC INTO 구문을 사용하여 변경 데이터 캡처(CDC)를 구현하는 방법을 다루며, 이를 통해 느리게 변경되는 차원(SCD Type 1 및 Type 2)을 관리하고 사용자가 자신의 파이프라인에 CDC를 통합할 수 있도록 준비시킵니다.

Languages Available: English | 日本語 | Português BR | 한국어

Paid
4h
Lab
instructor-led
Associate
Data Engineer

DevOps Essentials for Data Engineering - Korean

이 과정에서는 Databricks를 사용하여 작업하는 데이터 엔지니어를 위해 특별히 설계된 소프트웨어 엔지니어링 모범 사례와 DevOps 원칙을 살펴봅니다. 참가자는 코드 품질, 버전 제어, 문서화, 테스트와 같은 핵심 주제에 대한 강력한 기반을 구축하게 됩니다. 이 과정에서는 DevOps를 강조하여 핵심 구성 요소, 이점, 데이터 엔지니어링 워크플로 최적화에서 지속적인 통합 및 배포(CI/CD)의 역할에 대해 다룹니다.

PySpark에서 모듈성 원칙을 적용하여 재사용 가능한 구성 요소를 만들고 효율적으로 코드를 구성하는 방법을 학습합니다. 실습 경험에는 pytest 프레임워크를 사용하여 PySpark 함수에 대한 단위 테스트를 설계하고 구현하는 것과 DLT 및 Workflows를 사용하여 Databricks 데이터 파이프라인에 대한 통합 테스트를 수행하여 안정성을 보장하는 것이 포함됩니다.

또한 이 과정에서는 Databricks Git 폴더를 사용하여 지속적인 통합 관행을 통합하는 것을 포함하여 Databricks 내에서 필수적인 Git 작업도 다룹니다. 마지막으로 REST API, CLI, SDK, Databricks Asset Bundles(DAB) 등 Databricks 자산에 대한 다양한 배포 방법을 간략하게 살펴보고 파이프라인을 배포하고 관리하는 기술에 대한 지식을 얻습니다.

과정을 마치면 소프트웨어 엔지니어링과 DevOps 모범 사례에 능숙해져서 확장 가능하고 유지 관리가 가능하며 효율적인 데이터 엔지니어링 솔루션을 구축할 수 있게 됩니다.

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française

Paid
4h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.