Data Preparation for Machine Learning - Korean

이 과정은 Databricks에서 전통적인 머신 러닝을 위한 데이터 준비의 기본 사항을 가르칩니다. 학습자는 Unity Catalog에서 관리되는 Delta 테이블에 데이터를 로드하고, Notebooks, 기본 내장 시각화 도구, Genie Code를 활용하여 데이터를 탐색합니다. 이후 데이터를 정제하고, 결측값과 이상값을 처리하며, 데이터 누수 없이 데이터를 분할 및 샘플링하고, 대체(imputation), 인코딩, 표준화를 위한 재현 가능한 Spark ML 파이프라인을 구축합니다. 마지막으로, Unity Catalog의 특성 엔지니어링을 사용하여 특성을 저장하고, 관리하며, 재사용합니다. 여기에는 누수 없는 학습 세트를 위한 포인트-인-타임(point-in-time) 조회와, Lakebase 기반 Online Feature Store를 활용한 온라인 특성 서빙 소개가 포함됩니다. 각 모듈은 강의와 실습 데모, 그리고 서버리스 compute에서 실행되는 실습 랩으로 구성됩니다. 모델 학습, 서빙, 모니터링은 이 과정에서 다루지 않으며, Machine Learning Model Development 및 Machine Learning Model Deployment 과정에서 학습합니다. 이 과정은 Databricks에서 데이터 준비에 대한 탄탄한 기초를 쌓고자 하는 어소시에이트 수준의 데이터 과학자 및 머신 러닝 실무자를 대상으로 설계되었습니다.

참고:

1. 이 과정은 'Databricks를 활용한 머신 러닝' 시리즈의 첫 번째 과정입니다.

2. SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. '다음 레슨' 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Skill Level

Associate

Duration

Prerequisites

이 과정의 콘텐츠는 다음과 같은 기술/지식/능력을 갖춘 참가자를 대상으로 개발되었습니다:

• Databricks 기초. 머신 러닝을 위한 Databricks 시작하기 과정 수료 또는 이에 상응하는 경험이 필요합니다.

- 학습자는 워크스페이스를 탐색하고, 노트북을 생성 및 실행하며, 노트북을 compute에 연결할 수 있어야 합니다(서버리스 compute 포함). 또한 Databricks에서의 기본적인 머신 러닝 워크플로를 이해하고 있어야 합니다.

• 중급 Python.

- 학습자는 데이터 조작을 위한 Python 코드를 편안하게 작성할 수 있어야 합니다. Pandas 사용 경험이 있으면 유용합니다. PySpark DataFrames에 대한 기본적인 이해가 있으면 도움이 되지만 필수는 아닙니다. 본 과정에서는 모든 분산 작업에 Spark DataFrames와 Spark ML을 사용하기 때문입니다.

• 기초 SQL.

- 학습자는 간단한 SELECT, CREATE TABLE, GRANT 구문을 읽고 작성할 수 있어야 합니다. 여러 데모와 실습에서 SQL 셀을 사용합니다.

• 머신 러닝 기초.

- 학습자는 특성과 레이블, 학습·검증·테스트 세트, 그리고 데이터 누수의 개념에 익숙해야 합니다. 모델 학습 자체는 본 과정에서 다루지 않습니다.

• 데이터 형식 및 레이크하우스 개념.

- 학습자는 CSV, JSON, Parquet 등의 일반적인 형식에 익숙하고, Delta Lake와 레이크하우스 아키텍처에 대한 기초 지식을 갖추고 있어야 합니다.

• 탐색적 데이터 분석 및 기초 통계.

- 학습자는 분포, 평균, 중앙값, 표준편차, 결측값, 이상값, 그리고 데이터 품질 평가에 사용되는 간단한 차트를 이해하고 있어야 합니다.

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Customer registration Partner registration

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Catalog Management and Data Organization - Korean

이 과정에서는 Databricks Data and AI Platform의 Unity Catalog를 사용하여 카탈로그 구조와 대규모 데이터 조직을 설계, 구현 및 관리하는 방법을 학습합니다. 총 5개의 모듈로 구성되며, 먼저 클라우드 배포 모델 내에서 Unity Catalog의 위치를 살펴보고, 어카운트 콘솔, 지역별 메타스토어, 그리고 이를 가능하게 하는 관리자 역할을 다룹니다. 이어서 조직의 토폴로지(비즈니스 단위, 지역, dev/QA/prod 환경)를 명명 규칙, 소유권, MANAGE 위임을 갖춘 스케일 가능한 카탈로그 및 스키마 설계로 전환하는 방법을 학습합니다. 다음으로, 스토리지 자격 증명, 외부 위치, 관리형 스토리지 계층 구조, 관리형 테이블과 외부 테이블의 비교, Volumes, Lakehouse Federation을 활용한 안전한 스토리지 통합을 다룹니다. 그런 다음 워크스페이스-카탈로그 바인딩, 권한 상속, 행 필터, 열 마스크, 속성 기반 접근 제어(ABAC) 정책 등 액세스 패턴과 격리 전략을 적용하고, 감사 신호를 통해 결과를 검증합니다. 마지막으로, Unity Catalog 환경을 설계, 관리 및 운영하기 위한 모범 사례를 다루며 과정을 마무리합니다. 실습 데모와 랩은 서버리스 compute에서 실행되며, 짧은 Genie Code 단계가 포함됩니다.

참고: SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. ‘다음 레슨’ 버튼을 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료된 것으로 표시되지 않을 수 있습니다.

SQL Analytics on Databricks - Korean

이 과정에서는 데이터 분석을 위해 Databricks를 효과적으로 활용하는 방법을 학습하며, 특히 Databricks SQL에 중점을 둡니다. Databricks 데이터 분석가로서 관련 데이터를 찾고, 잠재적 활용 가능성을 분석하며, 비즈니스에 유용한 인사이트를 제공하는 형식으로 데이터를 변환하는 역할을 담당하게 됩니다.

또한 데이터 객체 관리에서 맡게 되는 역할을 이해하고, Notebooks, SQL Editor, Databricks SQL과 같은 도구를 활용하여 Databricks Data Intelligence Platform 내에서 데이터 객체를 조작하는 방법을 학습합니다.

아울러 데이터 자산 및 전체 플랫폼 관리에 있어 Unity Catalog의 중요성에 대해서도 학습합니다. 마지막으로, 이 과정에서는 Databricks가 성능 최적화를 지원하는 방식에 대한 개요를 제공하며, Databricks에서 SQL 분석을 실행할 때 내부적으로 발생하는 프로세스를 파악하기 위해 쿼리 인사이트에 액세스하는 방법을 학습합니다.

참고: SCORM 강의 파일을 이용할 때는 콘텐츠를 모두 학습한 후 SCORM 창을 닫으시기 바랍니다. ‘다음 강의’ 버튼을 클릭하지 마십시오. 클릭할 경우 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어

Advanced Techniques with Apache Spark Declarative Pipelines - Korean

이 과정에서는 생산 수준의 스트리밍 파이프라인 구축을 위한 Databricks의 Apache Spark Declarative Pipelines(SDP)를 살펴봅니다. 실제 레이크하우스 엔지니어링에 필수적인 고급 설계 패턴, 강력한 데이터 품질 적용, 그리고 크로스 플랫폼 통합을 학습하게 됩니다.

과정 전반에 걸쳐 현대적인 데이터 수집 및 처리 기법을 심층적으로 다루며, 레이아웃 최적화를 위한 Liquid 클러스터링과 혼합 스키마 이벤트를 위한 Multiplex Streaming 패턴 등의 도구를 마스터합니다. 모듈을 마칠 때쯤에는 스키마 진화를 자신 있게 처리하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 보장하는 방법을 습득하게 됩니다.

참고:

1. 이 과정은 'Advanced Data Engineering with Databricks' 시리즈의 첫 번째 과정입니다.

2. SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. ‘다음 강의’ 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Paid & Subscription

Lab

Professional