주요 컨텐츠로 이동

Model Development at Scale - Korean

이 과정에서는 단일 머신에서 Databricks의 분산 compute까지 스케일할 수 있는 머신 러닝 워크플로를 설계하고 구현하는 방법을 학습합니다. 커리큘럼은 세 가지 모듈로 구성됩니다: 모델 개발의 기초(분산 처리가 필요한 시기와 이유, Spark의 작업 실행 방식), Spark ML과 MLflow를 활용한 확장 가능한 모델 개발, 그리고 Ray와 PyTorch를 활용한 분산 모델 학습 — 마지막으로 주어진 워크로드에 적합한 도구를 선택하기 위한 프레임워크로 마무리됩니다.


실습 데모와 실습 과제를 통해 Transformers, Estimators, fit/transform 패러다임을 사용하여 분산 Spark ML 파이프라인을 구축하고, Spark의 Pandas API를 활용하여 기존 Pandas 코드를 스케일하며, MLflow 3와 Unity Catalog를 사용하여 실험을 추적, 비교, 관리하는 방법을 익힙니다. 이후 Ray Train과 PyTorch(TorchDistributor 및 DeepSpeed)를 사용하여 클러스터 전반에 걸쳐 모델을 훈련하고, 데이터 크기, 모델 크기, 하드웨어, 비용을 기준으로 각 워크로드에 적합한 프레임워크를 선택하는 방법을 학습합니다.


이 과정은 문제를 처음부터 끝까지 다루는 캡스톤으로 마무리됩니다 — 특성 엔지니어링, 스케일에서의 모델 훈련, MLflow를 통한 추적, 그리고 거버넌스 별칭을 사용하여 Unity Catalog에 등록하는 과정을 포함합니다. (생산 배포, 서빙, 모니터링은 별도의 Advanced MLOps 과정에서 다룹니다.)


과정을 마치면 Databricks에서 분산되고 재현 가능하며 관리되는 모델 개발 워크플로를 선택, 구축, 그리고 그 타당성을 설명할 수 있게 됩니다.


참고: SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. SCORM 모듈이 완료로 표시되지 않을 수 있으므로 ‘Next Lesson’ 버튼을 클릭하지 마세요.

Skill Level
Professional
Duration
4h
Prerequisites

이 과정은 다음과 같은 배경을 가진 학습자에게 가장 적합합니다:

• 사용자는 전통적인 머신 러닝 개념, 개발, 그리고 ML 프로젝트에서의 Python 및 Git 활용에 대한 중급 수준의 지식을 갖추고 있어야 합니다.

• 사용자는 Python에 대한 중급 수준의 경험을 갖추고 있는 것이 권장됩니다. 

• Databricks Academy 콘텐츠는 제공된 Vocareum 환경에서만 실행되도록 설계되었습니다. 

• Databricks는 해당 콘텐츠가 다른 Databricks 워크스페이스 인스턴스에서 성공적으로 실행될 수 있음을 보장하지 않습니다.

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

지금 등록하세요

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

지금 등록하세요

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Advanced Techniques with Apache Spark Declarative Pipelines - Korean

이 과정에서는 생산 수준의 스트리밍 파이프라인을 구축하기 위한 Databricks의 Apache Spark Declarative Pipelines(SDP)를 살펴봅니다. 실제 레이크하우스 엔지니어링에 필수적인 고급 설계 패턴, 강력한 데이터 품질 적용, 그리고 크로스 플랫폼 통합을 학습합니다.

과정 전반에 걸쳐 최신 데이터 수집 및 처리 기법을 심층적으로 다루며, 레이아웃 최적화를 위한 Liquid 클러스터링과 혼합 스키마 이벤트를 위한 Multiplex 스트리밍 패턴 등의 도구를 마스터합니다. 모듈을 마칠 때쯤에는 스키마 진화를 자신 있게 처리하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 보장하는 방법을 익히게 됩니다.

강의와 실습 데모를 통해 다음을 수행합니다.

• 다중 소스 데이터를 통합된 브론즈 테이블로 수집하는 멀티 플로우 파이프라인을 구축합니다.

• 실버 및 골드 레이어 전반에 걸쳐 Liquid 클러스터링과 데이터 품질 Expectations를 적용합니다.

• 크로스 플랫폼 데이터 액세스를 위해 Iceberg UniForm과 함께 Multiplex 패턴을 구현합니다.

• AUTO CDC INTO를 사용하여 SCD Type 2 이력 추적을 자동화합니다.

• 잘못된 레코드를 감사하고 관리하는 데이터 손실 없는 격리 파이프라인을 설계합니다.

참고: 

1. 이 과정은 'Databricks를 활용한 고급 데이터 엔지니어링' 시리즈의 첫 번째 과정입니다.

2. SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫으십시오. ‘다음 레슨’ 버튼을 클릭하지 마십시오. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Free
4h
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.