Data Preparation for Machine Learning - Korean

이 과정에서는 생산 수준의 스트리밍 파이프라인 구축을 위한 Databricks의 Apache Spark Declarative Pipelines(SDP)를 살펴봅니다. 실제 레이크하우스 엔지니어링에 필수적인 고급 설계 패턴, 강력한 데이터 품질 적용, 그리고 크로스 플랫폼 통합을 학습하게 됩니다.

과정 전반에 걸쳐 현대적인 데이터 수집 및 처리 기법을 심층적으로 다루며, 레이아웃 최적화를 위한 Liquid 클러스터링과 혼합 스키마 이벤트를 위한 Multiplex Streaming 패턴 등의 도구를 마스터합니다. 모듈을 마칠 때쯤에는 스키마 진화를 자신 있게 처리하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 보장하는 방법을 습득하게 됩니다.

참고: 

1. 이 과정은 'Advanced Data Engineering with Databricks' 과정 시리즈의 일부입니다.

2. Databricks Academy는 Databricks 환경 내 강의 세션을 노트북 기반 형식으로 전환하고 있으며, 강의에서 슬라이드 자료 사용을 중단합니다. 강의 노트북은 Vocareum 랩 환경에서 이용할 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Databricks Performance Optimization은 데이터 엔지니어와 애널리스트에게 Databricks Data Intelligence Platform에서 성능 병목 현상을 진단, 측정 및 해결하는 방법과 성능 개선 사항을 비용과 연결하는 방법을 교육합니다. 이 과정은 측정 우선, 플랫폼 우선 워크플로를 따릅니다. 즉, 플랫폼의 자동 최적화 기능이 핵심 작업을 처리하도록 하고, Query Profile과 시스템 테이블을 사용하여 적용된 내용을 확인한 후, 필요한 경우 수동으로 튜닝합니다.

학습자는 Query Profile, Performance Insights, 쿼리 이력 시스템 테이블을 활용하여 성능 측정의 기초를 다집니다. 이를 바탕으로 데이터 레이아웃과 자체 튜닝 관리형 테이블, Liquid 클러스터링, 캐싱 및 중간 결과, 셔플, 스큐, 스필, 행 폭발, 드라이버 성능, Python UDF, 서버리스 compute, Photon, 비용 귀속 등 주요 최적화 기법을 탐색합니다.

과정 전반에 걸쳐 학습자는 합성 소매 데이터에 대해 의도적으로 느리게 설계된 쿼리를 살펴보고, 다양한 최적화 기법이 성능에 미치는 영향을 확인합니다. 파일 프루닝, 태스크 실행 시간, Photon 커버리지, 비용 등의 근거를 활용하여 개선 사항을 평가합니다. 시나리오 기반 실습 두 가지를 통해 진단부터 검증까지 최적화 워크플로를 강화합니다.

참고: Databricks Academy는 Databricks 환경 내 강의실 세션을 노트북 기반 형식으로 전환하고 있으며, 강의에서 슬라이드 덱 사용을 중단하고 있습니다. Vocareum 랩 환경에서 강의 노트북에 액세스할 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어

이 과정은 데이터 과학자와 머신 러닝 실무자를 대상으로 하며, 4시간 모듈 2개로 구성되어 있습니다.

Machine Learning at Scale

이 과정에서는 Apache Spark의 아키텍처와 Databricks 내 머신 러닝 워크로드에 대한 적용에 관한 이론적·실무적 지식을 습득합니다. 데이터 준비, 모델 학습 및 배포에 Spark를 활용하는 시점을 학습하는 동시에, Spark ML 및 Spark 기반 Pandas APIs에 대한 실습 경험을 쌓습니다. 이 과정에서는 하이퍼파라미터 튜닝 및 Spark를 활용한 Optuna 스케일링과 같은 고급 개념을 소개합니다. 또한 포괄적인 모델 패키징 및 거버넌스를 위해 어소시에이트 과정에서 소개된 MLflow 및 Unity Catalog와 같은 기능과 개념을 활용합니다.

Advanced Machine Learning Operations

이 과정에서는 머신 러닝 라이프사이클과 MLOps에 대한 포괄적인 이해를 제공하며, 데이터 및 모델 관리, 테스트, 확장 가능한 아키텍처에 대한 모범 사례를 중점적으로 다룹니다. CI/CD, 파이프라인 관리, 환경 분리를 포함한 주요 MLOps 구성 요소를 다루는 동시에, Declarative Automation Bundles(DABs), Lakeflow Jobs, Model Serving과 같은 자동화 및 인프라 관리를 위한 Databricks 도구를 소개합니다. 모니터링, 사용자 정의 메트릭, 드리프트 감지, 모델 롤아웃 전략, A/B 테스트, 그리고 신뢰할 수 있는 MLOps 시스템의 원칙에 대해 학습하여 Databricks에서 ML 프로젝트를 구현하고 관리하는 방법에 대한 전체적인 뷰를 제공합니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.