Introduction to Apache Spark™ - Korean

이 과정은 데이터 과학자와 머신 러닝 실무자를 대상으로 하며, 4시간 모듈 2개로 구성되어 있습니다.

Machine Learning at Scale

이 과정에서는 Apache Spark의 아키텍처와 Databricks 내 머신 러닝 워크로드에 대한 적용에 관한 이론적·실무적 지식을 습득합니다. 데이터 준비, 모델 학습 및 배포에 Spark를 활용하는 시점을 학습하는 동시에, Spark ML 및 Spark 기반 Pandas APIs에 대한 실습 경험을 쌓습니다. 이 과정에서는 하이퍼파라미터 튜닝 및 Spark를 활용한 Optuna 스케일링과 같은 고급 개념을 소개합니다. 또한 포괄적인 모델 패키징 및 거버넌스를 위해 어소시에이트 과정에서 소개된 MLflow 및 Unity Catalog와 같은 기능과 개념을 활용합니다.

Advanced Machine Learning Operations

이 과정에서는 머신 러닝 라이프사이클과 MLOps에 대한 포괄적인 이해를 제공하며, 데이터 및 모델 관리, 테스트, 확장 가능한 아키텍처에 대한 모범 사례를 중점적으로 다룹니다. CI/CD, 파이프라인 관리, 환경 분리를 포함한 주요 MLOps 구성 요소를 다루는 동시에, Declarative Automation Bundles(DABs), Lakeflow Jobs, Model Serving과 같은 자동화 및 인프라 관리를 위한 Databricks 도구를 소개합니다. 모니터링, 사용자 정의 메트릭, 드리프트 감지, 모델 롤아웃 전략, A/B 테스트, 그리고 신뢰할 수 있는 MLOps 시스템의 원칙에 대해 학습하여 Databricks에서 ML 프로젝트를 구현하고 관리하는 방법에 대한 전체적인 뷰를 제공합니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

이 과정에서는 머신 러닝 라이프사이클과 MLOps에 대한 포괄적인 이해를 제공하며, 데이터 및 모델 관리, 테스트, 확장 가능한 아키텍처에 대한 모범 사례를 중점적으로 다룹니다. CI/CD, 파이프라인 관리, 환경 분리를 포함한 주요 MLOps 구성 요소를 다루는 동시에, Declarative Automation Bundles(DABs), Lakeflow Jobs, Model Serving과 같은 자동화 및 인프라 관리를 위한 Databricks 도구를 소개합니다. 모니터링, 사용자 정의 메트릭, 드리프트 감지, 모델 롤아웃 전략, A/B 테스트, 그리고 신뢰할 수 있는 MLOps 시스템의 원칙에 대해 학습하여 Databricks에서 ML 프로젝트를 구현하고 관리하는 방법에 대한 전체적인 뷰를 제공합니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.

이 과정에서는 Apache Spark의 아키텍처와 Databricks 내 머신 러닝 워크로드에 대한 적용에 관한 이론적·실무적 지식을 습득합니다. 데이터 준비, 모델 학습 및 배포에 Spark를 활용하는 시점을 학습하는 동시에, Spark ML 및 Spark 기반 Pandas APIs에 대한 실습 경험을 쌓습니다. 이 과정에서는 하이퍼파라미터 튜닝 및 Spark를 활용한 Optuna 스케일링과 같은 고급 개념을 소개합니다. 또한 포괄적인 모델 패키징 및 거버넌스를 위해 어소시에이트 과정에서 소개된 MLflow 및 Unity Catalog와 같은 기능과 개념을 활용합니다.

참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.