Advanced Data Engineering with Databricks - Korean

이 과정은 Databricks Data Intelligence Platform에서 단일 에이전트 애플리케이션을 구축하기 위한 실습 교육을 제공합니다. 수강생은 Unity catalog 기능을 도구로 활용하는 AI 에이전트 생성, MLflow를 통한 포괄적인 추적 및 모니터링 구현, LangChain과 같은 기존 프레임워크와 Agent Bricks와 같은 최신 솔루션을 모두 사용한 에이전트 배포 방법을 학습합니다. 본 과정은 AI Playground에서의 초기 도구 생성 및 테스트부터 거버넌스, 평가, 지속적인 개선 기능을 갖춘 프로덕션 배포에 이르기까지 에이전트의 전체 라이프사이클을 다룹니다.

참고: Databricks Academy는 강의실 세션을 Databricks 환경 내 노트북 기반 형식으로 전환하며, 강의용 슬라이드 데크 사용을 중단합니다. 강의 노트북은 Vocareum 랩 환경에서 확인할 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어

'Databricks를 활용한 머신러닝' 과정에 오신 것을 환영합니다!

이 과정은 Databricks 환경에서 머신러닝 워크플로를 완벽하게 마스터하기 위한 여러분의 입문서가 되어 줄 것입니다. 전문 강사진의 지도 아래 데이터 준비, 모델 개발, 배포 및 운영에 이르는 전 과정을 깊이 있게 탐구해 보세요. Databricks에 최적화된 데이터 탐색, 모델 훈련, 그리고 배포 전략에 필요한 핵심 기술을 습득하게 됩니다. 과정을 마치면 Databricks platform 내에서 전체 머신러닝 수명 주기를 주도적으로 관리할 수 있는 지식과 자신감을 갖추게 되며, 이를 바탕으로 견고한 머신러닝 솔루션을 효율적으로 구축하고 배포할 수 있게 될 것입니다.

머신러닝을 위한 데이터 준비

이 과정은 Databricks를 활용하여 머신러닝용 데이터를 준비하는 데 필요한 기초 지식에 중점을 둡니다. 참가자들은 전통적인 머신러닝 애플리케이션에 맞춰 데이터를 탐색, 정제 및 조직화하는 데 필요한 핵심 기술을 배우게 됩니다. 주요 주제로는 데이터 시각화, 특성 엔지니어링, 그리고 최적의 피처 저장 전략 등이 포함됩니다. 실습 과제를 통해 참가자들은 Databricks 환경 내에서 머신러닝용 데이터 세트를 효율적으로 준비하는 실무 경험을 쌓게 됩니다. 이 과정은 주니어급 데이터 과학자 및 머신러닝 실무자, 그리고 데이터 준비 역량을 강화하여 성공적인 머신러닝 모델 배포를 위한 탄탄한 기초를 다지고자 하는 분들을 위해 설계되었습니다.

머신러닝 모델 개발

이 종합 과정은 Databricks 환경에서 전통적인 머신러닝 모델을 개발하기 위한 실용적인 가이드를 제공하며, 널리 사용되는 ML 라이브러리를 활용한 실습 시연과 워크플로에 중점을 둡니다. 참가자들은 Databricks의 강력한 기능을 활용하여 회귀(Regression) 및 군집화(Clustering)를 포함한 주요 ML 기법들을 탐구하게 됩니다. 과정 내용은 모델 추적을 위한 MLflow 연동, 피처 관리를 위한 Databricks 특성 저장소, 그리고 하이퍼파라미터 튜닝을 위한 Optuna 활용법 등을 포괄합니다. 또한, Databricks AutoML을 활용하여 모델 훈련 속도를 가속화하는 방법도 배우게 됩니다. 과정을 마치면 학습자들은 Databricks 환경에서 머신러닝 모델을 효율적으로 개발, 최적화 및 배포하는 데 필요한 실전적이고 실무 중심적인 기술을 갖추게 될 것입니다.

머신러닝 모델 배포

이 과정은 세 가지 주요 머신러닝 배포 전략을 소개하고, Databricks 환경에서 각 전략을 실제로 구현하는 방법을 보여주기 위해 설계되었습니다. 모델 배포의 기초 원리를 탐구한 후, 과정은 배치 추론(Batch Inference) 분야로 심층적으로 들어갑니다. 배치 추론 시나리오에서 모델을 활용하는 방법에 대한 실습 시연과 랩(Lab) 실습을 제공하며, 성능 최적화를 위한 고려 사항들도 함께 다룹니다. 과정의 두 번째 파트에서는 파이프라인 배포(Pipeline Deployment)에 대해 포괄적으로 다루며, 마지막 파트에서는 실시간 배포(Real-time Deployment)에 집중하여 학습을 진행합니다. 참가자들은 실습 시연 및 랩 세션에 참여하여, Model Serving을 활용해 모델을 배포하고 해당 서빙 엔드포인트를 이용해 실시간 추론을 수행하게 됩니다.

머신러닝 운영

본 과정은 MLOps 및 모델 수명 주기 관리에 중점을 두고, 머신러닝 모델 운영 전반을 심층적으로 탐구할 수 있도록 참가자들을 안내합니다. 과정의 초반부에서는 필수적인 MLOps 구성 요소와 모범 사례를 다루며, 참가자들이 머신러닝 모델을 효과적으로 운영 환경에 적용하는 데 필요한 탄탄한 기초를 다질 수 있도록 지원합니다. 후반부에서는 모델 수명 주기의 기본 원리를 상세히 살펴보고, Unity Catalog와 연계된 Model Registry를 활용하여 모델 수명 주기를 원활하게 관리하는 방법을 시연합니다. 과정을 마치게 되면, 참가자들은 MLOps 원리에 대한 실질적인 통찰력과 포괄적인 이해를 갖추게 되며, 복잡다단한 머신러닝 모델 운영 환경을 능숙하게 다룰 수 있는 역량을 확보하게 될 것입니다.

Languages Available: English | 日本語 | Português BR | 한국어

이 콘텐츠는 Databricks 내에서 데이터 프라이버시를 관리하는 포괄적인 가이드를 제공합니다. 델타 레이크 아키텍처, 지역별 데이터 격리, GDPR/CCPA 준수, 변경 데이터 피드(CDF) 사용법 등 핵심 주제를 다룹니다. 실습 데모와 핸즈온 랩을 통해 참가자는 민감한 데이터를 보호하고 규정 준수를 보장하기 위한 Unity catalog 기능을 활용하는 방법을 배우며, 데이터 무결성을 효과적으로 보호할 수 있는 역량을 강화합니다.

Languages Available: English | 日本語 | Português BR | 한국어