SQL Analytics on Databricks - Korean

이 과정은 Databricks에서 전통적인 머신 러닝을 위한 데이터 준비의 기본 사항을 가르칩니다. 학습자는 Unity Catalog에서 관리되는 Delta 테이블에 데이터를 로드하고, Notebooks, 기본 내장 시각화 도구, Genie Code를 활용하여 데이터를 탐색합니다. 이후 데이터를 정제하고, 결측값과 이상값을 처리하며, 데이터 누수 없이 데이터를 분할 및 샘플링하고, 대체(imputation), 인코딩, 표준화를 위한 재현 가능한 Spark ML 파이프라인을 구축합니다. 마지막으로, Unity Catalog의 특성 엔지니어링을 사용하여 특성을 저장하고, 관리하며, 재사용합니다. 여기에는 누수 없는 학습 세트를 위한 포인트-인-타임(point-in-time) 조회와, Lakebase 기반 Online Feature Store를 활용한 온라인 특성 서빙 소개가 포함됩니다. 각 모듈은 강의와 실습 데모, 그리고 서버리스 compute에서 실행되는 실습 랩으로 구성됩니다. 모델 학습, 서빙, 모니터링은 이 과정에서 다루지 않으며, Machine Learning Model Development 및 Machine Learning Model Deployment 과정에서 학습합니다. 이 과정은 Databricks에서 데이터 준비에 대한 탄탄한 기초를 쌓고자 하는 어소시에이트 수준의 데이터 과학자 및 머신 러닝 실무자를 대상으로 설계되었습니다.

참고:

1. 이 과정은 'Databricks를 활용한 머신 러닝' 시리즈의 첫 번째 과정입니다.

2. SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. '다음 레슨' 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

이 과정에서는 생산 수준의 스트리밍 파이프라인 구축을 위한 Databricks의 Apache Spark Declarative Pipelines(SDP)를 살펴봅니다. 실제 레이크하우스 엔지니어링에 필수적인 고급 설계 패턴, 강력한 데이터 품질 적용, 그리고 크로스 플랫폼 통합을 학습하게 됩니다.

과정 전반에 걸쳐 현대적인 데이터 수집 및 처리 기법을 심층적으로 다루며, 레이아웃 최적화를 위한 Liquid 클러스터링과 혼합 스키마 이벤트를 위한 Multiplex Streaming 패턴 등의 도구를 마스터합니다. 모듈을 마칠 때쯤에는 스키마 진화를 자신 있게 처리하고, 변경 데이터 캡처(CDC)를 자동화하며, 데이터 무결성을 보장하는 방법을 습득하게 됩니다.

참고:

1. 이 과정은 'Advanced Data Engineering with Databricks' 시리즈의 첫 번째 과정입니다.

2. SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. ‘다음 강의’ 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

이 과정에서는 기존 소프트웨어 테스트로는 처리할 수 없는 비결정론적 AI 시스템의 고유한 과제를 해결하기 위해 MLflow의 평가 프레임워크를 사용하여 AI Agents를 체계적으로 평가하는 방법을 학습합니다. 학생들은 Unity Catalog에 등록되어 있으며 Unity Gateway를 통해 모델을 호출하는 공유 도구 호출 에이전트를 평가합니다. 이때 정확성 및 안전성과 같은 일반적인 기준에는 기본 내장 판정자를, 비즈니스별 요구 사항에는 가이드라인 판정자를, 특수한 요구 사항에는 커스텀 판정자를 사용합니다. 이 과정에서는 선별된 데이터셋을 사용한 오프라인 평가와 Unity Catalog에 MLflow Traces를 저장하는 것을 포함한 온라인 생산 모니터링을 모두 다룹니다. 학생들은 MLflow 트레이싱을 사용하여 에이전트 실행 패턴을 파악하고, 개발자 및 Databricks App을 통해 에이전트를 검토하는 도메인 전문가로부터 사람의 피드백을 수집합니다. 실습 시연과 실험을 통해 학생들은 AI Agent 개발 생애 주기 전반에 걸쳐 지속적인 품질 향상을 이끄는 평가 Workflows를 구축하는 역량을 개발합니다.

참고: SCORM 강의 파일을 이용할 때는 콘텐츠를 모두 학습한 후 SCORM 창을 닫으시기 바랍니다. ‘다음 강의’ 버튼을 클릭하지 마십시오. 클릭할 경우 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.