Databricks Platform Administration - Korean

회사 AI Assistant를 효과적으로 활용하기 위한 프롬프팅의 두 가지 기초 과정입니다. 1부(기초)에서는 프롬프트의 구체성이 답변 품질에 미치는 영향을 설명하고, RAG 아키텍처를 통해 내부 지식을 기반으로 동작하는 어시스턴트를 뛰어나지만 문자 그대로 받아들이는 인턴으로 비유하며, 접근 가능한 정보와 그렇지 않은 정보를 다루고, 신뢰하되 검증하는 사고방식을 강조하며, C-O-I-E 프레임워크(Context, Outcome, Instruction, Example)를 소개합니다. 2부(기법)에서는 프롬프팅 기법의 툴킷을 구축하고 기법 선택 방법을 학습합니다. 구체적으로는 작업에 맞는 접근 방식 선택, 콘텐츠 생성(제로샷 및 퓨샷), 추론(chain-of-thought, self-ask, meta-prompting), 워크플로(프롬프트 체이닝 및 단일 프롬프트와 체이닝의 선택 기준), 그리고 프롬프트의 명확한 구조화를 다룹니다.

이 과정에서는 단일 머신에서 Databricks의 분산 compute까지 스케일할 수 있는 머신 러닝 워크플로를 설계하고 구현하는 방법을 학습합니다. 커리큘럼은 세 가지 모듈로 구성됩니다: 모델 개발의 기초(분산 처리가 필요한 시기와 이유, Spark의 작업 실행 방식), Spark ML과 MLflow를 활용한 확장 가능한 모델 개발, 그리고 Ray와 PyTorch를 활용한 분산 모델 학습 — 마지막으로 주어진 워크로드에 적합한 도구를 선택하기 위한 프레임워크로 마무리됩니다.

실습 데모와 실습 과제를 통해 Transformers, Estimators, fit/transform 패러다임을 사용하여 분산 Spark ML 파이프라인을 구축하고, Spark의 Pandas API를 활용하여 기존 Pandas 코드를 스케일하며, MLflow 3와 Unity Catalog를 사용하여 실험을 추적, 비교, 관리하는 방법을 익힙니다. 이후 Ray Train과 PyTorch(TorchDistributor 및 DeepSpeed)를 사용하여 클러스터 전반에 걸쳐 모델을 훈련하고, 데이터 크기, 모델 크기, 하드웨어, 비용을 기준으로 각 워크로드에 적합한 프레임워크를 선택하는 방법을 학습합니다.

이 과정은 문제를 처음부터 끝까지 다루는 캡스톤으로 마무리됩니다 — 특성 엔지니어링, 스케일에서의 모델 훈련, MLflow를 통한 추적, 그리고 거버넌스 별칭을 사용하여 Unity Catalog에 등록하는 과정을 포함합니다. (생산 배포, 서빙, 모니터링은 별도의 Advanced MLOps 과정에서 다룹니다.)

과정을 마치면 Databricks에서 분산되고 재현 가능하며 관리되는 모델 개발 워크플로를 선택, 구축, 그리고 그 타당성을 설명할 수 있게 됩니다.

참고: SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. SCORM 모듈이 완료로 표시되지 않을 수 있으므로 ‘Next Lesson’ 버튼을 클릭하지 마세요.

이 강의에서는 Unity Catalog와 Databricks의 세밀한 접근 통제를 실습 데모와 캡스톤 랩을 통해 탐구하게 됩니다. 테이블 유형, 카탈로그 및 스키마 구성, 그룹 기반 접근 관리, 접근 제어 마이그레이션 전략에 대해 배우게 됩니다. 이 과정에는 행 수준 보안 및 컬럼 마스킹을 사용한 세분화된 접근 제어 적용, 속성 기반 접근 제어, 제어 결합, 제어 마이그레이션, 그리고 포괄적인 거버넌스 구현을 위한 실습 데모가 포함되어 있습니다.

Languages Available: English | 日本語 | 한국어