Data Preparation for Machine Learning - Korean

회사 AI Assistant를 효과적으로 활용하기 위한 프롬프팅의 두 가지 기초 과정입니다. 1부(기초)에서는 프롬프트의 구체성이 답변 품질에 미치는 영향을 설명하고, RAG 아키텍처를 통해 내부 지식을 기반으로 동작하는 어시스턴트를 뛰어나지만 문자 그대로 받아들이는 인턴으로 비유하며, 접근 가능한 정보와 그렇지 않은 정보를 다루고, 신뢰하되 검증하는 사고방식을 강조하며, C-O-I-E 프레임워크(Context, Outcome, Instruction, Example)를 소개합니다. 2부(기법)에서는 프롬프팅 기법의 툴킷을 구축하고 기법 선택 방법을 학습합니다. 구체적으로는 작업에 맞는 접근 방식 선택, 콘텐츠 생성(제로샷 및 퓨샷), 추론(chain-of-thought, self-ask, meta-prompting), 워크플로(프롬프트 체이닝 및 단일 프롬프트와 체이닝의 선택 기준), 그리고 프롬프트의 명확한 구조화를 다룹니다.

이 과정은 Databricks 계정 및 해당 워크스페이스의 관리자가 알아야 할 내용을 클라우드에 관계없이 다룹니다. 플랫폼 아키텍처 및 관리자 역할, 컴퓨트 리소스 관리, ID 관리, CI/CD 툴링 관리, 워크스페이스 관리 및 보안이 포함됩니다. 클라우드별 세부 사항(IAM, 스토리지, 네트워킹)은 별도의 클라우드 관리자 과정에서 다룹니다. 이 과정은 학습자가 Databricks Accredited Platform Administrator 인증을 취득할 수 있도록 준비시켜 줍니다.

참고: SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. '다음 레슨' 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

이 과정에서는 단일 머신에서 Databricks의 분산 compute까지 스케일할 수 있는 머신 러닝 워크플로를 설계하고 구현하는 방법을 학습합니다. 커리큘럼은 세 가지 모듈로 구성됩니다: 모델 개발의 기초(분산 처리가 필요한 시기와 이유, Spark의 작업 실행 방식), Spark ML과 MLflow를 활용한 확장 가능한 모델 개발, 그리고 Ray와 PyTorch를 활용한 분산 모델 학습 — 마지막으로 주어진 워크로드에 적합한 도구를 선택하기 위한 프레임워크로 마무리됩니다.

실습 데모와 실습 과제를 통해 Transformers, Estimators, fit/transform 패러다임을 사용하여 분산 Spark ML 파이프라인을 구축하고, Spark의 Pandas API를 활용하여 기존 Pandas 코드를 스케일하며, MLflow 3와 Unity Catalog를 사용하여 실험을 추적, 비교, 관리하는 방법을 익힙니다. 이후 Ray Train과 PyTorch(TorchDistributor 및 DeepSpeed)를 사용하여 클러스터 전반에 걸쳐 모델을 훈련하고, 데이터 크기, 모델 크기, 하드웨어, 비용을 기준으로 각 워크로드에 적합한 프레임워크를 선택하는 방법을 학습합니다.

이 과정은 문제를 처음부터 끝까지 다루는 캡스톤으로 마무리됩니다 — 특성 엔지니어링, 스케일에서의 모델 훈련, MLflow를 통한 추적, 그리고 거버넌스 별칭을 사용하여 Unity Catalog에 등록하는 과정을 포함합니다. (생산 배포, 서빙, 모니터링은 별도의 Advanced MLOps 과정에서 다룹니다.)

과정을 마치면 Databricks에서 분산되고 재현 가능하며 관리되는 모델 개발 워크플로를 선택, 구축, 그리고 그 타당성을 설명할 수 있게 됩니다.

참고: SCORM 강의 파일의 경우 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. SCORM 모듈이 완료로 표시되지 않을 수 있으므로 ‘Next Lesson’ 버튼을 클릭하지 마세요.