Get Started with AI Agents on Databricks - Korean

Unity Gateway는 Unity Catalog의 거버넌스를 AI 트래픽까지 확장합니다. Unity Catalog는 이미 모델, MCP 서비스, 함수, 연결을 보안 가능한 객체로 관리하고 있으며, Unity Gateway는 이러한 객체로 향하는 트래픽에 대한 중앙 Control Plane을 추가하여 모든 요청과 응답에 라우팅, 속도 제한, 예산, 사용량 추적, **서비스 정책**(가드레일)을 적용합니다.

이 실습은 짧은 강의를 통해 기본 개념을 소개한 후, 실습형 데모를 통해 직접 적용해 봅니다. 데모에서는 Databricks 네이티브 다이어그램을 코드로 생성하는 실제 에이전틱 애플리케이션을 대상으로, Unity Gateway를 통해 라우팅하고 거버넌스를 단계적으로 강화합니다. 구체적으로는 모델 서비스 생성, 권한 부여, 추론 테이블 추가, 속도 제한, 환각 가드레일 정책, Claude 모델 간 트래픽 분산, fallback 라우팅을 다룹니다. 마지막으로 `system.ai` 및 `system.ai_gateway` 스키마를 탐험하여 텔레메트리와 옵저버빌리티가 페이로드 수준의 추론 로깅을 어떻게 보완하는지 살펴봅니다.

실습을 마치면 자산, 트래픽, 동작 거버넌스가 어떻게 AI를 위한 단일 Control Plane으로 결합되는지, 그리고 Databricks에서 생산 수준의 생성형 AI 애플리케이션에 이러한 제어를 어떻게 적용하는지 이해하게 됩니다.

참고: SCORM 강의 파일을 이용할 때는 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. ‘다음 강의’ 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

이 과정에서는 데이터 분석을 위해 Databricks를 효과적으로 활용하는 방법을 학습하며, 특히 Databricks SQL에 중점을 둡니다. Databricks 데이터 분석가로서 관련 데이터를 찾고, 잠재적 활용 가능성을 분석하며, 비즈니스에 유용한 인사이트를 제공하는 형식으로 데이터를 변환하는 역할을 담당하게 됩니다. 

또한 데이터 객체 관리에서 맡게 되는 역할을 이해하고, Notebooks, SQL Editor, Databricks SQL과 같은 도구를 활용하여 Databricks Data Intelligence Platform 내에서 데이터 객체를 조작하는 방법을 학습합니다. 

아울러 데이터 자산 및 전체 플랫폼 관리에 있어 Unity Catalog의 중요성에 대해서도 학습합니다. 마지막으로, 이 과정에서는 Databricks가 성능 최적화를 지원하는 방식에 대한 개요를 제공하며, Databricks에서 SQL 분석을 실행할 때 내부적으로 발생하는 프로세스를 파악하기 위해 쿼리 인사이트에 액세스하는 방법을 학습합니다.

참고: SCORM 강의 파일을 이용할 때는 콘텐츠를 모두 학습한 후 SCORM 창을 닫으시기 바랍니다. ‘다음 강의’ 버튼을 클릭하지 마십시오. 클릭할 경우 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.

Languages Available: English | 日本語 | Português BR | 한국어

이 과정은 Databricks에서 전통적인 머신 러닝을 위한 데이터 준비의 기본 사항을 가르칩니다. 학습자는 Unity Catalog에서 관리되는 Delta 테이블에 데이터를 로드하고, Notebooks, 기본 내장 시각화 도구, Genie Code를 활용하여 데이터를 탐색합니다. 이후 데이터를 정제하고, 결측값과 이상값을 처리하며, 데이터 누수 없이 데이터를 분할 및 샘플링하고, 대체(imputation), 인코딩, 표준화를 위한 재현 가능한 Spark ML 파이프라인을 구축합니다. 마지막으로, Unity Catalog의 특성 엔지니어링을 사용하여 특성을 저장하고, 관리하며, 재사용합니다. 여기에는 누수 없는 학습 세트를 위한 포인트-인-타임(point-in-time) 조회와, Lakebase 기반 Online Feature Store를 활용한 온라인 특성 서빙 소개가 포함됩니다. 각 모듈은 강의와 실습 데모, 그리고 서버리스 compute에서 실행되는 실습 랩으로 구성됩니다. 모델 학습, 서빙, 모니터링은 이 과정에서 다루지 않으며, Machine Learning Model Development 및 Machine Learning Model Deployment 과정에서 학습합니다. 이 과정은 Databricks에서 데이터 준비에 대한 탄탄한 기초를 쌓고자 하는 어소시에이트 수준의 데이터 과학자 및 머신 러닝 실무자를 대상으로 설계되었습니다.

참고:

1. 이 과정은 'Databricks를 활용한 머신 러닝' 시리즈의 첫 번째 과정입니다.

2. SCORM 강의 파일의 경우, 콘텐츠를 완료한 후 SCORM 창을 닫아 주세요. '다음 레슨' 버튼은 클릭하지 마세요. 클릭하면 SCORM 모듈이 완료로 표시되지 않을 수 있습니다.