Agent Evaluation on Databricks - Korean
이 과정은 MLflow의 평가 프레임워크를 활용해 AI 에이전트를 체계적으로 평가하는 방법을 가르치며, 전통적인 소프트웨어 테스트가 해결할 수 없는 비결정론적 AI 시스템의 독특한 도전 과제를 다룹니다. 학생들은 올바름과 안전성 같은 공통 기준에 대한 기본 내장 평가자, 사업 구체화 요구사항을 위한 가이드라인 평가자, 그리고 특화된 필요에 맞는 맞춤형 평가자 등 다양한 평가 방식을 구현하는 법을 배웁니다. 이 과정은 엄선된 데이터셋을 이용한 오프라인 평가와 온라인 생산 모니터링을 모두 포함하며, MLflow의 추적 기능을 활용해 에이전트 실행 패턴을 이해하고 다양한 이해관계자 유형으로부터 인간 피드백을 수집하는 실무 경험을 제공합니다. 실습 시연과 실험을 통해 학생들은 AI 에이전트 개발 수명 주기 전반에 걸쳐 지속적인 품질 개선을 이끄는 평가 워크플로우를 만드는 기술을 개발합니다.
참고: Databricks Academy는 Databricks 환경 내의 대면 강의 형식을 노트북 기반 방식으로 전환함에 따라, 강의용 슬라이드 사용이 중단됩니다. Vocareum 랩 환경에서 강의용 노트북에 액세스할 수 있습니다.
Languages Available: English | 日本語 | Português BR | 한국어
콘텐츠는 다음과 같은 기술/지식/능력을 가진 참가자를 위해 개발되었습니다.
• 중급 Python 프로그래밍 경험
• 쿼리 및 함수 작성을 위한 기본 SQL 지식
• Databricks Data Intelligence Platform에 대한 친숙함
• Unity Catalog 개념 이해, 카탈로그 및 스키마 포함
• 대형 언어 모델(LLM) 및 프롬프트 엔지니어링에 대한 기본 이해
• MLflow에 대한 기본 지식
Outline
AI 에이전트 평가의 기초
• AI 에이전트 평가의 과제
• 에이전트 설정
• MLflow의 평가 프레임워크
내장 평가기 및 가이드라인 심사위원
• 심사위원의 유형
• MLflow 내장 심사위원 사용
• MLflow를 활용한 가이드라인 심사위원
• 에이전트 평가 적용
• MLflow를 활용한 사용자 정의 심사위원
사용자 정의 심사위원 및 인간 피드백
• 오프라인 대 온라인 평가 전략
• 모범 사례 및 실제 적용
• MLflow를 활용한 개발자 및 SME 피드백
Upcoming Public Classes
Date | Time | Your Local Time | Language | Price |
|---|---|---|---|---|
Jun 19 | 02 PM - 06 PM (Asia/Seoul) | - | Korean | $750.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
지금 등록하세요Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
지금 등록하세요Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase nowSkills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

