Agent Evaluation on Databricks - Japanese
このコースでは、MLflow の評価frameworkを使用して AI エージェントを体系的に評価する方法を学び、従来のソフトウェア テストでは対処できない非決定論的 AI システム固有の課題に対処します。 学生は、正確性や安全性などの一般的な基準のための組み込みのジャッジ、ビジネス固有の要件のためのガイドラインのジャッジ、特殊なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。 このコースでは、キュレーションされたデータセットを使用したオフライン評価とオンラインの本番モニタリングの両方をカバーし、MLflow のトレース機能を使用してエージェントの実行パターンを理解し、さまざまなタイプの関係者から人間によるフィードバックを収集する実践的な経験を積むことができます。 実践的なデモンストレーションとラボを通じて、受講者はAIエージェント開発ライフサイクル全体を通じて継続的な品質改善を推進する評価workflowsを作成するスキルを身に付けます。
注意：Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。
Languages Available: English | 日本語 | Português BR | 한국어
このコンテンツは、以下のスキル/知識/能力を持つ参加者向けに開発されています。
• 中級レベルの Python プログラミング経験
• 関数のクエリと作成に関する SQL の基本的な知識
• Databricks Data Intelligence Platform に関する知識
• カタログやスキーマを含む Unity Catalog の概念の理解
• 大規模言語モデル (LLM) とプロンプトエンジニアリングの基本的な理解
• MLflow に関する基本的な知識
Outline
AIエージェント評価の基礎
• 課題 AIエージェントの評価
• エージェントのセットアップ
• MLflow の評価 Framework
ビルトインとガイドラインジャッジ
• 評価の種類 ジャッジ
• MLflow ビルトインの使用ジャッジ
• MLflow によるガイドラインジャッジ
• エージェントの適用 評価
• カスタムジャッジ MLflow
カスタムジャッジと人間によるフィードバック
• オフラインとオンライン 評価戦略
• ベストプラクティスと 実践的な応用
• 開発者とSMEMLflow によるフィードバック
Upcoming Public Classes
Date | Time | Your Local Time | Language | Price |
|---|---|---|---|---|
Jun 05 | 09 AM - 01 PM (Asia/Tokyo) | - | Japanese | $750.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
今すぐ登録
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
今すぐ登録
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
