メインコンテンツへジャンプ

Agent Evaluation on Databricks - Japanese

このコースでは、MLflow の評価frameworkを使用して AI エージェントを体系的に評価する方法を学び、従来のソフトウェア テストでは対処できない非決定論的 AI システム固有の課題に対処します。 学生は、正確性や安全性などの一般的な基準のための組み込みのジャッジ、ビジネス固有の要件のためのガイドラインのジャッジ、特殊なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。 このコースでは、キュレーションされたデータセットを使用したオフライン評価とオンラインの本番モニタリングの両方をカバーし、MLflow のトレース機能を使用してエージェントの実行パターンを理解し、さまざまなタイプの関係者から人間によるフィードバックを収集する実践的な経験を積むことができます。 実践的なデモンストレーションとラボを通じて、受講者はAIエージェント開発ライフサイクル全体を通じて継続的な品質改善を推進する評価workflowsを作成するスキルを身に付けます。


注意:Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

このコンテンツは、以下のスキル/知識/能力を持つ参加者向けに開発されています。 

• 中級レベルの Python プログラミング経験

• 関数のクエリと作成に関する SQL の基本的な知識

• Databricks Data Intelligence Platform に関する知識

• カタログやスキーマを含む Unity Catalog の概念の理解

• 大規模言語モデル (LLM) とプロンプトエンジニアリングの基本的な理解

• MLflow に関する基本的な知識

Outline

AIエージェント評価の基礎

• 課題 AIエージェントの評価

• エージェントのセットアップ 

• MLflow の評価 Framework


ビルトインとガイドラインジャッジ

• 評価の種類 ジャッジ

• MLflow ビルトインの使用ジャッジ

• MLflow によるガイドラインジャッジ

• エージェントの適用 評価

• カスタムジャッジ MLflow


カスタムジャッジと人間によるフィードバック

• オフラインとオンライン 評価戦略

• ベストプラクティスと 実践的な応用

• 開発者とSMEMLflow によるフィードバック

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Jun 05
09 AM - 01 PM (Asia/Tokyo)
-
Japanese
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Japanese

このコースは、最新かつ最も一般的なフレームワークとDatabricksの機能を使用してGenerative AIアプリケーションを構築したいデータサイエンティスト、機械学習エンジニア、その他のデータ実務家を対象としています。

注記:Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、最初の3つのモジュールおける講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

以下では、このコースに含まれる4つのモジュール(4時間)について説明します。

Building Retrieval Agents On Databricks: 

本コースでは、Databricks Data Intelligence Platform 上での検索エージェント構築に関する実践的なトレーニングを提供します。参加者は、非構造化文書を構造化データに解析する方法、検索workflows向けにコンテンツを変換・チャンク化する方法、文書検索のためのvector searchソリューションの構築方法、MLflow および Agent Bricks を使用した本番環境対応エージェントの開発方法を学びます。コースでは、文書処理から埋め込み生成、vector インデックス作成、ガバナンス機能を備えたエージェントデプロイメントに至るまでの、エージェントのライフサイクル全体を網羅します。

Building Single-Agent Applications on Databricks:

本コースでは、Databricks Data Intelligence Platform上で単一エージェントアプリケーションを構築するための実践的なトレーニングを提供します。受講者は、Unity Catalogの機能をツールとして活用するAIエージェントの作成、MLflowによる包括的なトレースとモニタリングの実装、LangChainのような従来型frameworksとAgent Bricksのような最新ソリューションの両方を使用したエージェントのデプロイ方法を学びます。コースでは、AI Playgroundでの初期ツール作成とテストから、ガバナンス、評価、継続的改善機能を備えた本番環境へのデプロイまで、エージェントのライフサイクル全体を網羅します。

Agent Evaluation on Databricks:

このコースでは、MLflow の評価frameworkを使用して AI エージェントを体系的に評価する方法を学び、従来のソフトウェア テストでは対処できない非決定論的 AI システム固有の課題に対処します。 学生は、正確性や安全性などの一般的な基準のための組み込みのジャッジ、ビジネス固有の要件のためのガイドラインのジャッジ、特殊なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。 このコースでは、キュレーションされたデータセットを使用したオフライン評価とオンラインの本番モニタリングの両方をカバーし、MLflow のトレース機能を使用してエージェントの実行パターンを理解し、さまざまなタイプの関係者から人間によるフィードバックを収集する実践的な経験を積むことができます。 実践的なデモンストレーションとラボを通じて、受講者はAIエージェント開発ライフサイクル全体を通じて継続的な品質改善を推進する評価workflowsを作成するスキルを身に付けます。

Generative AI Application Deployment and Monitoring:

ジェネレーティブAIアプリケーションの展開、運用、監視の方法を学ぶ準備はできていますか?このモジュールでは、Model Servingのようなツールを使用したジェネレーティブAIアプリケーションのデプロイのスキルを習得します。また、ベストプラクティスと推奨されるアーキテクチャに従ってGenerative AIアプリケーションを運用する方法についても説明します。最後に、Lakehouse Monitoringを使用してジェネレーティブAIアプリケーションとそのコンポーネントを監視する方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.