Agent Evaluation on Databricks - Japanese

このコースでは、MLflow の評価frameworkを使用して AI エージェントを体系的に評価する方法を学び、従来のソフトウェアテストでは対処できない非決定論的 AI システム固有の課題に対処します。学生は、正確性や安全性などの一般的な基準のための組み込みのジャッジ、ビジネス固有の要件のためのガイドラインのジャッジ、特殊なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。このコースでは、キュレーションされたデータセットを使用したオフライン評価とオンラインの本番モニタリングの両方をカバーし、MLflow のトレース機能を使用してエージェントの実行パターンを理解し、さまざまなタイプの関係者から人間によるフィードバックを収集する実践的な経験を積むことができます。実践的なデモンストレーションとラボを通じて、受講者はAIエージェント開発ライフサイクル全体を通じて継続的な品質改善を推進する評価workflowsを作成するスキルを身に付けます。

注意：Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

このコンテンツは、以下のスキル/知識/能力を持つ参加者向けに開発されています。

• 中級レベルの Python プログラミング経験

• 関数のクエリと作成に関する SQL の基本的な知識

• Databricks Data Intelligence Platform に関する知識

• カタログやスキーマを含む Unity Catalog の概念の理解

• 大規模言語モデル (LLM) とプロンプトエンジニアリングの基本的な理解

• MLflow に関する基本的な知識

Outline

AIエージェント評価の基礎

• 課題 AIエージェントの評価

• エージェントのセットアップ

• MLflow の評価 Framework

ビルトインとガイドラインジャッジ

• 評価の種類ジャッジ

• MLflow ビルトインの使用ジャッジ

• MLflow によるガイドラインジャッジ

• エージェントの適用評価

• カスタムジャッジ MLflow

カスタムジャッジと人間によるフィードバック

• オフラインとオンライン評価戦略

• ベストプラクティスと実践的な応用

• 開発者とSMEMLflow によるフィードバック

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Building ETL Pipelines with SQL - Japanese

このコースでは、Databricks Data Intelligence Platform で純粋な SQL を使用して、本番運用に対応した ETL パイプラインを構築する方法を学びます。受講者は、増分インジェストのための Auto Loader を使用したストリーミングテーブル、Silver-to-Gold 変換のための増分更新を伴うマテリアライズドビュー、宣言型 SCD タイプ 1 およびタイプ 2 ディメンション管理のための AUTO CDC (FLOW AUTO CDC)、および本番オーケストレーションのための SQL ファイルタスクを使用した Lakeflow ジョブについて学習します。このコースでは、メダリオンアーキテクチャ(ブロンズ → シルバー → ゴールド)を通じて、現実的な小売データセットに従います。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

Apache Spark Developer

Introduction to Apache Spark™ - Japanese

この初心者向けのコースでは、大規模なデータ処理のための Apache Spark の基礎について説明します。 Spark の分散アーキテクチャを探索し、DataFrame API をマスターし、Python を使用してデータの読み取り、書き込み、処理する方法を学習します。実践的な演習を通じて、Sparkの変換とアクションを効率的に実行するために必要なスキルを身に付けます。

Languages Available: English | 日本語 | 한국어

Machine Learning Practitioner

Machine Learning Model Deployment - Japanese

このコースは、3つの主要な機械学習展開戦略を紹介し、Databricksでの各戦略の実装を説明するように設計されています。このコースでは、モデル展開の基礎を探った後、バッチ推論について掘り下げ、バッチ推論シナリオでモデルを利用するための実践的なデモンストレーションとラボを提供し、パフォーマンスの最適化に関する考慮事項を提供します。コースの第 2 部ではパイプライン展開を包括的にカバーし、最後の部分ではリアルタイム展開に焦点を当てます。参加者は、実践的なデモンストレーションとラボに参加し、Model Serving でモデルを展開し、リアルタイム推論のためにサービングendpointを利用します。

Languages Available: English | 日本語 | Português BR | 한국어