Agent Evaluation on Databricks - Japanese

このコースでは、MLflow の評価frameworkを使用して AI エージェントを体系的に評価する方法を学び、従来のソフトウェアテストでは対処できない非決定論的 AI システム固有の課題に対処します。学生は、正確性や安全性などの一般的な基準のための組み込みのジャッジ、ビジネス固有の要件のためのガイドラインのジャッジ、特殊なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。このコースでは、キュレーションされたデータセットを使用したオフライン評価とオンラインの本番モニタリングの両方をカバーし、MLflow のトレース機能を使用してエージェントの実行パターンを理解し、さまざまなタイプの関係者から人間によるフィードバックを収集する実践的な経験を積むことができます。実践的なデモンストレーションとラボを通じて、受講者はAIエージェント開発ライフサイクル全体を通じて継続的な品質改善を推進する評価workflowsを作成するスキルを身に付けます。

注意：Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

このコンテンツは、以下のスキル/知識/能力を持つ参加者向けに開発されています。

• 中級レベルの Python プログラミング経験

• 関数のクエリと作成に関する SQL の基本的な知識

• Databricks Data Intelligence Platform に関する知識

• カタログやスキーマを含む Unity Catalog の概念の理解

• 大規模言語モデル (LLM) とプロンプトエンジニアリングの基本的な理解

• MLflow に関する基本的な知識

Outline

AIエージェント評価の基礎

• 課題 AIエージェントの評価

• エージェントのセットアップ

• MLflow の評価 Framework

ビルトインとガイドラインジャッジ

• 評価の種類ジャッジ

• MLflow ビルトインの使用ジャッジ

• MLflow によるガイドラインジャッジ

• エージェントの適用評価

• カスタムジャッジ MLflow

カスタムジャッジと人間によるフィードバック

• オフラインとオンライン評価戦略

• ベストプラクティスと実践的な応用

• 開発者とSMEMLflow によるフィードバック

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Jan 26	02 PM - 06 PM (Asia/Tokyo)	-	Japanese	$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Jan 26	02 PM - 06 PM (Asia/Tokyo)	-	Japanese	$750.00

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Databricks Performance Optimization - Japanese

Databricks Performance Optimizationは、データエンジニアおよびアナリストを対象に、Databricks Data Intelligence Platform上でパフォーマンスのボトルネックを診断・測定・解消する方法と、パフォーマンス改善をコストに結びつける方法を学ぶコースです。本コースは、測定優先・プラットフォーム優先のワークフローに従って進みます。まずプラットフォームの自動最適化機能に重要な処理を任せ、Query ProfileおよびSystemテーブルを使用して適用内容を確認した後、必要に応じて手動でチューニングを行います。

受講者は、Query Profile、Performance Insights、およびクエリー履歴のSystemテーブルを活用してパフォーマンスを測定するための基礎を習得します。その後、データのレイアウトとセルフチューニングマネージドテーブル、リキッドクラスタリング、キャッシングと中間結果、シャッフル、スキュー、スピル、行の爆発的増加、ドライバーのパフォーマンス、Python UDF、サーバーレスコンピュート、Photon、コスト配分など、主要な最適化テクニックを探索します。

コース全体を通じて、受講者は合成小売データに対して意図的に低速化されたクエリーを探索し、さまざまな最適化テクニックがパフォーマンスに与える影響を確認します。ファイルのプルーニング、タスクの実行時間、Photonのカバレッジ、コストなどのエビデンスを活用して改善効果を評価します。シナリオベースの2つのラボでは、診断からバリデーションまでの最適化ワークフローを実践的に強化します。

注: Databricks Academy では、Databricks 環境内で実施するクラスルームセッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義ノートブックには、Vocareum ラボ環境からアクセスできます。

Advanced Machine Learning with Databricks - Japanese

このコースはデータサイエンティストおよび機械学習の実務者を対象としており、4時間のモジュールが2つで構成されています。

Machine Learning at Scale

このコースでは、Apache Spark のアーキテクチャと、Databricks における機械学習ワークロードへの応用について、理論的および実践的な知識を習得します。データ準備、モデルのトレーニング、およびデプロイメントに Spark を活用するタイミングを学ぶとともに、Spark ML および pandas APIs on Spark を使った実践的な経験を積みます。また、ハイパーパラメータチューニングや Spark を用いた Optuna のスケーリングといった高度な概念についても学習します。さらに、包括的なモデルのパッケージングとガバナンスのために、アソシエイトコースで紹介された MLflow や Unity Catalog などの機能および概念を活用します。

Advanced Machine Learning Operations

このコースでは、機械学習ライフサイクルと MLOps に関する包括的な理解を提供し、データおよびモデル管理、テスト、スケーラブルなアーキテクチャのベストプラクティスを重点的に取り上げます。CI/CD、パイプライン管理、環境の分離などの主要な MLOps コンポーネントを網羅しながら、Declarative Automation Bundles (DABs)、Lakeflow ジョブ、Model Serving など、自動化およびインフラ管理のための Databricks のツールを紹介します。モニタリング、カスタムメトリクス、ドリフト検出、モデルロールアウト戦略、A/B テスト、および信頼性の高い MLOps システムの原則について学び、Databricks における機械学習プロジェクトの実装と管理を総合的なビューで理解できるようになります。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。