Advanced Machine Learning Operations - Japanese

このコースでは、従来のソフトウェアテストでは対応できない非決定論的なAIシステム固有の課題に取り組みながら、MLflowの評価Frameworkを使用してAIエージェントを体系的に評価する方法を学びます。受講者は、Unity Catalogに登録され、Unity Gatewayを通じてモデルを呼び出す共有ツール呼び出しエージェントを評価します。その際、正確性や安全性などの一般的な基準には組み込みジャッジを、ビジネス固有の要件にはガイドラインジャッジを、専門的なニーズにはカスタムジャッジを使用します。コースでは、厳選されたデータセットを使用したオフライン評価と、Unity CatalogへのMLflow Tracesの保存を含むオンライン本番運用モニタリングの両方を取り上げます。受講者はMLflow Tracingを使用してエージェントの実行パターンを把握し、開発者およびDatabricks Appを通じてエージェントをレビューする専門家から人間のフィードバックを収集します。実践的なデモとラボを通じて、AIエージェント開発ライフサイクル全体にわたって継続的な品質向上を促進する評価Workflowsを作成するスキルを習得します。

注意：Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Databricks Performance Optimizationは、データエンジニアおよびアナリストを対象に、Databricks Data Intelligence Platform上でパフォーマンスのボトルネックを診断・測定・解消する方法と、パフォーマンス改善をコストに結びつける方法を学ぶコースです。本コースは、測定優先・プラットフォーム優先のワークフローに従って進みます。まずプラットフォームの自動最適化機能に重要な処理を任せ、Query ProfileおよびSystemテーブルを使用して適用内容を確認した後、必要に応じて手動でチューニングを行います。

受講者は、Query Profile、Performance Insights、およびクエリー履歴のSystemテーブルを活用してパフォーマンスを測定するための基礎を習得します。その後、データのレイアウトとセルフチューニングマネージドテーブル、リキッドクラスタリング、キャッシングと中間結果、シャッフル、スキュー、スピル、行の爆発的増加、ドライバーのパフォーマンス、Python UDF、サーバーレスコンピュート、Photon、コスト配分など、主要な最適化テクニックを探索します。

コース全体を通じて、受講者は合成小売データに対して意図的に低速化されたクエリーを探索し、さまざまな最適化テクニックがパフォーマンスに与える影響を確認します。ファイルのプルーニング、タスクの実行時間、Photonのカバレッジ、コストなどのエビデンスを活用して改善効果を評価します。シナリオベースの2つのラボでは、診断からバリデーションまでの最適化ワークフローを実践的に強化します。

注: Databricks Academy では、Databricks 環境内で実施するクラスルームセッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義ノートブックには、Vocareum ラボ環境からアクセスできます。Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

このコースはデータサイエンティストおよび機械学習の実務者を対象としており、4時間のモジュールが2つで構成されています。

Machine Learning at Scale

このコースでは、Apache Spark のアーキテクチャと、Databricks における機械学習ワークロードへの応用について、理論的および実践的な知識を習得します。データ準備、モデルのトレーニング、およびデプロイメントに Spark を活用するタイミングを学ぶとともに、Spark ML および pandas APIs on Spark を使った実践的な経験を積みます。また、ハイパーパラメータチューニングや Spark を用いた Optuna のスケーリングといった高度な概念についても学習します。さらに、包括的なモデルのパッケージングとガバナンスのために、アソシエイトコースで紹介された MLflow や Unity Catalog などの機能および概念を活用します。

Advanced Machine Learning Operations

このコースでは、機械学習ライフサイクルと MLOps に関する包括的な理解を提供し、データおよびモデル管理、テスト、スケーラブルなアーキテクチャのベストプラクティスを重点的に取り上げます。CI/CD、パイプライン管理、環境の分離などの主要な MLOps コンポーネントを網羅しながら、Declarative Automation Bundles (DABs)、Lakeflow ジョブ、Model Serving など、自動化およびインフラ管理のための Databricks のツールを紹介します。モニタリング、カスタムメトリクス、ドリフト検出、モデルロールアウト戦略、A/B テスト、および信頼性の高い MLOps システムの原則について学び、Databricks における機械学習プロジェクトの実装と管理を総合的なビューで理解できるようになります。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。