Developing Applications with Apache Spark - Japanese

Databricks Performance Optimizationは、データエンジニアおよびアナリストを対象に、Databricks Data Intelligence Platform上でパフォーマンスのボトルネックを診断・測定・解消する方法と、パフォーマンス改善をコストに結びつける方法を学ぶコースです。本コースは、測定優先・プラットフォーム優先のワークフローに従って進みます。まずプラットフォームの自動最適化機能に重要な処理を任せ、Query ProfileおよびSystemテーブルを使用して適用内容を確認した後、必要に応じて手動でチューニングを行います。

受講者は、Query Profile、Performance Insights、およびクエリー履歴のSystemテーブルを活用してパフォーマンスを測定するための基礎を習得します。その後、データのレイアウトとセルフチューニングマネージドテーブル、リキッドクラスタリング、キャッシングと中間結果、シャッフル、スキュー、スピル、行の爆発的増加、ドライバーのパフォーマンス、Python UDF、サーバーレスコンピュート、Photon、コスト配分など、主要な最適化テクニックを探索します。

コース全体を通じて、受講者は合成小売データに対して意図的に低速化されたクエリーを探索し、さまざまな最適化テクニックがパフォーマンスに与える影響を確認します。ファイルのプルーニング、タスクの実行時間、Photonのカバレッジ、コストなどのエビデンスを活用して改善効果を評価します。シナリオベースの2つのラボでは、診断からバリデーションまでの最適化ワークフローを実践的に強化します。

注: Databricks Academy では、Databricks 環境内で実施するクラスルームセッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義ノートブックには、Vocareum ラボ環境からアクセスできます。

このコースはデータサイエンティストおよび機械学習の実務者を対象としており、4時間のモジュールが2つで構成されています。

Machine Learning at Scale

このコースでは、Apache Spark のアーキテクチャと、Databricks における機械学習ワークロードへの応用について、理論的および実践的な知識を習得します。データ準備、モデルのトレーニング、およびデプロイメントに Spark を活用するタイミングを学ぶとともに、Spark ML および pandas APIs on Spark を使った実践的な経験を積みます。また、ハイパーパラメータチューニングや Spark を用いた Optuna のスケーリングといった高度な概念についても学習します。さらに、包括的なモデルのパッケージングとガバナンスのために、アソシエイトコースで紹介された MLflow や Unity Catalog などの機能および概念を活用します。

Advanced Machine Learning Operations

このコースでは、機械学習ライフサイクルと MLOps に関する包括的な理解を提供し、データおよびモデル管理、テスト、スケーラブルなアーキテクチャのベストプラクティスを重点的に取り上げます。CI/CD、パイプライン管理、環境の分離などの主要な MLOps コンポーネントを網羅しながら、Declarative Automation Bundles (DABs)、Lakeflow ジョブ、Model Serving など、自動化およびインフラ管理のための Databricks のツールを紹介します。モニタリング、カスタムメトリクス、ドリフト検出、モデルロールアウト戦略、A/B テスト、および信頼性の高い MLOps システムの原則について学び、Databricks における機械学習プロジェクトの実装と管理を総合的なビューで理解できるようになります。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。

このコースでは、機械学習ライフサイクルと MLOps に関する包括的な理解を提供し、データおよびモデル管理、テスト、スケーラブルなアーキテクチャのベストプラクティスを重点的に取り上げます。CI/CD、パイプライン管理、環境の分離などの主要な MLOps コンポーネントを網羅しながら、Declarative Automation Bundles (DABs)、Lakeflow ジョブ、Model Serving など、自動化およびインフラ管理のための Databricks のツールを紹介します。モニタリング、カスタムメトリクス、ドリフト検出、モデルロールアウト戦略、A/B テスト、および信頼性の高い MLOps システムの原則について学び、Databricks における機械学習プロジェクトの実装と管理を総合的なビューで理解できるようになります。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。