Monitoring and Optimizing Apache Spark Workloads on Databricks - Japanese

このコースでは、SparkとDelta Lakeを用いたワークロードと物理レイアウトの最適化手法、およびSpark UIの分析によるパフォーマンス評価とアプリケーションのデバッグ方法を学びます。ストリーミング、流動的クラスタリング、データスキップ、キャッシュ、Photonsなどのトピックを網羅します。

Languages Available: English | 日本語 | Português BR | 한국어

このコースは、最新かつ最も一般的なフレームワークとDatabricksの機能を使用してGenerative AIアプリケーションを構築したいデータサイエンティスト、機械学習エンジニア、その他のデータ実務家を対象としています。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、最初の3つのモジュールおける講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

以下では、このコースに含まれる4つのモジュール（4時間）について説明します。

Building Retrieval Agents On Databricks: 

本コースでは、Databricks Data Intelligence Platform 上での検索エージェント構築に関する実践的なトレーニングを提供します。参加者は、非構造化文書を構造化データに解析する方法、検索workflows向けにコンテンツを変換・チャンク化する方法、文書検索のためのvector searchソリューションの構築方法、MLflow および Agent Bricks を使用した本番環境対応エージェントの開発方法を学びます。コースでは、文書処理から埋め込み生成、vector インデックス作成、ガバナンス機能を備えたエージェントデプロイメントに至るまでの、エージェントのライフサイクル全体を網羅します。

Building Single-Agent Applications on Databricks：

本コースでは、Databricks Data Intelligence Platform上で単一エージェントアプリケーションを構築するための実践的なトレーニングを提供します。受講者は、Unity Catalogの機能をツールとして活用するAIエージェントの作成、MLflowによる包括的なトレースとモニタリングの実装、LangChainのような従来型frameworksとAgent Bricksのような最新ソリューションの両方を使用したエージェントのデプロイ方法を学びます。コースでは、AI Playgroundでの初期ツール作成とテストから、ガバナンス、評価、継続的改善機能を備えた本番環境へのデプロイまで、エージェントのライフサイクル全体を網羅します。

Agent Evaluation on Databricks:

このコースでは、MLflow の評価frameworkを使用して AI エージェントを体系的に評価する方法を学び、従来のソフトウェア テストでは対処できない非決定論的 AI システム固有の課題に対処します。 学生は、正確性や安全性などの一般的な基準のための組み込みのジャッジ、ビジネス固有の要件のためのガイドラインのジャッジ、特殊なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。 このコースでは、キュレーションされたデータセットを使用したオフライン評価とオンラインの本番モニタリングの両方をカバーし、MLflow のトレース機能を使用してエージェントの実行パターンを理解し、さまざまなタイプの関係者から人間によるフィードバックを収集する実践的な経験を積むことができます。 実践的なデモンストレーションとラボを通じて、受講者はAIエージェント開発ライフサイクル全体を通じて継続的な品質改善を推進する評価workflowsを作成するスキルを身に付けます。

Generative AI Application Deployment and Monitoring：

ジェネレーティブAIアプリケーションの展開、運用、監視の方法を学ぶ準備はできていますか？このモジュールでは、Model Servingのようなツールを使用したジェネレーティブAIアプリケーションのデプロイのスキルを習得します。また、ベストプラクティスと推奨されるアーキテクチャに従ってGenerative AIアプリケーションを運用する方法についても説明します。最後に、Lakehouse Monitoringを使用してジェネレーティブAIアプリケーションとそのコンポーネントを監視する方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

このコースは、Databricksのデータウェアハウジング機能を探索したいデータ専門家向けに設計されています。 Databricksに関する予備知識がないと仮定して、最新のクラウドベースのデータウェアハウジングソリューションとしてDatabricksを活用する方法を紹介します。 学習者は、業界標準の TCP-DI データセットを参考にして、Databricks Data Intelligence Platform を使用してデータを効率的に取り込み、変換、管理、分析する方法を探ります。 学習者は、自然言語クエリによるデータ探索を簡素化する革新的な Databricks 機能である Genie についても学習します。 このコースを修了すると、受講者は Databricks を使用してデータウェアハウスを実装および最適化するための基本的なスキルを身に付けることができます。

Languages Available: English | 日本語 | Português BR | 한국어