Advanced Techniques with Apache Spark Declarative Pipelines - Japanese

このコースでは、Unity Catalog を使用して Databricks 上でデータガバナンスをスケールで実装する方法を学びます。属性ベースのアクセス制御、オブザーバビリティ、フェデレーテッド共有に重点を置いています。管理されたタグを使用した ABAC の設定、レガシーのきめ細かいコントロールからの移行、監査およびコストモニタリング用のシステムテーブルの有効化と使用、データおよびモデル品質のための Data Quality Monitoring のデプロイ、影響とコンプライアンスのためのリネージの解釈、セキュアなクロスクラウドコラボレーションのためのフェデレーテッドガバナンスと Delta Sharing パターンの適用について学習します。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。

このコースは、Python を初めて学ぶ方を対象に、プログラムを使ってデータを操作するための基礎を提供します。コースはプログラミングの式、変数、データ型の基本的な紹介から始まります。その後、条件文と制御文、関数、収集型、ループ、エラー処理、クラスへと進みます。外部ライブラリを使って Python を拡張する方法を学び、データ解析と可視化のための Pandas ライブラリの使用経験を積みます。これには、Apache Spark を使った Pandas Workflows のスケーリングも含まれます。最後に、クラウドコンピューティングの基礎を探索します。コース全体を通じて、ラボ演習による実践的な練習を行い、授業後にプログラミングの知識をさらに深めるための追加リソースも提供されます。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。  

本コースは、最新かつ最も普及しているフレームワークとDatabricksの機能を使用して生成AIアプリケーションを構築したいデータサイエンティスト、機械学習エンジニア、その他のデータ実務者を対象としています。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。

以下では、本コースに含まれる4つの4時間モジュールについてそれぞれ説明します。

Building RAG Agents with Agent Bricks: 本コースでは、Databricks Agent Bricksを使用して検索エージェントを構築するための実践的なトレーニングを提供します。参加者は、Knowledge Assistantsの探索とクエリ、AI Functionsを使用した非構造化ドキュメントの構造化データへの解析、セマンティック検索のためのテキストのチャンク分割、Vector Searchインデックスの構築、および複数のナレッジソースに支えられた本番運用対応のKnowledge Assistantsの作成方法を学びます。

Building Agentic Applications on Databricks: 本コースでは、Databricks上で本番グレードのエージェントアプリケーションを構築する方法を学びます。受講者は、Unity CatalogとMCPを使用してガバナンスされたエージェントツールを作成し、OpenAI Agents SDKを使用してシングルエージェントおよびマルチエージェントシステムを構築し、スーパーバイザーエージェントによってオーケストレーションされるknowledge assistantのユースケースのためにAgent BricksとGenieを活用する方法を学びます。本コースは、ツールのプロトタイピングから本番環境へのデプロイまでの全過程を扱い、MLflowのトレーシングを使用してエージェントの実行を観察する実践的な経験を提供します。

Agent Evaluation on Databricks: 本コースでは、MLflowの評価フレームワークを使用してAIエージェントを体系的に評価する方法を学び、従来のソフトウェアテストでは対応できない非決定論的なAIシステム特有の課題に取り組みます。受講者は、正確性や安全性などの一般的な基準のための組み込みジャッジ(built-in judges)、ビジネス固有の要件のためのガイドラインジャッジ、専門的なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。本コースでは、キュレーションされたデータセットを使用したオフライン評価と、オンラインの本番モニタリングの両方を扱い、MLflowのトレーシング機能を使用してエージェントの実行パターンを理解し、さまざまなタイプのステークホルダーから人間のフィードバックを収集する実践的な経験を提供します。実践的なデモとラボを通じて、受講者はAIエージェントの開発ライフサイクル全体にわたって継続的な品質改善を推進する評価ワークフローを作成するスキルを習得します。

Deploying and Monitoring Agent Applications on Databricks: 本コースでは、Databricks上で生成AIエージェントをデプロイおよびモニタリングするためのエンドツーエンドのライフサイクルを扱います。参加者は、Declarative Automation Bundles(DABs)を使用してエージェントをDatabricks Appsとしてデプロイし、Model Context Protocol(MCP)を介してツールを統合し、MLflow Tracingでエージェントを計装し、スコアラー、マルチターンジャッジ、オンライン評価を使用して本番品質を評価する方法を学びます。実践的なデモとラボを通じて、参加者はDatabricksプラットフォーム上で本番グレードのAIエージェントを構築、観察、モニタリングする実践的な経験を得ます。

Languages Available: English | 日本語 | Português BR | 한국어