Data Warehousing with Databricks - Japanese

このコースでは、SparkとDelta Lakeを用いたワークロードと物理レイアウトの最適化手法、およびSpark UIの分析によるパフォーマンス評価とアプリケーションのデバッグ方法を学びます。ストリーミング、流動的クラスタリング、データスキップ、キャッシュ、Photonsなどのトピックを網羅します。

Languages Available: English | 日本語 | Português BR | 한국어

このコースは、最新かつ最も一般的なフレームワークとDatabricksの機能を使用してGenerative AIアプリケーションを構築したいデータサイエンティスト、機械学習エンジニア、その他のデータ実務家を対象としています。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、最初の3つのモジュールおける講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

以下では、このコースに含まれる4つのモジュール（4時間）について説明します。

Building Retrieval Agents On Databricks: 

本コースでは、Databricks Data Intelligence Platform 上での検索エージェント構築に関する実践的なトレーニングを提供します。参加者は、非構造化文書を構造化データに解析する方法、検索workflows向けにコンテンツを変換・チャンク化する方法、文書検索のためのvector searchソリューションの構築方法、MLflow および Agent Bricks を使用した本番環境対応エージェントの開発方法を学びます。コースでは、文書処理から埋め込み生成、vector インデックス作成、ガバナンス機能を備えたエージェントデプロイメントに至るまでの、エージェントのライフサイクル全体を網羅します。

Building Single-Agent Applications on Databricks：

本コースでは、Databricks Data Intelligence Platform上で単一エージェントアプリケーションを構築するための実践的なトレーニングを提供します。受講者は、Unity Catalogの機能をツールとして活用するAIエージェントの作成、MLflowによる包括的なトレースとモニタリングの実装、LangChainのような従来型frameworksとAgent Bricksのような最新ソリューションの両方を使用したエージェントのデプロイ方法を学びます。コースでは、AI Playgroundでの初期ツール作成とテストから、ガバナンス、評価、継続的改善機能を備えた本番環境へのデプロイまで、エージェントのライフサイクル全体を網羅します。

Agent Evaluation on Databricks:

このコースでは、MLflow の評価frameworkを使用して AI エージェントを体系的に評価する方法を学び、従来のソフトウェア テストでは対処できない非決定論的 AI システム固有の課題に対処します。 学生は、正確性や安全性などの一般的な基準のための組み込みのジャッジ、ビジネス固有の要件のためのガイドラインのジャッジ、特殊なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。 このコースでは、キュレーションされたデータセットを使用したオフライン評価とオンラインの本番モニタリングの両方をカバーし、MLflow のトレース機能を使用してエージェントの実行パターンを理解し、さまざまなタイプの関係者から人間によるフィードバックを収集する実践的な経験を積むことができます。 実践的なデモンストレーションとラボを通じて、受講者はAIエージェント開発ライフサイクル全体を通じて継続的な品質改善を推進する評価workflowsを作成するスキルを身に付けます。

Generative AI Application Deployment and Monitoring：

ジェネレーティブAIアプリケーションの展開、運用、監視の方法を学ぶ準備はできていますか？このモジュールでは、Model Servingのようなツールを使用したジェネレーティブAIアプリケーションのデプロイのスキルを習得します。また、ベストプラクティスと推奨されるアーキテクチャに従ってGenerative AIアプリケーションを運用する方法についても説明します。最後に、Lakehouse Monitoringを使用してジェネレーティブAIアプリケーションとそのコンポーネントを監視する方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

本コースでは、本番環境向けのストリーミングパイプラインを構築するための、DatabricksのLakeflow Spark Declarative Pipelines（SDP）について解説します。実世界のlakehouseエンジニアリングに不可欠な、高度な設計パターン、堅牢なデータ品質管理、およびクロスプラットフォーム統合について学びます。

コース全体を通じて、最新のデータ取り込みおよび処理技術について深く掘り下げ、レイアウト最適化のためのリキッドクラスタリングや、混合スキーマのイベントに対応するマルチプレックス・ストリーミング・パターンなどのツールを習得します。各モジュールを修了する頃には、スキーマの進化に自信を持って対応し、チェンジデータキャプチャ（CDC）を自動化し、データの整合性を確保する方法が理解できるようになります。

講義と実践的なデモを通じて、以下のことを学びます：

• マルチソースのデータを統一されたブロンズテーブルに取り込むためのマルチフローパイプラインを構築する。

• シルバー層およびゴールド層全体にリキッドクラスタリングとデータ品質の期待値を適用する。

• クロスプラットフォームのデータアクセスを実現するために、Iceberg UniForm を使用したマルチプレックスパターンを実装する。

• AUTO CDC INTO を使用して、SCD タイプ 2 の履歴追跡を自動化する。

• 無効なレコードを監査および管理するための、データ損失ゼロの隔離パイプラインを設計する。

注意：Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。

Languages Available: English | 日本語 | Português BR | 한국어