Agent Evaluation on Databricks - Japanese

このコースでは、Databricks Data + AI Platform を使用してシンプルなデータサイエンスと機械学習のワークフローを実行するための基本的なスキルを習得します。ワークスペースのツアーを通じて全体像を把握し、ノートブックの操作方法を学びます。探索的データ解析と特徴量エンジニアリングを探索し、MLflow を使用してモデルを追跡・管理し、Databricks Genie Code を使用してエクスペリメントを行い、Databricks Model Serving でモデルをデプロイします。最後に、これらのスキルを統合した包括的なラボで、エンドツーエンドの機械学習ライフサイクル全体を学びます。

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

企業の AI アシスタントを効果的に活用するためのプロンプティングの基礎を2部構成で解説します。第1部（基礎編）では、プロンプトの具体性が回答品質にどう影響するかを説明し、アシスタントを「RAG アーキテクチャによって社内知識を基盤とした、優秀だが言葉通りに解釈するインターン」として位置づけます。また、アクセスできる情報とできない情報を整理し、「信頼しつつも検証する」という姿勢の重要性を強調したうえで、C-O-I-E Framework（Context・Outcome・Instruction・Example）を紹介します。第2部（テクニック編）では、プロンプティングのテクニックを体系的に習得し、状況に応じた使い分けを学びます。具体的には、タスクとアプローチの対応付け、コンテンツ生成（ゼロショットおよびフューショット）、推論（思考の連鎖・自己質問・メタプロンプティング）、ワークフロー（プロンプトチェーンと、チェーンを使う場合と単一プロンプトを使う場合の判断基準）、そしてプロンプトの明確な構造化について扱います。

このコースでは、本番運用グレードのストリーミングパイプラインを構築するための Databricks の Apache Spark Declarative Pipelines (SDP) について学びます。高度なデザインパターン、堅牢なデータ品質の適用、そして実際の Lakehouse エンジニアリングに不可欠なクロスプラットフォーム統合を習得します。

コース全体を通じて、最新のデータ取り込みおよび処理技術を深く探求し、レイアウト最適化のための Liquid Clustering や、混在スキーマイベントに対応するマルチプレックスストリーミングパターンなどのツールを習得します。モジュールの終わりには、スキーマ進化を自信を持って扱い、チェンジデータキャプチャ (CDC) を自動化し、データ完全性を確保する方法を理解できるようになります。

講義とハンズオンデモを通じて、以下のことを学びます。

• 複数ソースのデータを統合されたブロンズテーブルに取り込むマルチフローパイプラインを構築する。

• シルバーおよびゴールドレイヤー全体にリキッドクラスタリングとデータ品質エクスペクテーションを適用する。

• クロスプラットフォームのデータアクセスのために、Iceberg UniForm を使用したマルチプレックスパターンを実装する。

• AUTO CDC INTO を使用して SCD Type 2 の履歴トラッキングを自動化する。

• 無効なレコードを監査し管理するためのゼロデータロス隔離パイプラインを設計する。

注:

1. このコースは「Databricks による高度なデータエンジニアリング」シリーズの第1弾です。

2. SCORM 講義ファイルの場合は、コンテンツの完了後に SCORM ウィンドウを閉じてください。「次のレッスン」ボタンはクリックしないでください。クリックすると、SCORM モジュールが完了としてマークされない場合があります。