Introduction to Python for Data Science and Data Engineering - Japanese

このコースでは、本番運用グレードのストリーミングパイプラインを構築するための Databricks の Apache Spark Declarative Pipelines (SDP) について学びます。高度なデザインパターン、堅牢なデータ品質の適用、そして実際の Lakehouse エンジニアリングに不可欠なクロスプラットフォーム統合を習得します。

コース全体を通じて、最新のデータ取り込みおよび処理技術を深く探求し、レイアウト最適化のための Liquid Clustering や、混在スキーマイベントに対応するマルチプレックスストリーミングパターンなどのツールを習得します。モジュールの終わりには、スキーマ進化を自信を持って扱い、チェンジデータキャプチャ (CDC) を自動化し、データ完全性を確保する方法を理解できるようになります。

講義とハンズオンデモを通じて、以下のことを学びます。

• 複数ソースのデータを統合されたブロンズテーブルに取り込むマルチフローパイプラインを構築する。

• シルバーおよびゴールドレイヤー全体にリキッドクラスタリングとデータ品質エクスペクテーションを適用する。

• クロスプラットフォームのデータアクセスのために、Iceberg UniForm を使用したマルチプレックスパターンを実装する。

• AUTO CDC INTO を使用して SCD Type 2 の履歴トラッキングを自動化する。

• 無効なレコードを監査し管理するためのゼロデータロス隔離パイプラインを設計する。

注:

1. このコースは「Databricks による高度なデータエンジニアリング」シリーズの第1弾です。

2. SCORM 講義ファイルの場合は、コンテンツの完了後に SCORM ウィンドウを閉じてください。「次のレッスン」ボタンはクリックしないでください。クリックすると、SCORM モジュールが完了としてマークされない場合があります。

このコースは、AI エージェントの入門、現代の AI アプリケーションにおける役割、および Databricks プラットフォーム上での構築方法を学ぶためのものです。エージェントとは何か、従来の AI システムとの違い、およびそのキーコンポーネントについて学習します。デモとハンズオンラボを通じて、Unity Catalog 関数と AI Search を使用してエージェントにガバナンスされたツールを付与し、データ上に Genie Agent を構築し、Databricks Apps 上でアプリケーションとして展開されたエージェントを探索しながら、MLflow Traces でその動作を追跡し、回答を検証します。このコースを修了すると、Databricks Data Intelligence Platform 上における AI エージェントのライフサイクル全体を理解できるようになります。注：SCORM講義ファイルの場合は、コンテンツの完了後に必ずSCORMウィンドウを閉じてください。「次のレッスン」ボタンはクリックしないでください。クリックすると、SCORMモジュールが完了として記録されない可能性があります。

Languages Available: English | 日本語 | 한국어 | 普通话 

企業の AI アシスタントを効果的に活用するためのプロンプティングの基礎を2部構成で解説します。第1部（基礎編）では、プロンプトの具体性が回答品質にどう影響するかを説明し、アシスタントを「RAG アーキテクチャによって社内知識を基盤とした、優秀だが言葉通りに解釈するインターン」として位置づけます。また、アクセスできる情報とできない情報を整理し、「信頼しつつも検証する」という姿勢の重要性を強調したうえで、C-O-I-E Framework（Context・Outcome・Instruction・Example）を紹介します。第2部（テクニック編）では、プロンプティングのテクニックを体系的に習得し、状況に応じた使い分けを学びます。具体的には、タスクとアプローチの対応付け、コンテンツ生成（ゼロショットおよびフューショット）、推論（思考の連鎖・自己質問・メタプロンプティング）、ワークフロー（プロンプトチェーンと、チェーンを使う場合と単一プロンプトを使う場合の判断基準）、そしてプロンプトの明確な構造化について扱います。