Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Japanese
このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow Spark Declarative Pipelinesを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。 このコースは、Lakeflow Spark Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します
取り上げるトピックは次のとおりです:
- SQLを使用したSpark Declarative PipelinesにおけるマルチファイルエディタによるETLパイプラインの開発とデバッグ（Pythonコード例付き）
- Spark Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法
- パイプライン コンピュート リソース、データ アセット、トリガー モード、およびその他の詳細オプションの構成
次に、本コースではSpark Declarative Pipelinesにおけるデータ品質の期待値について紹介し、データ整合性を検証・強制するために期待値をパイプラインに統合するプロセスをユーザーにガイドします。学習者はその後、スケジューリングオプションを含むパイプラインの本番環境への導入方法、およびパイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化方法について探求します。
最後に、本コースではSpark Declarative Pipelines内でAUTO CDC INTO構文を用いてチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法を解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。
を含む基本的な理解
⇾ Delta tableへの生データの取り込みを体験し、read_files SQL関数を使用してCSV、JSON、TXT、Parquetなどの形式を読み込む方法を含みます。
⇾ SQLを用いたデータ変換の熟練度（中級レベルのクエリ作成を含む）およびSQL結合の基本的な理解。
Outline
Databricksにおけるデータエンジニアリング入門
⇾ Databricksにおけるデータエンジニアリング
⇾ Lakeflow宣言型パイプラインとは？
⇾ コース設定とパイプラインの作成
⇾ コースプロジェクトの概要
Lakeflow宣言型パイプラインの基礎
⇾ データセットの種類概要
⇾ パイプライン開発の簡素化
⇾ 一般的なパイプライン設定
⇾ シンプルなパイプラインの開発
⇾ 期待値によるデータ品質の確保
Lakeflow宣言型パイプラインの構築
⇾ ストリーミングジョインの概要
⇾ パイプラインの生産環境へのデプロイ
⇾ 変更データキャプチャ（CDC）の概要
⇾ Apply CHANGE INTOを使用した変更データキャプチャ
⇾ 追加機能の概 要
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
