Advanced Techniques with Spark Declarative Pipelines - Japanese
本コースでは、本番環境向けのストリーミングパイプラインを構築するための、DatabricksのLakeflow Spark Declarative Pipelines（SDP）について解説します。実世界のlakehouseエンジニアリングに不可欠な、高度な設計パターン、堅牢なデータ品質管理、およびクロスプラットフォーム統合について学びます。
コース全体を通じて、最新のデータ取り込みおよび処理技術について深く掘り下げ、レイアウト最適化のためのリキッドクラスタリングや、混合スキーマのイベントに対応するマルチプレックス・ストリーミング・パターンなどのツールを習得します。各モジュールを修了する頃には、スキーマの進化に自信を持って対応し、チェンジデータキャプチャ（CDC）を自動化し、データの整合性を確保する方法が理解できるようになります。
講義と実践的なデモを通じて、以下のことを学びます：
• マルチソースのデータを統一されたブロンズテーブルに取り込むためのマルチフローパイプラインを構築する。
• シルバー層およびゴールド層全体にリキッドクラスタリングとデータ品質の期待値を適用する。
• クロスプラットフォームのデータアクセスを実現するために、Iceberg UniForm を使用したマルチプレックスパターンを実装する。
• AUTO CDC INTO を使用して、SCD タイプ 2 の履歴追跡を自動化する。
• 無効なレコードを監査および管理するための、データ損失ゼロの隔離パイプラインを設計する。
注意：Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。
Languages Available: English | 日本語 | Português BR | 한국어
このコースの内容は、次のスキル/知識/能力を持つ参加者向けに開発されています。:
• Spark Declarative Pipelines — 「Lakeflow Spark Declarative Pipelines を使用したデータパイプラインの構築」コースの修了、または CREATE OR REFRESH STREAMING TABLE、CONSTRAINTS、およびパイプライン UI に関する知識
• Delta Lake の基礎 — Delta テーブル、および Delta によるデータファイルとトランザクションログの管理方法に関する理解
• ストリーミングの概念 — SDPにおけるマイクロバッチ・ストリーミング、チェックポイント、イベントタイム処理に関する知識
• SQLの習熟度 — SELECT、JOIN、MERGE、CASE WHEN、および一般的な集計関数を含む、SQLの読み書きができること
• Databricks NotebooksでのPython — Databricks NotebooksでPythonコードを読み、実行することに慣れていること
• Unity Catalogの基礎 — Unity Catalogにおけるカタログ、スキーマ、テーブル、およびボリュームについての理解
Outline
• SDPにおけるマルチフロー、期待値、およびリキッド・クラスタリングの概要
• デモ: 液体クラスタリングとデータ品質を備えたマルティフローSDP
• マルチプレックス・ストリーミング、デルタ・シンク、およびアイスバーグ・リードの概要
• デモ: デルタシンクとアイスバーグ読み取りを用いたマルチプレックス・ストリーミングSDP
• チェンジデータキャプチャ（CDC）の復習
• デモ: Automating SCD Type 2 with AUTO CDC in Lakeflow Spark Declarative Pipelines
• Lakeflow Spark Declarative PipelinesにおけるAUTO CDCを用いたSCDタイプ2の自動化
• デモ: SDPにおける高度なデータ品質チェックと期待値
• ラボ - SDPを活用したマルチソースECパイプラインの構築
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
今すぐ登録
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
今すぐ登録
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
