Advanced Techniques with Spark Declarative Pipelines - Japanese

本コースでは、本番環境向けのストリーミングパイプラインを構築するための、DatabricksのLakeflow Spark Declarative Pipelines（SDP）について解説します。実世界のlakehouseエンジニアリングに不可欠な、高度な設計パターン、堅牢なデータ品質管理、およびクロスプラットフォーム統合について学びます。

コース全体を通じて、最新のデータ取り込みおよび処理技術について深く掘り下げ、レイアウト最適化のためのリキッドクラスタリングや、混合スキーマのイベントに対応するマルチプレックス・ストリーミング・パターンなどのツールを習得します。各モジュールを修了する頃には、スキーマの進化に自信を持って対応し、チェンジデータキャプチャ（CDC）を自動化し、データの整合性を確保する方法が理解できるようになります。

講義と実践的なデモを通じて、以下のことを学びます：

• マルチソースのデータを統一されたブロンズテーブルに取り込むためのマルチフローパイプラインを構築する。

• シルバー層およびゴールド層全体にリキッドクラスタリングとデータ品質の期待値を適用する。

• クロスプラットフォームのデータアクセスを実現するために、Iceberg UniForm を使用したマルチプレックスパターンを実装する。

• AUTO CDC INTO を使用して、SCD タイプ 2 の履歴追跡を自動化する。

• 無効なレコードを監査および管理するための、データ損失ゼロの隔離パイプラインを設計する。

注意：Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

このコースの内容は、次のスキル/知識/能力を持つ参加者向けに開発されています。:
• Spark Declarative Pipelines — 「Lakeflow Spark Declarative Pipelines を使用したデータパイプラインの構築」コースの修了、または CREATE OR REFRESH STREAMING TABLE、CONSTRAINTS、およびパイプライン UI に関する知識

• Delta Lake の基礎 — Delta テーブル、および Delta によるデータファイルとトランザクションログの管理方法に関する理解

• ストリーミングの概念 — SDPにおけるマイクロバッチ・ストリーミング、チェックポイント、イベントタイム処理に関する知識

• SQLの習熟度 — SELECT、JOIN、MERGE、CASE WHEN、および一般的な集計関数を含む、SQLの読み書きができること

• Databricks NotebooksでのPython — Databricks NotebooksでPythonコードを読み、実行することに慣れていること

• Unity Catalogの基礎 — Unity Catalogにおけるカタログ、スキーマ、テーブル、およびボリュームについての理解

Outline

• SDPにおけるマルチフロー、期待値、およびリキッド・クラスタリングの概要

• デモ: 液体クラスタリングとデータ品質を備えたマルティフローSDP

• マルチプレックス・ストリーミング、デルタ・シンク、およびアイスバーグ・リードの概要

• デモ: デルタシンクとアイスバーグ読み取りを用いたマルチプレックス・ストリーミングSDP

• チェンジデータキャプチャ（CDC）の復習

• デモ: Automating SCD Type 2 with AUTO CDC in Lakeflow Spark Declarative Pipelines

• Lakeflow Spark Declarative PipelinesにおけるAUTO CDCを用いたSCDタイプ2の自動化

• デモ: SDPにおける高度なデータ品質チェックと期待値

• ラボ - SDPを活用したマルチソースECパイプラインの構築

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Architecting Data Warehouses for Large-Scale Deployments - Japanese

本コースでは、大規模なデータウェアハウス環境のパフォーマンス最適化、コスト管理、およびセキュリティについて解説します。

本コースは、複数の事業部門にまたがり数百人から数千人のユーザーにサービスを提供するDatabricks環境の管理を担当するデータウェアハウス実務者を対象としています。本コースを受講することで、高いパフォーマンスとコスト効率を維持しつつ、セキュリティ基準への準拠を確保しながら、データウェアハウス運用を効率的に拡張するために必要なスキルを習得できます。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

Languages Available: English | Português BR | 한국어 | Español | française

Building Reliable Conversational Agents with Genie - Japanese

このコースでは、Databricks の Genie Space の設計、構築および保守の方法を学びます。Genie Space は、ビジネスユーザーがガバナンスされたデータについて質問し、コードを書かずに SQL に基づく回答を受け取れる自然言語インターフェースです。

Genie が Databricks の AI/BI 製品ファミリーにどのように位置づけられるか、そして自然言語をどのように信頼できる SQL クエリに変換するかを学びます。このコースでは、正確で一貫性があり、信頼できる結果を提供する Genie Space を作成するために何が必要かに焦点を当てます。

ソースデータの理解とベンチマークの定義から、ナレッジストアのキュレーションツール一式を使った Genie Space の構成と改良まで、完全なエンドツーエンドのワークフローをたどります。これらのツールには、メタデータ、シノニム、プロンプトマッチング、SQL ロジック、サンプルクエリ、テキストの手順が含まれます。

また、Databricks One を通じてビジネスユーザーと Genie Space を共有する方法、Unity Catalog のガバナンスがどのように自動的に適用されるかを理解し、モニタリングとユーザーのフィードバックを使って品質を継続的に改善する方法も学びます。

コースを終える頃には、ガバナンスされたセルフサービスの会話型分析を大規模に提供する、本番運用の準備が整った Genie Space を作成および管理できるようになります。

Languages Available: English | 한국어

Building ETL Pipelines with SQL - Japanese

このコースでは、Databricks Data Intelligence Platform で純粋な SQL を使用して、本番運用に対応した ETL パイプラインを構築する方法を学びます。受講者は、増分インジェストのための Auto Loader を使用したストリーミングテーブル、Silver-to-Gold 変換のための増分更新を伴うマテリアライズドビュー、宣言型 SCD タイプ 1 およびタイプ 2 ディメンション管理のための AUTO CDC (FLOW AUTO CDC)、および本番オーケストレーションのための SQL ファイルタスクを使用した Lakeflow ジョブについて学習します。このコースでは、メダリオンアーキテクチャ(ブロンズ → シルバー → ゴールド)を通じて、現実的な小売データセットに従います。