Building ETL Pipelines with SQL - Japanese

このコースでは、Databricks Data Intelligence Platform 上で純粋な SQL を使用して、本番運用に対応した ETL パイプラインを構築する方法を学びます。受講者は、増分取り込みのための Auto Loader を使用したストリーミングテーブル、シルバーからゴールドへの変換処理のための増分更新付きマテリアライズドビュー、宣言的な SCD Type 1 および Type 2 ディメンション管理のための AUTO CDC（FLOW AUTO CDC）、そしてデータ品質の期待値、PRIVATE テーブル、統合モニタリングを備えた本番運用のマルチテーブルパイプラインにこれらのオブジェクトをグループ化するための Apache Spark Declarative Pipelines（SDP）を学習します。このコースでは、メダリオンアーキテクチャ（ブロンズ → シルバー → ゴールド）に沿って、現実的な小売データセットを使用します。Lakeflow ジョブによるオーケストレーションは、ボーナスモジュールとして提供されています。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

Skill Level

Associate

Duration

Prerequisites

このコンテンツは、以下のスキル/知識/能力を持つ参加者向けに開発されています。

• Databricks ワークスペースのナビゲーション（サイドバー、Catalog Explorer、SQL Editor）

• Unity Catalog の基本（カタログ、スキーマ、テーブル、ボリューム）

• 中級 SQL（SELECT、JOIN、GROUP BY、CAST、COALESCE、CREATE TABLE）

• データウェアハウジングの概念（ファクトテーブル／ディメンションテーブル、スタースキーマ、メダリオンアーキテクチャ）

• ETL ワークフローの基本的な理解

Outline

モジュール 1 - Databricks における SQL ETL
• SQL ETL on Databricks: 全体像

• デモ: コースのデータセットと SQL エディターの探索

• ラボ: SQL エディターと Genie の使い方

モジュール 2 - ストリーミングテーブルとマテリアライズドビュー

• SQL ETL パイプラインの構築

• デモ: ブロンズからシルバーへのパイプラインの構築

• ラボ: カスタマーフィードバックパイプラインの構築

モジュール 3 - Auto CDC

• AUTO CDC ストリーミングディメンション更新

• デモ: Slowly Changing Dimensions と AUTO CDC を使用したパイプラインの構築

• ラボ: Slowly Changing Dimensions の構築

モジュール 4 - Spark Declarative Pipelines を使用したパイプラインの構築

• スタンドアロン SQL から本番運用パイプラインへ

• デモ: マルチファイルエディターでの SDP パイプラインの構築

（ボーナス）Lakeflow ジョブによるオーケストレーション

• SQL パイプラインを lakeflow ジョブでオーケストレーションする

• デモ: LakeFlow ジョブを ETL パイプライン用に構築する

• ラボ: SQL パイプラインを lakeflow ジョブでオーケストレーションする

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Dec 18	02 PM - 06 PM (Asia/Tokyo)	-	Japanese	$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Dec 18	02 PM - 06 PM (Asia/Tokyo)	-	Japanese	$750.00

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Advanced Machine Learning with Databricks - Japanese

このコースはデータサイエンティストおよび機械学習の実務者を対象としており、4時間のモジュールが2つで構成されています。

Machine Learning at Scale

このコースでは、Apache Spark のアーキテクチャと、Databricks における機械学習ワークロードへの応用について、理論的および実践的な知識を習得します。データ準備、モデルのトレーニング、およびデプロイメントに Spark を活用するタイミングを学ぶとともに、Spark ML および pandas APIs on Spark を使った実践的な経験を積みます。また、ハイパーパラメータチューニングや Spark を用いた Optuna のスケーリングといった高度な概念についても学習します。さらに、包括的なモデルのパッケージングとガバナンスのために、アソシエイトコースで紹介された MLflow や Unity Catalog などの機能および概念を活用します。

Advanced Machine Learning Operations

このコースでは、機械学習ライフサイクルと MLOps に関する包括的な理解を提供し、データおよびモデル管理、テスト、スケーラブルなアーキテクチャのベストプラクティスを重点的に取り上げます。CI/CD、パイプライン管理、環境の分離などの主要な MLOps コンポーネントを網羅しながら、Declarative Automation Bundles (DABs)、Lakeflow ジョブ、Model Serving など、自動化およびインフラ管理のための Databricks のツールを紹介します。モニタリング、カスタムメトリクス、ドリフト検出、モデルロールアウト戦略、A/B テスト、および信頼性の高い MLOps システムの原則について学び、Databricks における機械学習プロジェクトの実装と管理を総合的なビューで理解できるようになります。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。