Data Engineering with Databricks - Japanese

Databricks を使用したデータエンジニアリングを学ぶための適切な入門コースです。

以下では、このコースに含まれる 4 つの 4 時間モジュールについてそれぞれ説明します。

注: 以下の 4 つのモジュールについて、Databricks Academy は Databricks 環境内での教室セッションを notebook ベースの形式に移行しており、講義でのスライドデッキの使用を終了します。講義用 notebook には Vocareum lab 環境でアクセスできます。

1. Data Ingestion with Lakeflow Connect

このコースでは、幅広いソースから Databricks へデータを取り込むための、スケーラブルで簡素化されたソリューションである Lakeflow Connect について包括的に紹介します。まず、Lakeflow Connect コネクタのさまざまな種類（Standard および Managed）を確認し、バッチ、増分バッチ、ストリーミングによる取り込みなど、多様なデータ取り込み手法を学びます。また、Delta table と Medallion アーキテクチャを使用する主な利点についても復習します。

次に、Lakeflow Connect Standard Connectors を使用して、クラウドオブジェクトストレージからデータを取り込むための実践的なスキルを習得します。これには、CREATE TABLE AS SELECT (CTAS)、COPY INTO、Auto Loader などの手法の活用が含まれ、各アプローチの利点と考慮事項に重点を置きます。また、Databricks Data Intelligence Platform への取り込み時に、bronze レベルのテーブルにメタデータ列を追加する方法も学びます。続いて、rescued data 列を使用してテーブルスキーマに一致しないレコードを処理する方法や、このデータを管理・分析するための戦略について取り上げます。さらに、半構造化 JSON データを取り込んでフラット化する手法についても確認します。

その後、Lakeflow Connect Managed Connectors を使用して、データベースや Software-as-a-Service (SaaS) アプリケーションからデータを取り込む、エンタープライズグレードのデータ取り込みを実行する方法を確認します。また、パートナーツールを取り込みワークロードに統合するためのオプションとして Partner Connect も紹介します。

最後に、MERGE INTO 操作や Databricks Marketplace の活用など、代替の取り込み戦略を取り上げ、最新のデータエンジニアリングのユースケースを支える確かな基盤を身に付けます。

2. Deploy Workloads with Lakeflow Jobs

Deploy Workloads with Lakeflow Jobs コースでは、Databricks エコシステム内の統合オーケストレーションプラットフォームである Lakeflow Jobs を使用して、データ、分析、AI のワークフローをオーケストレーションおよび自動化する方法を学びます。

• 有向非巡回グラフ (DAG) を使用してデータワークロードを設計・実装し、さまざまなスケジューリングオプションを構成し、条件付きタスク実行、run-if 依存関係、for each ループなどの高度なワークフロー機能を実装する方法を学びます。

• このコースでは、適切なコンピュートの選択、モジュール式のオーケストレーション、エラー処理手法、フォールトトレラントな設計を備えた、堅牢で本番環境対応のパイプラインを作成するためのベストプラクティスを取り上げます。これらはすべて Databricks Data Intelligence Platform にネイティブに統合されています。

3. Build Data Pipelines with Apache Spark Declarative Pipelines

このコースでは、Databricks の Apache Spark Declarative Pipelines (SDP) を使用して、複数のストリーミングテーブルとマテリアライズドビューを通じた増分バッチまたはストリーミングの取り込みと処理を行うデータパイプラインを構築するために必要な、基本的な概念とスキルを紹介します。Spark Declarative Pipelines を初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどの主要コンポーネントを包括的に概説し、それぞれの目的と違いを明確にします。

取り上げるトピックは以下のとおりです。

• SQL を使用した Spark Declarative Pipelines のマルチファイルエディタによる ETL パイプラインの開発とデバッグ（Python コード例を提供）

• Spark Declarative Pipelines がパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

• パイプラインのコンピュートリソース、データアセット、トリガーモード、その他の高度なオプションの構成

次に、Spark Declarative Pipelines のデータ品質エクスペクテーションを紹介し、データの整合性を検証・強制するためにエクスペクテーションをパイプラインに統合するプロセスを案内します。続いて、スケジューリングオプションを含むパイプラインの本番稼働の方法や、パイプラインのパフォーマンスと正常性を監視するためのパイプラインイベントログの有効化について確認します。

最後に、Spark Declarative Pipelines 内で AUTO CDC INTO 構文を使用して Change Data Capture (CDC) を実装し、緩やかに変化するディメンション（SCD Type 1 および Type 2）を管理する方法を取り上げ、CDC を自身のパイプラインに統合できるように準備します。

4. DevOps Essentials for Data Engineering

このコースでは、Databricks を使用するデータエンジニア向けに特化した、ソフトウェアエンジニアリングのベストプラクティスと DevOps の原則を探求します。受講者は、コード品質、バージョン管理、ドキュメント作成、テストといった主要トピックについて確かな基盤を築きます。このコースでは DevOps に重点を置き、その中核となるコンポーネント、利点、そしてデータエンジニアリングのワークフローを最適化する上での継続的インテグレーションとデリバリー (CI/CD) の役割を取り上げます。

再利用可能なコンポーネントを作成し、コードを効率的に構造化するために、PySpark でモジュール性の原則を適用する方法を学びます。ハンズオンでは、pytest フレームワークを使用した PySpark 関数の単体テストの設計と実装、続いて信頼性を確保するための Spark Declarative Pipeline および Jobs を使用した Databricks データパイプラインの統合テストを行います。

また、継続的インテグレーションのプラクティスを統合するための Databricks Git Folders の使用など、Databricks 内の必須の Git 操作についても取り上げます。最後に、REST API、CLI、SDK、Declarative Automation Bundles (DABs) など、Databricks アセットのさまざまなデプロイ方法を大まかに確認し、パイプラインをデプロイ・管理するための手法に関する知識を習得します。

コースを修了する頃には、ソフトウェアエンジニアリングと DevOps のベストプラクティスに習熟し、スケーラブルで保守性が高く、効率的なデータエンジニアリングソリューションを構築できるようになります。

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française