DevOps Essentials for Data Engineering - Japanese

このコースでは、Databricks を使用するデータエンジニア向けに特別に設計された、ソフトウェアエンジニアリングのベストプラクティスと DevOps の原則について説明します。参加者は、コード品質、バージョン管理、ドキュメンテーション、テストなどの主要なトピックで強力な基盤を構築します。このコースではDevOpsに重点を置き、コアコンポーネント、利点、およびデータエンジニアリングワークフローの最適化における継続的インテグレーションと継続的デリバリー(CI/CD)の役割について説明します

PySpark でモジュール性の原則を適用して、再利用可能なコンポーネントを作成し、コードを効率的に構造化する方法を学習します。実践的な経験には、pytest フレームワークを使用した PySpark 関数の単体テストの設計と実装、その後の DLT と Workflows を使用した Databricks データパイプラインの統合テストが含まれ、信頼性を確保します

このコースでは、Databricks Git フォルダーを使用した継続的インテグレーションのプラクティスの統合など、Databricks 内の基本的な Git 操作についても説明します。最後に、REST API、CLI、SDK、Databricks アセットバンドル (DAB) など、Databricks アセットのさまざまなデプロイ方法の概要を説明し、パイプラインをデプロイして管理する手法に関する知識を身に付けます

このコースを修了すると、ソフトウェアエンジニアリングとDevOpsのベストプラクティスに習熟し、スケーラブルで保守可能、かつ効率的なデータエンジニアリングソリューションを構築できるようになります。

Skill Level

Associate

Duration

Prerequisites

Databricks プラットフォームに関する十分な知識、Databricks ワークスペースの経験、Apache Sparkの経験、メダリオンアーキテクチャの経験、Delta Lakeの経験、Unity Catalogの経験、Delta Live Tablesの経験、そしてワークフローの経験。 Git バージョン管理の基本的な理解も必要です
データの取り込みと変換の経験があり、データ処理と DataFrame 操作について、PySpark に習熟している。さらに、受験者は、データ分析と変換のための中級レベルのSQLクエリを作成した経験が必要です。
Pythonプログラミングの知識と、関数やクラスを設計および実装する能力を含む、中級レベルのPythonコードの記述に習熟している必要です。また、ユーザーは Python パッケージの作成、インポート、および効果的な利用に熟練している必要があります。

Outline

ソフトウェアエンジニアリング、DevOps、CI/CD 基礎

ソフトウェアエンジニアリング(SWE)ベストプラクティス入門

〜への紹介 PySpark コードのモジュール化

PySpark のモジュール化コード

DevOps の基礎

CI/CDの役割における中 DevOps

知識チェック/ディスカッション

継続的インテグレーション

プロジェクトの計画

プロジェクト設定の探索 (必須)

PySpark の単体テストの概要

単体テストの作成と実行

インテグレーションの実行 DLT を使用したテストとワークフロー

DLT を使用した統合テストの実行とワークフロー

Git によるバージョン管理の概要

継続的デプロイメントの概要

Databricks アセットのデプロイの概要 (スライド)

Databricks プロジェクトをデプロイする

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Apache Spark Developer

Developing Applications with Apache Spark™ - Japanese

このハンズオンコースでは、Apache Spark を使用したスケーラブルなデータ処理を習得します。 Spark の DataFrame API を使用して、効率的な ETL パイプラインを構築し、高度な分析を実行し、分散データ変換を最適化する方法を学びます。グループ化、集計、結合、集合演算、ウィンドウ関数について調べます。配列、マップ、構造体などの複雑なデータ型を操作しながら、パフォーマンス最適化のベストプラクティスを適用します。

Languages Available: English | 日本語 | 한국어

Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow Spark Declarative Pipelinesを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。このコースは、Lakeflow Spark Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します

取り上げるトピックは次のとおりです:

- SQLを使用したSpark Declarative PipelinesにおけるマルチファイルエディタによるETLパイプラインの開発とデバッグ（Pythonコード例付き）

- Spark Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

- パイプラインコンピュートリソース、データアセット、トリガーモード、およびその他の詳細オプションの構成

次に、本コースではSpark Declarative Pipelinesにおけるデータ品質の期待値について紹介し、データ整合性を検証・強制するために期待値をパイプラインに統合するプロセスをユーザーにガイドします。学習者はその後、スケジューリングオプションを含むパイプラインの本番環境への導入方法、およびパイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化方法について探求します。

最後に、本コースではSpark Declarative Pipelines内でAUTO CDC INTO構文を用いてチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法を解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

Data Warehousing with Databricks - Japanese

このコースは、Databricksのデータウェアハウジング機能を探索したいデータ専門家向けに設計されています。 Databricksに関する予備知識がないと仮定して、最新のクラウドベースのデータウェアハウジングソリューションとしてDatabricksを活用する方法を紹介します。学習者は、業界標準の TCP-DI データセットを参考にして、Databricks Data Intelligence Platform を使用してデータを効率的に取り込み、変換、管理、分析する方法を探ります。学習者は、自然言語クエリによるデータ探索を簡素化する革新的な Databricks 機能である Genie についても学習します。このコースを修了すると、受講者は Databricks を使用してデータウェアハウスを実装および最適化するための基本的なスキルを身に付けることができます。

Languages Available: English | 日本語 | Português BR | 한국어