Data Engineering with Databricks - Japanese

このコースでは、Databricks レイクハウスプラットフォームを使用して ETL パイプラインを本番化へする方法を、データのプロフェッショナル向けに紹介します。受講者は、Delta Live Tables を使用することで、さまざまなデータソースからレイクハウスに取得した新しいデータを差分的に処理するパイプラインの定義とスケジューリングを行います。また、Databricks Workflows でタスクをオーケストレーションし、Databricks Repo でコードのステータスを昇格（Promote）します。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

16h

Prerequisites

前提条件

このコース (Spark SQL 版と PySpark 版の両方) における前提条件:

クラウドコンピューティングの概念 (仮想マシンやオブジェクトストレージなど) に関する初歩的な理解
データウェアハウスおよびデータレイクを本番運用した経験
SQL の基本的な概念 (select、filter、groupby、join など) に関する理解

このコース (PySpark) に必要な追加の前提条件:

Python の初歩的なプログラミング経験 (構文、条件、ループ、関数)
Spark DataFrame API の初歩的なプログラミング経験:
DataFrameReader と DataFrameWriter を使用してデータを読み取り・書き込みできる
DataFrame メソッドと Column 表現を使用してクエリー変換を表現できる
Spark のドキュメントを調べてさまざまな変換やデータタイプに対する組み込み関数を特定できる

このコースの Python 版に必要な PySpark のプログラミングスキルは、Databricks Academy の「PySpark のプログラミングを開始する」(Get Started with PySpark Programming) コースで習得できます。

Upcoming Public Classes

Date	Time	Language	Price
Date	Time	Language	Price	May 12 - 13	09 AM - 05 PM (Asia/Tokyo)	Japanese	$1500.00
Jun 03 - 04	09 AM - 05 PM (Asia/Tokyo)	Japanese	$1500.00
Jul 02 - 03	09 AM - 05 PM (Asia/Tokyo)	Japanese	$1500.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Advanced Data Engineering with Databricks - Japanese

このコースは、Databricksを使った高度なデータエンジニアリングを学ぶための適切な入り口となります。以下では、このコースに含まれる4つの4時間の各モジュールについて説明します。

Databricks Streaming and Delta Live Tables

Databricks ストリーミングと Delta Live Tables (SDLT) コースは、Databricks 認定プロフェッショナルデータエンジニア認定試験の準備を目的としています。このコースの内容は、データエンジニアラーニングパスのプロフェッショナルレベルのモジュールで構成されており、インストラクター主導のトレーニング(ILT)として提供されます。

Databricks Data Privacy

このコンテンツでは、Databricks 内でデータプライバシーを管理するための包括的なガイドを提供します。 Delta Lake アーキテクチャ、リージョンのデータ分離、GDPR/CCPA コンプライアンス、チェンジデータフィード (CDF) の使用状況などの主要なトピックについて説明します。実践的なデモとハンズオンラボを通じて、参加者は Unity Catalog の機能を使用して機密データの保護とコンプライアンスを確保し、データの整合性を効果的に保護する方法を学びます。

Databricks Performance Optimization

このコースでは、SparkとDelta Lakeを使用してワークロードと物理レイアウトを最適化する方法と、Spark UIを分析してパフォーマンスを評価し、アプリケーションをデバッグする方法を学びます。ストリーミング、リキッドクラスタリング、データスキップ、キャッシュ、Photonなどのトピックについて説明します。

Automated Deployment with Databricks Asset Bundles

このコースでは、DevOps の原則と Databricks プロジェクトへの適用について包括的に復習します。まず、コア DevOps、DataOps、継続的インテグレーション (CI)、継続的デプロイ (CD)、テストの概要を説明し、これらの原則をデータエンジニアリングのパイプラインに適用する方法を探ります

次に、CI/CD プロセス内の継続的デプロイに焦点を当て、プロジェクトのデプロイメント用の Databricks REST API、SDK、CLI などのツールを検討します。 Databricks アセットバンドル (DAB) と、それらが CI/CD プロセスにどのように適合するかについて学習します。主なコンポーネント、フォルダー構造、Databricks のさまざまなターゲット環境へのデプロイを合理化する方法について詳しく説明します。また、Databricks CLI を使用して、構成の異なる複数の環境に対して変数の追加、変更、検証、デプロイ、および実行を行う方法についても学習します

最後に、このコースでは、Databricks アセットバンドルをローカルでビルド、テスト、デプロイするための対話型開発環境 (IDE) としての Visual Studio Code を紹介し、開発プロセスを最適化します。このコースの最後には、GitHub Actions を使用してデプロイパイプラインを自動化し、Databricks Asset Bundles で CI/CD ワークフローを強化する方法を紹介します

このコースを修了すると、Databricks アセットバンドルを使用して Databricks プロジェクトのデプロイを自動化し、DevOps プラクティスを通じて効率を向上させることができるようになります。

Languages Available: English | 日本語 | Português BR | 한국어