Automated Deployment with Declarative Automation Bundles - Japanese

本コースでは、DevOpsの原則と、Databricks projectsへのその適用について包括的に解説します。まず、DevOps、DataOps、継続的インテグレーション（CI）、継続的デプロイメント（CD）、およびテストの概要から始まり、これらの原則をデータエンジニアリングパイプラインにどのように適用できるかを掘り下げます。

続いて、CI/CDプロセスにおける継続的デプロイメントに焦点を当て、プロジェクトのデプロイメントに利用できるDatabricks REST API、SDK、CLIなどのツールについて解説します。Declarative Automation Bundles（DAB）について、またそれらがCI/CDプロセスにどのように組み込まれるかを学びます。DABの主要な構成要素やフォルダ構造、そしてDatabricks内のさまざまなターゲット環境へのデプロイをどのように効率化するかを詳しく掘り下げます。また、Databricks CLIを使用して、異なる構成を持つ複数の環境向けに、変数の追加、修正、検証、デプロイ、およびDeclarative Automation Bundlesの実行を行う方法についても学びます。

最後に、本コースでは、Declarative Automation Bundleをローカルでビルド、テスト、デプロイするためのインタラクティブ開発環境（IDE）としてVisual Studio Codeを紹介し、開発プロセスの最適化を図ります。コースの最後には、GitHub Actionsを使用したデプロイパイプラインの自動化について解説し、Declarative Automation Bundleを活用したCI/CDワークフローの強化について紹介します。

このコースを修了する頃には、Declarative Automation Bundles を使用して Databricks projectのデプロイを自動化できるようになり、DevOps の実践を通じて効率を向上させることができるようになります。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

このコースの内容は、次のスキル/知識/能力を持つ参加者向けに開発されています。

• Databricks platformに関する深い知識。具体的には、Databricks Workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog、Lakeflow Spark Declarative Pipelines (SDP)、Lakeflowジョブの実務経験を含む。特に、SDPにおける "Expectations" (エクスペクテーショ) の活用に関する知識。

• データ取り込みおよび変換の経験があり、データ処理およびDataFrame操作におけるPySparkに精通していること。また、データ分析および変換のための中級レベルのSQLクエリ作成経験も必要です。

• Pythonプログラミングに精通しており、関数やクラスの設計・実装能力、およびPythonパッケージの作成、インポート、活用の経験があること。

• DevOpsの実践、特に継続的インテグレーションおよび継続的デリバリー/デプロイメント（CI/CD）の原則に精通していること。

• Gitバージョンコントロールの基本的な理解。

• 前提条件となるコース：「データエンジニアリングのためのDevOpsエッセンシャルズ」。

Outline

DevOpsおよびCI/CDの概要

• DevOpsの概要

• 継続的インテグレーションおよび継続的デプロイメント／デリバリー（CI/CD）の概要

• コースのセットアップと認証

Declarative Automation Bundles（DAB）を使用したデプロイ

• Databricks projetcsのデプロイ

• Declarative Automation Bundles（DAB）の概要

• シンプルな DAB のデプロイ

• シンプルな DAB をデプロイする

• DAB における変数の置換

• 複数の環境への DAB のデプロイ

• DAB プロジェクトテンプレートの概要

• Databricks のデフォルト DAB テンプレートの使用

• DAB を使用した CI/CD プロジェクトの概要

• DAB を使用した継続的インテグレーションと継続的デプロイ

• DAB を使用したエンジニアリングワークフローへの ML の追加

Databricks Asset Bundlesをさらに活用する

• Visual Studio Code (VSCode) を使用したローカル開発

• DatabricksでのVSCodeの活用

• データエンジニアリングにおけるCI/CDのベストプラクティス

• 次のステップ：GitHub Actionsによる自動デプロイ

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Jul 29	01 PM - 05 PM (Asia/Tokyo)	-	Japanese	$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Jul 29	01 PM - 05 PM (Asia/Tokyo)	-	Japanese	$750.00

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Data Ingestion with Lakeflow Connect - Japanese

このコースでは、さまざまなソースから Databricks にデータを取り込むためのスケーラブルでシンプルなソリューションである Lakeflow Connect を包括的に紹介します。まず、さまざまなタイプの Lakeflow Connect コネクタ (標準およびマネージド) を探索し、バッチ、増分バッチ、ストリーミング取り込みなど、さまざまなデータ取り込み手法について学習します。また、Delta テーブルとメダリオンアーキテクチャを使用する主な利点についても説明します

次に、Lakeflow Connect 標準コネクタを使用してクラウドオブジェクトストレージからデータを取り込むための実践的なスキルを身に付けます。これには、CREATE TABLE AS SELECT (CTAS)、COPY INTO、Auto Loader などの方法の操作が含まれ、各アプローチの利点と考慮事項に重点が置かれています。また、Databricks Data Intelligence Platform への取り込み中にブロンズレベルのテーブルにメタデータ列を追加する方法についても説明します。次に、このコースでは、復旧されたデータ列を使用してテーブルスキーマと一致しないレコードを処理する方法と、このデータを管理および分析するための戦略について説明します。また、半構造化された JSON データを取り込んでフラット化するための手法についても説明します

続いて、Lakeflow Connect 管理されたコネクタを使用してエンタープライズグレードのデータ取り込みを実行し、データベースやサービスとしてのソフトウェア (SaaS) アプリケーションからデータを取り込む方法について説明します。また、このコースでは、パートナーツールをインジェストワークフローに統合するためのオプションとして Partner Connect も紹介しています

最後に、このコースの最後には、MERGE INTO 操作や Databricks Marketplace の活用など、代替の取り込み戦略を紹介し、最新のデータエンジニアリングのユースケースをサポートするための強力な基盤を身に付けます。

Languages Available: English | 日本語 | Português BR | 한국어

Databricks Data Privacy - Japanese

このコンテンツは、Databricks内でのデータプライバシー管理に関する包括的なガイドを提供します。Delta Lakeアーキテクチャ、リージョナルデータ分離、GDPR/CCPAコンプライアンス、チェンジデータフィード（CDF）の使用といった主要トピックを網羅しています。実践的なデモとハンズオンラボを通じて、参加者は機密データの保護とコンプライアンス確保のためのUnity Catalog機能の使用方法を学び、データ整合性を効果的に保護する能力を身につけます。

Languages Available: English | 日本語 | Português BR | 한국어

Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow Spark Declarative Pipelinesを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。このコースは、Lakeflow Spark Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します

取り上げるトピックは次のとおりです:

- SQLを使用したSpark Declarative PipelinesにおけるマルチファイルエディタによるETLパイプラインの開発とデバッグ（Pythonコード例付き）

- Spark Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

- パイプラインコンピュートリソース、データアセット、トリガーモード、およびその他の詳細オプションの構成

次に、本コースではSpark Declarative Pipelinesにおけるデータ品質の期待値について紹介し、データ整合性を検証・強制するために期待値をパイプラインに統合するプロセスをユーザーにガイドします。学習者はその後、スケジューリングオプションを含むパイプラインの本番環境への導入方法、およびパイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化方法について探求します。

最後に、本コースではSpark Declarative Pipelines内でAUTO CDC INTO構文を用いてチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法を解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。