メインコンテンツへジャンプ

Automated Deployment with Databricks Asset Bundles - Japanese

このコースでは、DevOps の原則と Databricks プロジェクトへの適用について包括的に復習します。 まず、コア DevOps、DataOps、継続的インテグレーション (CI)、継続的デプロイ (CD)、テストの概要を説明し、これらの原則をデータエンジニアリングのパイプラインに適用する方法を探ります


次に、CI/CD プロセス内の継続的デプロイに焦点を当て、プロジェクトのデプロイメント用の Databricks REST API、SDK、CLI などのツールを検討します。 Databricks アセットバンドル (DAB) と、それらが CI/CD プロセスにどのように適合するかについて学習します。 主なコンポーネント、フォルダー構造、Databricks のさまざまなターゲット環境へのデプロイを合理化する方法について詳しく説明します。 また、Databricks CLI を使用して、構成の異なる複数の環境に対して変数の追加、変更、検証、デプロイ、および実行を行う方法についても学習します


最後に、このコースでは、Databricks アセットバンドルをローカルでビルド、テスト、デプロイするための対話型開発環境 (IDE) としての Visual Studio Code を紹介し、開発プロセスを最適化します。 このコースの最後には、GitHub Actions を使用してデプロイパイプラインを自動化し、Databricks Asset Bundles で CI/CD ワークフローを強化する方法を紹介します


このコースを修了すると、Databricks アセットバンドルを使用して Databricks プロジェクトのデプロイを自動化し、DevOps プラクティスを通じて効率を向上させることができるようになります。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
4h
Prerequisites
  • Databricks Workspacesの経験、Apache Sparkの経験、Delta Lakeの経験、メダリオン・アーキテクチャの経験、Unity Catalogの経験、Delta Live Tablesの経験、Workflowsの経験など、Databricks プラットフォームに関する深い知識。 特に、DLT で Expectations を活用するための知識。 
  • データ取り込みと変換の経験があり、データ処理とDataFrame操作のためのPySparkに習熟している。 受験者は、データ分析と変換のための中級レベルのSQLクエリを作成した経験も必要です
  • 関数やクラスを設計および実装する能力、およびPythonパッケージの作成、インポート、および利用の経験を含む、Pythonプログラミングの習熟度
  • DevOps の実践、特に継続的インテグレーションと継続的デリバリー/デプロイ (CI/CD) の原則に関する知識
  • Git バージョン管理の基本的な理解
  • 必須コース: DevOps Essentials for Data Engineering コース"

Outline

DevOps と CI/CD レビュー

  • DevOpsレビュー 
  • 継続的インテグレーションと継続的 デプロイメント/デリバリー (CI/CD)復習
  • コース設定と認証 認証


デプロイメントと Databricks アセット バンドル(DABs)

  • Databricks のデプロイ Projects
  • ~への紹介 Databricks アセット バンドル(DABs)
  • 単純な Databricks Asset Bundle のデプロイ 
  • シンプルな DAB のデプロイ 
  • DAB での変数置換
  • DABをデプロイする 複数の環境
  • DAB を複数の環境にデプロイする
  • DAB プロジェクト テンプレートの概要
  • Databricks のデフォルトの DAB テンプレートを使用する
  • DAB を使用した CI/CD プロジェクトの概要
  • 継続的インテグレーションと継続的 DABsを使用したデプロイ
  • ML を追加する DAB を使用したエンジニアリングワークフロー


もっと多くを Databricks アセット バンドル

  • Visual Studio Code を使用したローカル開発 (VSCode)
  • VSCode を使用する Databricks
  • データエンジニアリングの CI/CD ベストプラクティス
  • 次のステップ: GitHub Actionsによる自動デプロイメント

Upcoming Public Classes

Date
Time
Language
Price
Nov 27
01 PM - 05 PM (Asia/Tokyo)
Japanese
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Register now

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Register now

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow Spark Declarative Pipelinesを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。 このコースは、Lakeflow Spark Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します

取り上げるトピックは次のとおりです:

- SQLを使用したSpark Declarative PipelinesにおけるマルチファイルエディタによるETLパイプラインの開発とデバッグ(Pythonコード例付き)

- Spark Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

- パイプライン コンピュート リソース、データ アセット、トリガー モード、およびその他の詳細オプションの構成

次に、本コースではSpark Declarative Pipelinesにおけるデータ品質の期待値について紹介し、データ整合性を検証・強制するために期待値をパイプラインに統合するプロセスをユーザーにガイドします。学習者はその後、スケジューリングオプションを含むパイプラインの本番環境への導入方法、およびパイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化方法について探求します。

最後に、本コースではSpark Declarative Pipelines内でAUTO CDC INTO構文を用いてチェンジデータキャプチャ(CDC)を実装し、slowly changing dimensions(SCDタイプ1およびタイプ2)を管理する方法を解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

Paid
4h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.