Automated Deployment with Databricks Asset Bundles - Japanese

このコースでは、DevOps の原則と Databricks プロジェクトへの適用について包括的に復習します。まず、コア DevOps、DataOps、継続的インテグレーション (CI)、継続的デプロイ (CD)、テストの概要を説明し、これらの原則をデータエンジニアリングのパイプラインに適用する方法を探ります

次に、CI/CD プロセス内の継続的デプロイに焦点を当て、プロジェクトのデプロイメント用の Databricks REST API、SDK、CLI などのツールを検討します。 Databricks アセットバンドル (DAB) と、それらが CI/CD プロセスにどのように適合するかについて学習します。主なコンポーネント、フォルダー構造、Databricks のさまざまなターゲット環境へのデプロイを合理化する方法について詳しく説明します。また、Databricks CLI を使用して、構成の異なる複数の環境に対して変数の追加、変更、検証、デプロイ、および実行を行う方法についても学習します

最後に、このコースでは、Databricks アセットバンドルをローカルでビルド、テスト、デプロイするための対話型開発環境 (IDE) としての Visual Studio Code を紹介し、開発プロセスを最適化します。このコースの最後には、GitHub Actions を使用してデプロイパイプラインを自動化し、Databricks Asset Bundles で CI/CD ワークフローを強化する方法を紹介します

このコースを修了すると、Databricks アセットバンドルを使用して Databricks プロジェクトのデプロイを自動化し、DevOps プラクティスを通じて効率を向上させることができるようになります。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Professional

Duration

Prerequisites

Databricks Workspacesの経験、Apache Sparkの経験、Delta Lakeの経験、メダリオン・アーキテクチャの経験、Unity Catalogの経験、Delta Live Tablesの経験、Workflowsの経験など、Databricks プラットフォームに関する深い知識。特に、DLT で Expectations を活用するための知識。
データ取り込みと変換の経験があり、データ処理とDataFrame操作のためのPySparkに習熟している。受験者は、データ分析と変換のための中級レベルのSQLクエリを作成した経験も必要です
関数やクラスを設計および実装する能力、およびPythonパッケージの作成、インポート、および利用の経験を含む、Pythonプログラミングの習熟度
DevOps の実践、特に継続的インテグレーションと継続的デリバリー/デプロイ (CI/CD) の原則に関する知識
Git バージョン管理の基本的な理解
必須コース: DevOps Essentials for Data Engineering コース"

Outline

DevOps と CI/CD レビュー

DevOpsレビュー
継続的インテグレーションと継続的デプロイメント/デリバリー (CI/CD)復習
コース設定と認証認証

デプロイメントと Databricks アセットバンドル(DABs)

Databricks のデプロイ Projects
～への紹介 Databricks アセットバンドル(DABs)
単純な Databricks Asset Bundle のデプロイ
シンプルな DAB のデプロイ
DAB での変数置換
DABをデプロイする複数の環境
DAB を複数の環境にデプロイする
DAB プロジェクトテンプレートの概要
Databricks のデフォルトの DAB テンプレートを使用する
DAB を使用した CI/CD プロジェクトの概要
継続的インテグレーションと継続的 DABsを使用したデプロイ
ML を追加する DAB を使用したエンジニアリングワークフロー

もっと多くを Databricks アセットバンドル

Visual Studio Code を使用したローカル開発 (VSCode)
VSCode を使用する Databricks
データエンジニアリングの CI/CD ベストプラクティス
次のステップ: GitHub Actionsによる自動デプロイメント

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Data Engineering with Databricks - Japanese

これは、Databricksを用いたデータエンジニアリングを学ぶための適切な入門コースです。

以下に、本コースに含まれる4つの4時間モジュールについてそれぞれ説明します。

1. Lakeflow Connectによるデータ取り込み

このコースでは、多様なデータソースからDatabricksへデータを取り込むためのスケーラブルかつ簡素化されたソリューションとして、Lakeflow Connectの包括的な導入を提供します。まずLakeflow Connect内の各種コネクタ（標準コネクタとマネージドコネクタ）について学び、バッチ処理、増分バッチ処理、ストリーミング処理といった様々なデータ取り込み手法を理解します。その後、Deltaテーブルとメダリオンアーキテクチャの主な利点について確認します。

そこから、Lakeflow Connect スタンダード・コネクタを使用してクラウド・オブジェクト・ストレージからデータを効率的に取り込む実践的なスキルを習得します。具体的には、CREATE TABLE AS (CTAS)、COPY INTO、Auto loaderなどの手法と、各アプローチの利点および考慮事項について学びます。次に、Databricks data intelligence platformへの取り込み時に、ブロンズレベルテーブルにメタデータ列を追加する方法を学びます。続いて、ブロンズテーブルのスキーマに一致しないレコードを扱う「レスキューデータ列」の操作について、このレスキューデータの管理戦略を含めて学習します。

本コースでは、半構造化JSONデータの取り込みと平坦化技術に加え、Lakeflow Connectマネージドコネクタを用いたエンタープライズグレードのデータ取り込み手法についても紹介します。

最後に、学習者は代替データ取り込み戦略（MERGE INTO操作やDatabricks Marketplaceの活用を含む）を探求し、現代的なデータエンジニアリングの取り込みを支える基礎知識を身につけます。

2. Lakeflowジョブによるワークロードのデプロイ

Lakeflow ジョブを駆使したワークロードのデプロイコースでは、Lakeflow ジョブを用いたデータ、アナリティクス、AI ワークフローのオーケストレーションと自動化手法を学びます。柔軟なスケジューリング、高度なオーケストレーション、信頼性と効率性を高めるベストプラクティスを駆使し、Databricks Data intelligence Platformにネイティブ統合された堅牢で本番環境対応のパイプライン構築技術を習得します。Databricks、Python、SQL の事前知識が推奨されます。

3. Lakeflow Declarative Pipelinesでデータパイプラインを構築する

このコースでは、DatabricksのLakeflow Declarative Pipelinesを使用して、増分バッチまたはストリーミングの取り込みと処理を複数のストリーミングテーブルおよびマテリアライズドビューを通じて行うためのデータパイプライン構築に必要な基本概念とスキルを紹介します。Lakeflow Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントについて包括的な概要を提供し、それぞれの具体的な目的と違いを強調します。

取り上げるトピックには以下が含まれます：

⇾ Lakeflowのマルチファイルエディターを使用したSQLによるETLパイプラインの開発とデバッグ（Pythonコード例付き）

⇾ Lakeflow Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

⇾ パイプラインのコンピューティングリソース、データ資産、トリガーモード、その他の高度なオプションの設定

次に、本コースではLakeflowにおけるデータ品質の期待値を紹介し、パイプラインに期待値を統合してデータ整合性を検証・強制するプロセスをユーザーにガイドします。学習者はその後、パイプラインを本番環境に展開する方法を探求します。これには、スケジューリングオプション、本番モード、パイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化が含まれます。

最後に、本コースでは、Lakeflow Declarative Pipelines内でAPPLY CHANGES INTO構文を使用してチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法について解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

4. Unity Catalogによるデータ管理とガバナンス

このコースでは、Databricks Unity Catalogを使用したデータ管理とガバナンスについて学びます。データガバナンスの基礎概念、データレイク管理の複雑性、Unity Catalogのアーキテクチャ、セキュリティ、管理、および詳細なアクセス制御、データ分離、権限管理などの高度なトピックを網羅します。

* 本コースは、アソシエイトデータエンジニア認定試験の合格を目指す学生の準備を支援し、Databricks を使用した上級データエンジニアリングコースを受講するために必要な知識を提供します。

Languages Available: English | 日本語 | Português BR | 한국어

Machine Learning Practitioner

Data Preparation for Machine Learning - Japanese

このコースでは、機械学習のためのデータを Databricks を使って準備するための基礎に焦点を当てます。受講者は、従来の機械学習アプリケーション向けに調整されたデータの探索、クリーニング、および整理に必要なスキルを学びます。主なトピックには、データの視覚化、特徴量エンジニアリング、最適な特徴量ストレージ戦略などがあります。受講者は、実践的な演習を通じて、Databricks 内で機械学習用のデータセットを効率よく準備するための実地体験を積むことができます。このコースは、アソシエイトレベルのデータサイエンティストおよび機械学習の担当者向けに設計されており、さらに、データ準備に関する自らの習熟度を高め、機械学習モデルのデプロイメントのための強固な基盤を確立したいと考えている個人にも適しています。

Languages Available: English | 日本語 | Português BR | 한국어

AI/BI for Data Analysts - Japanese

このコースでは、Databricks が提供する機能を使用してビジネスインテリジェンスのニーズに対応する方法を学習します。 AI/BI ダッシュボードと AI/BI Genie。 Databricks データアナリストは、プラットフォーム内に AI/BI ダッシュボードと AI/BI Genie Spaces を作成し、関係者や必要な関係者によるこれらの資産へのアクセスを管理し、これらの資産が編集、更新、または廃止されたときに、そのライフサイクル全体にわたって維持する任務を負います。このコースでは、ビジネスインサイトのためのダッシュボードを設計し、それをコラボレーターや利害関係者と共有し、それらの資産をプラットフォーム内で維持する方法を参加者に指示することを目的としています。また、Databricks Data Intelligence Engineを活用した環境の構築と保守を通じて、AI/BI Genie Spacesを活用してセルフサービスアナリティクスをサポートする方法も学びます。