Automated Deployment with Databricks Asset Bundles - Japanese

このコースでは、DevOpsの原則とDatabricks projectへの応用について包括的に解説します。まず、DevOps、DataOps、継続的インテグレーション（CI）、継続的デプロイメント（CD）、テストといった中核概念の概要から始め、これらの原則をデータエンジニアリングパイプラインに適用する方法を探求します。

コースでは次に、CI/CDプロセス内での継続的デプロイに焦点を当て、プロジェクトデプロイのためのDatabricks REST API、SDK、CLIなどのツールを検証します。Databricks Asset Bundles（DAB）について学び、それらがCI/CDプロセスにどのように組み込まれるかを理解します。DABの主要コンポーネント、フォルダ構造、Databricks内の様々なターゲット環境へのデプロイを効率化する仕組みについて深く掘り下げます。さらに、Databricks CLIを使用して、異なる構成を持つ複数環境向けにDatabricks Asset Bundlesの変数追加、修正、検証、デプロイ、実行を行う方法も学びます。

最後に、本コースではVisual Studio Codeをインタラクティブ開発環境（IDE）として紹介し、Databricks Asset Bundlesのローカル環境でのビルド、テスト、デプロイを可能にすることで開発プロセスを最適化します。コースの締めくくりとして、GitHub Actionsを用いたデプロイパイプラインの自動化を紹介し、Databricks Asset Bundlesを用いたCI/CDワークフローの強化を図ります。

本コース修了時には、Databricks Asset Bundles を使用して Databricks projectのデプロイを自動化し、DevOps プラクティスを通じて効率性を向上させるスキルを身につけることができます。

注：このコースは「Databricksによる高度なデータエンジニアリング」シリーズの4回目です。

Skill Level

Professional

Duration

Prerequisites

このコースの内容は、次のスキル/知識/能力を持つ参加者向けに開発されています。

• Databricks platformに関する深い知識を有し、Databricks workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog、Delta Live Tables、workflowsの実務経験を含む。特に、DLTにおける期待値の活用に関する知識を有すること。

• データ取り込みおよび変換の経験を有し、データ処理とDataFrame操作においてPySparkに精通していること。また、データ分析および変換のための中級レベルのSQLクエリ作成経験を有していることが望ましい。

• Pythonプログラミングの習熟度（関数やクラスの設計・実装能力を含む）およびPythonパッケージの作成、インポート、活用に関する経験。

• DevOpsの実践、特に継続的インテグレーションおよび継続的デリバリー／デプロイメント（CI/CD）の原則に関する知識。

• Gitバージョン管理の基本的な理解。

• 前提条件コース：データエンジニアリングのためのDevOps基礎コース

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Customer registration Partner registration

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Get Started with Databricks for Data Engineering - Japanese

このコースでは、Databricks Data Intelligence Platformを使用してシンプルなデータエンジニアリングワークフローを実行し、データウェアハウジングの取り組みをサポートできるようにする基本的なスキルを学びます。ワークスペースのツアーが行われ、カタログ、スキーマ、ボリューム、テーブル、コンピューティングクラスター、Databricks Notebooks など、Databricks のオブジェクトの操作方法が示されます。次に、基本的なデータエンジニアリングワークフローに従って、テーブルの作成と操作、Delta Lake へのデータの取り込み、メダリオンアーキテクチャによるデータの変換、Databricks Workflows を使用したデータエンジニアリングタスクのオーケストレーションなどのタスクを実行します。また、Databricks が Databricks SQL、Lakeflow 宣言型パイプライン、Unity Catalog を使用してデータウェアハウジングのニーズをサポートする方法についても説明します。

Databricks Labs サブスクリプションを購入すると、コースの最後には、ライブの Databricks Workspace 環境で学んだことを実践するための包括的なラボ演習も行われます。

Languages Available: English | 日本語 | Português BR | 한국어

Paid & Subscription

Lab

Onboarding

Machine Learning Practitioner

Get Started with Databricks for Machine Learning - Japanese

このコースでは、基本的な機械学習ワークフローを実行し、データサイエンスのワークロードをサポートするためにDatabricks Data Intelligence Platformを使用するために必要な基礎スキルを習得します。機械学習実践者の視点からプラットフォームを探索し、Databricks Notebooksを使用した機能エンジニアリングやMLflowを使用したモデルライフサイクル追跡などのトピックをカバーします。さらに、Mosaic AI Model Servingによるリアルタイムモデル推論について学び、AutoMLによるモデル開発に対するDatabricksの「ガラスボックス」アプローチを体験します。このコースには、インストラクター主導のデモンストレーションが3回含まれており、最後にはデモで取り上げられた概念を強化する総合的なラボが行われます。

Languages Available: English | 日本語 | Português BR | 한국어

Build Data Pipelines with Lakeflow Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow宣言型パイプラインを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。このコースは、Lakeflow 宣言的パイプラインを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します

取り上げるトピックは次のとおりです:

- SQL を使用した Lakeflow のマルチファイルエディターを使用した ETL パイプラインの開発とデバッグ (Python コード例を提供)

- Lakeflow 宣言的パイプラインがパイプライングラフを通じてパイプラインでデータの依存関係を追跡する方法

- パイプラインコンピュートリソース、データアセット、トリガーモード、およびその他の詳細オプションの構成

次に、このコースでは、Lakeflow のデータ品質に対する期待値を紹介し、データの整合性を検証および適用するために、期待値をパイプラインに統合するプロセスをユーザーに案内します。次に、学習者は、スケジュールオプション、本番運用モード、パイプラインのパフォーマンスと正常性を監視するためのパイプラインイベントログの有効化など、パイプラインを本番運用に配置する方法について説明します

最後に、このコースでは、Lakeflow 宣言型パイプライン内の APPLY CHANGES INTO 構文を使用して変更データキャプチャ (CDC) を実装し、slowly changing dimensions (SCD タイプ 1 および 2) を管理し、ユーザーが CDC を独自のパイプラインに統合する準備をする方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

Paid & Subscription

Lab

Associate