Build Data Pipelines with Lakeflow Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow宣言型パイプラインを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。このコースは、Lakeflow 宣言的パイプラインを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します

取り上げるトピックは次のとおりです:

- SQL を使用した Lakeflow のマルチファイルエディターを使用した ETL パイプラインの開発とデバッグ (Python コード例を提供)

- Lakeflow 宣言的パイプラインがパイプライングラフを通じてパイプラインでデータの依存関係を追跡する方法

- パイプラインコンピュートリソース、データアセット、トリガーモード、およびその他の詳細オプションの構成

次に、このコースでは、Lakeflow のデータ品質に対する期待値を紹介し、データの整合性を検証および適用するために、期待値をパイプラインに統合するプロセスをユーザーに案内します。次に、学習者は、スケジュールオプション、本番運用モード、パイプラインのパフォーマンスと正常性を監視するためのパイプラインイベントログの有効化など、パイプラインを本番運用に配置する方法について説明します

最後に、このコースでは、Lakeflow 宣言型パイプライン内の APPLY CHANGES INTO 構文を使用して変更データキャプチャ (CDC) を実装し、slowly changing dimensions (SCD タイプ 1 および 2) を管理し、ユーザーが CDC を独自のパイプラインに統合する準備をする方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

- Databricks Data Intelligence Platform、Databricks workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog.

を含む基本的な理解

- read_files SQL 関数を使用して CSV、JSON、TXT、Parquet.

などの形式を読み込むなど、生データを Delta テーブルに取り込んだ経験

- 中級レベルのクエリの記述や SQL 結合の基本的な理解など、SQL を使用したデータ変換の習熟度。

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Customer registration Partner registration

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Databricks Data Privacy - Japanese

このコンテンツは、Databricks内でのデータプライバシー管理に関する包括的なガイドを提供します。Delta Lakeアーキテクチャ、リージョナルデータ分離、GDPR/CCPAコンプライアンス、チェンジデータフィード（CDF）の使用といった主要トピックを網羅しています。実践的なデモとハンズオンラボを通じて、参加者は機密データの保護とコンプライアンス確保のためのUnity Catalog機能の使用方法を学び、データ整合性を効果的に保護する能力を身につけます。

注記：このコースは「Databricksによる高度なデータエンジニアリング」シリーズの2回目です。

Languages Available: English | 日本語 | Português BR

Automated Deployment with Databricks Asset Bundles - Japanese

このコースでは、DevOpsの原則とDatabricks projectへの応用について包括的に解説します。まず、DevOps、DataOps、継続的インテグレーション（CI）、継続的デプロイメント（CD）、テストといった中核概念の概要から始め、これらの原則をデータエンジニアリングパイプラインに適用する方法を探求します。

コースでは次に、CI/CDプロセス内での継続的デプロイに焦点を当て、プロジェクトデプロイのためのDatabricks REST API、SDK、CLIなどのツールを検証します。Databricks Asset Bundles（DAB）について学び、それらがCI/CDプロセスにどのように組み込まれるかを理解します。DABの主要コンポーネント、フォルダ構造、Databricks内の様々なターゲット環境へのデプロイを効率化する仕組みについて深く掘り下げます。さらに、Databricks CLIを使用して、異なる構成を持つ複数環境向けにDatabricks Asset Bundlesの変数追加、修正、検証、デプロイ、実行を行う方法も学びます。

最後に、本コースではVisual Studio Codeをインタラクティブ開発環境（IDE）として紹介し、Databricks Asset Bundlesのローカル環境でのビルド、テスト、デプロイを可能にすることで開発プロセスを最適化します。コースの締めくくりとして、GitHub Actionsを用いたデプロイパイプラインの自動化を紹介し、Databricks Asset Bundlesを用いたCI/CDワークフローの強化を図ります。

本コース修了時には、Databricks Asset Bundles を使用して Databricks projectのデプロイを自動化し、DevOps プラクティスを通じて効率性を向上させるスキルを身につけることができます。

注：このコースは「Databricksによる高度なデータエンジニアリング」シリーズの4回目です。

AI/BI for Data Analysts - Japanese

このコースでは、Databricks が提供する機能を使用してビジネスインテリジェンスのニーズに対応する方法を学習します。 AI/BI ダッシュボードと AI/BI Genie。 Databricks データアナリストは、プラットフォーム内に AI/BI ダッシュボードと AI/BI Genie Spaces を作成し、関係者や必要な関係者によるこれらの資産へのアクセスを管理し、これらの資産が編集、更新、または廃止されたときに、そのライフサイクル全体にわたって維持する任務を負います。このコースでは、ビジネスインサイトのためのダッシュボードを設計し、それをコラボレーターや利害関係者と共有し、それらの資産をプラットフォーム内で維持する方法を参加者に指示することを目的としています。また、Databricks Data Intelligence Engineを活用した環境の構築と保守を通じて、AI/BI Genie Spacesを活用してセルフサービスアナリティクスをサポートする方法も学びます。

Paid & Subscription

Lab

Associate