Data Ingestion with Lakeflow Connect - Japanese

このコースでは、さまざまなソースから Databricks にデータを取り込むためのスケーラブルでシンプルなソリューションである Lakeflow Connect を包括的に紹介します。まず、さまざまなタイプの Lakeflow Connect コネクタ (標準およびマネージド) を探索し、バッチ、増分バッチ、ストリーミング取り込みなど、さまざまなデータ取り込み手法について学習します。また、Delta テーブルとメダリオンアーキテクチャを使用する主な利点についても説明します

次に、Lakeflow Connect 標準コネクタを使用してクラウドオブジェクトストレージからデータを取り込むための実践的なスキルを身に付けます。これには、CREATE TABLE AS SELECT (CTAS)、COPY INTO、Auto Loader などの方法の操作が含まれ、各アプローチの利点と考慮事項に重点が置かれています。また、Databricks Data Intelligence Platform への取り込み中にブロンズレベルのテーブルにメタデータ列を追加する方法についても説明します。次に、このコースでは、復旧されたデータ列を使用してテーブルスキーマと一致しないレコードを処理する方法と、このデータを管理および分析するための戦略について説明します。また、半構造化された JSON データを取り込んでフラット化するための手法についても説明します

続いて、Lakeflow Connect 管理されたコネクタを使用してエンタープライズグレードのデータ取り込みを実行し、データベースやサービスとしてのソフトウェア (SaaS) アプリケーションからデータを取り込む方法について説明します。また、このコースでは、パートナーツールをインジェストワークフローに統合するためのオプションとして Partner Connect も紹介しています

最後に、このコースの最後には、MERGE INTO 操作や Databricks Marketplace の活用など、代替の取り込み戦略を紹介し、最新のデータエンジニアリングのユースケースをサポートするための強力な基盤を身に付けます。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

- Databricks Data Intelligence Platform、Databricks Workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog の基本的な理解。

- さまざまなファイル形式（Parquet、CSV、JSON、TXT など）での作業経験。

- SQL と Python の習熟度。

- Databricks Notebooks でのコードの実行に関する知識。

Outline

Databricksにおけるデータエンジニアリング入門

- Databricksにおけるデータエンジニアリング

- Lakeflow Connectとは何か?

- Delta Lakeのレビュー

- ラボ環境の探索

クラウドストレージからのデータ取り込み（LakeFlow Connect標準コネクタを使用）

- クラウドストレージからのデータ取り込みの概要

- 取り込み時にメタデータ列の追加

- 救済データ列の取り扱い

- 半構造化データ（JSON）の取り込み

LakeFlow Connect マネージドコネクタを使用したエンタープライズデータ取り込み

- Databricks へのエンタープライズデータ取り込みの概要

- Lakeflow Connect を使用したエンタープライズデータ取り込み

取り込みの代替方法

- Databricks マーケットプレイスを使用したデータ取り込み

- 既存の Delta テーブルへの取り込み

- MERGE INTO を使用したデータ取り込み

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Analyst

Data Warehousing with Databricks - Japanese

このコースは、Databricksのデータウェアハウジング機能を探索したいデータ専門家向けに設計されています。 Databricksに関する予備知識がないと仮定して、最新のクラウドベースのデータウェアハウジングソリューションとしてDatabricksを活用する方法を紹介します。学習者は、業界標準の TCP-DI データセットを参考にして、Databricks Data Intelligence Platform を使用してデータを効率的に取り込み、変換、管理、分析する方法を探ります。学習者は、自然言語クエリによるデータ探索を簡素化する革新的な Databricks 機能である Genie についても学習します。このコースを修了すると、受講者は Databricks を使用してデータウェアハウスを実装および最適化するための基本的なスキルを身に付けることができます。

Languages Available: English | 日本語 | Português BR | 한국어

Machine Learning Practitioner

Machine Learning Model Deployment - Japanese

このコースは、3つの主要な機械学習展開戦略を紹介し、Databricksでの各戦略の実装を説明するように設計されています。このコースでは、モデル展開の基礎を探った後、バッチ推論について掘り下げ、バッチ推論シナリオでモデルを利用するための実践的なデモンストレーションとラボを提供し、パフォーマンスの最適化に関する考慮事項を提供します。コースの第 2 部ではパイプライン展開を包括的にカバーし、最後の部分ではリアルタイム展開に焦点を当てます。参加者は、実践的なデモンストレーションとラボに参加し、Model Serving でモデルを展開し、リアルタイム推論のためにサービングendpointを利用します。

Languages Available: English | 日本語 | Português BR | 한국어

Data Engineering with Databricks - Japanese

これは、Databricksを用いたデータエンジニアリングを学ぶための適切な入門コースです。

以下に、本コースに含まれる4つの4時間モジュールについてそれぞれ説明します。

1. Lakeflow Connectによるデータ取り込み

このコースでは、多様なデータソースからDatabricksへデータを取り込むためのスケーラブルかつ簡素化されたソリューションとして、Lakeflow Connectの包括的な導入を提供します。まずLakeflow Connect内の各種コネクタ（標準コネクタとマネージドコネクタ）について学び、バッチ処理、増分バッチ処理、ストリーミング処理といった様々なデータ取り込み手法を理解します。その後、Deltaテーブルとメダリオンアーキテクチャの主な利点について確認します。

そこから、Lakeflow Connect スタンダード・コネクタを使用してクラウド・オブジェクト・ストレージからデータを効率的に取り込む実践的なスキルを習得します。具体的には、CREATE TABLE AS (CTAS)、COPY INTO、Auto loaderなどの手法と、各アプローチの利点および考慮事項について学びます。次に、Databricks data intelligence platformへの取り込み時に、ブロンズレベルテーブルにメタデータ列を追加する方法を学びます。続いて、ブロンズテーブルのスキーマに一致しないレコードを扱う「レスキューデータ列」の操作について、このレスキューデータの管理戦略を含めて学習します。

本コースでは、半構造化JSONデータの取り込みと平坦化技術に加え、Lakeflow Connectマネージドコネクタを用いたエンタープライズグレードのデータ取り込み手法についても紹介します。

最後に、学習者は代替データ取り込み戦略（MERGE INTO操作やDatabricks Marketplaceの活用を含む）を探求し、現代的なデータエンジニアリングの取り込みを支える基礎知識を身につけます。

2. Lakeflowジョブによるワークロードのデプロイ

Lakeflow ジョブを駆使したワークロードのデプロイコースでは、Lakeflow ジョブを用いたデータ、アナリティクス、AI ワークフローのオーケストレーションと自動化手法を学びます。柔軟なスケジューリング、高度なオーケストレーション、信頼性と効率性を高めるベストプラクティスを駆使し、Databricks Data intelligence Platformにネイティブ統合された堅牢で本番環境対応のパイプライン構築技術を習得します。Databricks、Python、SQL の事前知識が推奨されます。

3. Lakeflow Declarative Pipelinesでデータパイプラインを構築する

このコースでは、DatabricksのLakeflow Declarative Pipelinesを使用して、増分バッチまたはストリーミングの取り込みと処理を複数のストリーミングテーブルおよびマテリアライズドビューを通じて行うためのデータパイプライン構築に必要な基本概念とスキルを紹介します。Lakeflow Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントについて包括的な概要を提供し、それぞれの具体的な目的と違いを強調します。

取り上げるトピックには以下が含まれます：

⇾ Lakeflowのマルチファイルエディターを使用したSQLによるETLパイプラインの開発とデバッグ（Pythonコード例付き）

⇾ Lakeflow Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

⇾ パイプラインのコンピューティングリソース、データ資産、トリガーモード、その他の高度なオプションの設定

次に、本コースではLakeflowにおけるデータ品質の期待値を紹介し、パイプラインに期待値を統合してデータ整合性を検証・強制するプロセスをユーザーにガイドします。学習者はその後、パイプラインを本番環境に展開する方法を探求します。これには、スケジューリングオプション、本番モード、パイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化が含まれます。

最後に、本コースでは、Lakeflow Declarative Pipelines内でAPPLY CHANGES INTO構文を使用してチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法について解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

4. Unity Catalogによるデータ管理とガバナンス

このコースでは、Databricks Unity Catalogを使用したデータ管理とガバナンスについて学びます。データガバナンスの基礎概念、データレイク管理の複雑性、Unity Catalogのアーキテクチャ、セキュリティ、管理、および詳細なアクセス制御、データ分離、権限管理などの高度なトピックを網羅します。

* 本コースは、アソシエイトデータエンジニア認定試験の合格を目指す学生の準備を支援し、Databricks を使用した上級データエンジニアリングコースを受講するために必要な知識を提供します。

Languages Available: English | 日本語 | Português BR | 한국어 | Español