Data Ingestion with Lakeflow Connect - Japanese
このコースでは、さまざまなソースから Databricks にデータを取り込むためのスケーラブルでシンプルなソリューションである Lakeflow Connect を包括的に紹介します。まず、さまざまなタイプの Lakeflow Connect コネクタ (標準およびマネージド) を探索し、バッチ、増分バッチ、ストリーミング取り込みなど、さまざまなデータ取り込み手法について学習します。また、Delta テーブルとメダリオン アーキテクチャを使用する主な利点についても説明します
次に、Lakeflow Connect 標準コネクタを使用してクラウドオブジェクトストレージからデータを取り込むための実践的なスキルを身に付けます。これには、CREATE TABLE AS SELECT (CTAS)、COPY INTO、Auto Loader などの方法の操作が含まれ、各アプローチの利点と考慮事項に重点が置かれています。また、Databricks Data Intelligence Platform への取り込み中にブロンズレベルのテーブルにメタデータ列を追加する方法についても説明します。次に、このコースでは、復旧されたデータ列を使用してテーブル スキーマと一致しないレコードを処理する方法と、このデータを管理および分析するための戦略について説明します。また、半構造化された JSON データを取り込んでフラット化するための手法についても説明します
続いて、Lakeflow Connect 管理されたコネクタ を使用してエンタープライズグレードのデータ取り込みを実行し、データベースやサービスとしてのソフトウェア (SaaS) アプリケーションからデータを取り込む方法について説明します。また、このコースでは、パートナー ツールをインジェスト ワークフローに統合するためのオプションとして Partner Connect も紹介しています
最後に、このコースの最後には、MERGE INTO 操作や Databricks Marketplace の活用など、代替の取り込み戦略を紹介し、最新のデータエンジニアリングのユースケースをサポートするための強力な基盤を身に付けます。
Languages Available: English | 日本語 | Português BR | 한국어
- Databricks Data Intelligence Platform、Databricks Workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog の基本的な理解。
- さまざまなファイル形式（Parquet、CSV、JSON、TXT など）での作業経験。
- SQL と Python の習熟度。
- Databricks Notebooks でのコードの実行に関する知識。
Outline
- Databricksにおけるデータエンジニアリング入門
- Databricksにおけるデータエンジニアリング
- Lakeflow Connectとは何か?
- Delta Lakeのレビュー
- ラボ環境の探索
- クラウドストレージからのデータ取り込み（LakeFlow Connect標準コネクタを使用）
- クラウドストレージからのデータ取り込みの概要
- 取り込み時にメタデータ列の追加
- 救済データ列の取り扱い
- 半構造化データ（JSON）の取り込み
- LakeFlow Connect マネージド コネクタを使用したエンタープライズ データ取り込み
- Databricks へのエンタープライズ データ取り込みの概要
- Lakeflow Connect を使用したエンタープライズ データ取り込み
- 取り込みの代替方法
- Databricks マーケットプレイスを使用したデータ取り込み
- 既存の Delta テーブルへの取り込み
- MERGE INTO を使用したデータ取り込み
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
