Data Ingestion with Lakeflow Connect - Japanese

このコースでは、幅広いソースからDatabricksへデータを取り込むためのスケーラブルかつシンプルなソリューションであるLakeFlow Connectについて、包括的な入門知識を提供します。まず、LakeFlow Connectのさまざまなコネクタの種類（StandardおよびManaged）を探索し、バッチ、インクリメンタルバッチ、ストリーミングによるデータ取り込みなど、各種データ取り込み手法を学びます。また、Delta テーブルとメダリオンアーキテクチャを使用する主なメリットについても確認します。

次に、LakeFlow Connect Standard Connectorを使用してクラウドオブジェクトストレージからデータを取り込む実践的なスキルを習得します。具体的には、CREATE TABLE AS SELECT（CTAS）、COPY INTO、Auto Loaderといった手法を取り上げ、それぞれのアプローチのメリットと考慮事項を重点的に学びます。また、Databricks Data Intelligence Platformへの取り込み時に、ブロンズレベルのテーブルにメタデータ列を追加する方法についても学習します。続いて、テーブルスキーマに一致しないレコードをrescued dataカラムを使って処理する方法と、そのデータを管理・分析するための戦略を取り上げます。さらに、半構造化されたJSONデータの取り込みとフラット化の手法についても探索します。

その後、LakeFlow Connect Managed Connectorを使用して、データベースやSaaSアプリケーションからエンタープライズグレードのデータ取り込みを実行する方法を探索します。また、Partner Connectを取り込みワークロードにパートナーツールを統合するオプションとして紹介します。

最後に、MERGE INTO 操作やDatabricks Marketplaceの活用を含む代替の取り込み戦略を取り上げ、現代のデータエンジニアリングのユースケースをサポートするための強固な基盤を身に付けます。

注意：Databricks Academyでは、Databricks環境内での教室セッションにおいて、ノートブックベースの形式への移行を進めており、講義でのスライドデッキの使用を廃止しています。講義ノートブックはVocareumのラボ環境からアクセスできます。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

このコースの内容は、以下のスキル/知識/能力を持つ受講者を対象に開発されています：

• Databricks Data Intelligence Platform（Databricks Workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog を含む）の基本的な理解。

• データ取り込みワークフロー（バッチ、ストリーミング、インクリメンタル）および一般的な ETL の原則に関する基本的な理解。

• 各種ファイル形式（Parquet、CSV、JSON、TXT など）の取り扱い経験。

• SQL および Python の習熟度。

• Databricks ノートブックでのコード実行に関する知識。

Outline

データ取り込み（LakeFlow Connect）

• Databricks におけるデータエンジニアリング

• デモ: ラボ環境の探索

• クラウドストレージからのデータ取り込み

• デモ: CREATE TABLE AS と COPY INTO を使用したデータ取り込み

• デモ: Auto Loader を使用した SQL によるストリーミングテーブルの作成

• インジェスト時のメタデータ列の追加

• デモ: インジェスト中のメタデータ列の追加

• レスキューされたデータ列の操作

• デモ: Rescued Data Column を使用した CSV インジェストの処理

• ラボ: CSV ファイルからブロンズテーブルを作成する

• 半構造化データの取り込み: JSON

• デモ: DatabricksによるJSONファイルの取り込み

• ラボ: JSONファイルからブロンズテーブルの作成

• エンタープライズデータの取り込み概要

• デモ: LakeFlow Connect を使用したエンタープライズデータ取り込み

• 追加機能と既存の Delta テーブルへのデータ取り込み

• デモ: ボーナス - MERGE INTO を使用したデータ取り込み

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Jan 26	09 AM - 01 PM (Asia/Tokyo)	-	Japanese	$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Upcoming Public Classes

Date	Time	Your Local Time	Language	Price
Date	Time	Your Local Time	Language	Price	Jan 26	09 AM - 01 PM (Asia/Tokyo)	-	Japanese	$750.00

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Advanced Machine Learning with Databricks - Japanese

このコースはデータサイエンティストおよび機械学習の実務者を対象としており、4時間のモジュールが2つで構成されています。

Machine Learning at Scale

このコースでは、Apache Spark のアーキテクチャと、Databricks における機械学習ワークロードへの応用について、理論的および実践的な知識を習得します。データ準備、モデルのトレーニング、およびデプロイメントに Spark を活用するタイミングを学ぶとともに、Spark ML および pandas APIs on Spark を使った実践的な経験を積みます。また、ハイパーパラメータチューニングや Spark を用いた Optuna のスケーリングといった高度な概念についても学習します。さらに、包括的なモデルのパッケージングとガバナンスのために、アソシエイトコースで紹介された MLflow や Unity Catalog などの機能および概念を活用します。

Advanced Machine Learning Operations

このコースでは、機械学習ライフサイクルと MLOps に関する包括的な理解を提供し、データおよびモデル管理、テスト、スケーラブルなアーキテクチャのベストプラクティスを重点的に取り上げます。CI/CD、パイプライン管理、環境の分離などの主要な MLOps コンポーネントを網羅しながら、Declarative Automation Bundles (DABs)、Lakeflow ジョブ、Model Serving など、自動化およびインフラ管理のための Databricks のツールを紹介します。モニタリング、カスタムメトリクス、ドリフト検出、モデルロールアウト戦略、A/B テスト、および信頼性の高い MLOps システムの原則について学び、Databricks における機械学習プロジェクトの実装と管理を総合的なビューで理解できるようになります。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。