メインコンテンツへジャンプ

Data Ingestion with Lakeflow Connect - Japanese

このコースでは、さまざまなソースから Databricks にデータを取り込むためのスケーラブルでシンプルなソリューションである Lakeflow Connect を包括的に紹介します。まず、さまざまなタイプの Lakeflow Connect コネクタ (標準およびマネージド) を探索し、バッチ、増分バッチ、ストリーミング取り込みなど、さまざまなデータ取り込み手法について学習します。また、Delta テーブルとメダリオン アーキテクチャを使用する主な利点についても説明します


次に、Lakeflow Connect 標準コネクタを使用してクラウドオブジェクトストレージからデータを取り込むための実践的なスキルを身に付けます。これには、CREATE TABLE AS SELECT (CTAS)、COPY INTO、Auto Loader などの方法の操作が含まれ、各アプローチの利点と考慮事項に重点が置かれています。また、Databricks Data Intelligence Platform への取り込み中にブロンズレベルのテーブルにメタデータ列を追加する方法についても説明します。次に、このコースでは、復旧されたデータ列を使用してテーブル スキーマと一致しないレコードを処理する方法と、このデータを管理および分析するための戦略について説明します。また、半構造化された JSON データを取り込んでフラット化するための手法についても説明します


続いて、Lakeflow Connect 管理されたコネクタ を使用してエンタープライズグレードのデータ取り込みを実行し、データベースやサービスとしてのソフトウェア (SaaS) アプリケーションからデータを取り込む方法について説明します。また、このコースでは、パートナー ツールをインジェスト ワークフローに統合するためのオプションとして Partner Connect も紹介しています


最後に、このコースの最後には、MERGE INTO 操作や Databricks Marketplace の活用など、代替の取り込み戦略を紹介し、最新のデータエンジニアリングのユースケースをサポートするための強力な基盤を身に付けます。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

- Databricks Data Intelligence Platform、Databricks Workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog の基本的な理解。

- さまざまなファイル形式(Parquet、CSV、JSON、TXT など)での作業経験。

- SQL と Python の習熟度。

- Databricks Notebooks でのコードの実行に関する知識。

Outline

  • Databricksにおけるデータエンジニアリング入門

- Databricksにおけるデータエンジニアリング

- Lakeflow Connectとは何か?

- Delta Lakeのレビュー

- ラボ環境の探索


  • クラウドストレージからのデータ取り込み(LakeFlow Connect標準コネクタを使用)

- クラウドストレージからのデータ取り込みの概要

- 取り込み時にメタデータ列の追加

- 救済データ列の取り扱い

- 半構造化データ(JSON)の取り込み


  • LakeFlow Connect マネージド コネクタを使用したエンタープライズ データ取り込み

- Databricks へのエンタープライズ データ取り込みの概要

- Lakeflow Connect を使用したエンタープライズ データ取り込み


  • 取り込みの代替方法

- Databricks マーケットプレイスを使用したデータ取り込み

- 既存の Delta テーブルへの取り込み

- MERGE INTO を使用したデータ取り込み

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Jul 30
01 PM - 05 PM (Asia/Tokyo)
-
Japanese
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Japanese

このコースは、最新かつ最も一般的なフレームワークとDatabricksの機能を使用してGenerative AIアプリケーションを構築したいデータサイエンティスト、機械学習エンジニア、その他のデータ実務家を対象としています。

注記:Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、最初の3つのモジュールおける講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

以下では、このコースに含まれる4つのモジュール(4時間)について説明します。

Building Retrieval Agents On Databricks: 

本コースでは、Databricks Data Intelligence Platform 上での検索エージェント構築に関する実践的なトレーニングを提供します。参加者は、非構造化文書を構造化データに解析する方法、検索workflows向けにコンテンツを変換・チャンク化する方法、文書検索のためのvector searchソリューションの構築方法、MLflow および Agent Bricks を使用した本番環境対応エージェントの開発方法を学びます。コースでは、文書処理から埋め込み生成、vector インデックス作成、ガバナンス機能を備えたエージェントデプロイメントに至るまでの、エージェントのライフサイクル全体を網羅します。

Building Single-Agent Applications on Databricks:

本コースでは、Databricks Data Intelligence Platform上で単一エージェントアプリケーションを構築するための実践的なトレーニングを提供します。受講者は、Unity Catalogの機能をツールとして活用するAIエージェントの作成、MLflowによる包括的なトレースとモニタリングの実装、LangChainのような従来型frameworksとAgent Bricksのような最新ソリューションの両方を使用したエージェントのデプロイ方法を学びます。コースでは、AI Playgroundでの初期ツール作成とテストから、ガバナンス、評価、継続的改善機能を備えた本番環境へのデプロイまで、エージェントのライフサイクル全体を網羅します。

Agent Evaluation on Databricks:

このコースでは、MLflow の評価frameworkを使用して AI エージェントを体系的に評価する方法を学び、従来のソフトウェア テストでは対処できない非決定論的 AI システム固有の課題に対処します。 学生は、正確性や安全性などの一般的な基準のための組み込みのジャッジ、ビジネス固有の要件のためのガイドラインのジャッジ、特殊なニーズのためのカスタムジャッジなど、さまざまな評価アプローチを実装する方法を学びます。 このコースでは、キュレーションされたデータセットを使用したオフライン評価とオンラインの本番モニタリングの両方をカバーし、MLflow のトレース機能を使用してエージェントの実行パターンを理解し、さまざまなタイプの関係者から人間によるフィードバックを収集する実践的な経験を積むことができます。 実践的なデモンストレーションとラボを通じて、受講者はAIエージェント開発ライフサイクル全体を通じて継続的な品質改善を推進する評価workflowsを作成するスキルを身に付けます。

Generative AI Application Deployment and Monitoring:

ジェネレーティブAIアプリケーションの展開、運用、監視の方法を学ぶ準備はできていますか?このモジュールでは、Model Servingのようなツールを使用したジェネレーティブAIアプリケーションのデプロイのスキルを習得します。また、ベストプラクティスと推奨されるアーキテクチャに従ってGenerative AIアプリケーションを運用する方法についても説明します。最後に、Lakehouse Monitoringを使用してジェネレーティブAIアプリケーションとそのコンポーネントを監視する方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.