メインコンテンツへジャンプ

Data Preparation for Machine Learning - Japanese

本コースでは、Databricks を使用した機械学習のためのデータ準備の基礎に焦点を当てます。受講者は、従来の機械学習アプリケーション向けにデータを探索、クリーニング、整理するための必須スキルを習得します。主なトピックには、データ可視化、特徴量エンジニアリング、および最適な特徴量保存戦略が含まれます。実践的な演習を通じて、参加者はDatabricks環境内で機械学習用のデータセットを効率的に準備する実践的な経験を積むことができます。本コースは、アソシエイトレベルのデータサイエンティストや機械学習の実務者、およびデータ準備のスキルを向上させ、機械学習モデルの導入を成功させるための強固な基盤を築きたいと考えている方を対象としています。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

このコースの内容は、以下のスキル/知識/能力を持つ参加者を対象として開発されました。

• 「Databricks による機械学習入門(オンボーディング)」コースを修了しているか、Databricks 環境での作業に関する同等の基礎知識を有していること。

    - 受講者は、Databricks Workspaceの操作、ノートブックの作成と実行、および Databricks における機械学習の基本的なワークフローについて理解している必要があります。本コースでは、その基礎知識を土台として、機械学習のためのデータ準備に焦点を当てます。

• データの前処理および分析を行うための、Pythonプログラミングの中級レベルのスキル。

    - 学習者は、データの操作、欠損値の処理、および基本的な特徴量の変換を行うために、pandas、numpy、scikit-learn などのライブラリを自在に扱えるようになっておく必要があります。

• 機械学習の基礎に関する基本的な理解。

    - これには、トレーニングデータセットやテストデータセット、特徴量エンジニアリング、モデル開発パイプラインといった概念への理解が含まれます。

• Databricks Platformのworkflowsに精通していること。

    - 学習者は、クラスタの作成、ノートブックでのコードの実行、およびノートブックの一般的な操作といった基本的なタスクを実行できるようになる必要があります。

• データフォーマットとレイクハウスに関する基礎知識。

    - 受講者は、CSV、JSON、Parquet などの一般的なデータ形式に精通しており、Delta Lake および Lakehouse アーキテクチャに関する基礎知識を有している必要があります。

• 探索的データ分析および基礎統計学に関する基礎的な理解。

    - これには、データの分布、欠損値、外れ値に関する理解、およびデータ品質を評価するために用いられる簡単なデータ可視化手法が含まれます。

Outline

データの管理と探索

• Lakehouse におけるデータの管理と探索

• デモ:データの読み込みと探索

• 実習:データの読み込みと探索


データ準備と特徴量エンジニアリング

• データ準備と特徴量エンジニアリングの基礎

• データの補完

• データのエンコーディング

• データの標準化

• デモ:データの補完と変換パイプライン

• デモ:特徴量エンジニアリングパイプラインの構築

• ラボ:特徴量エンジニアリングパイプラインの構築


Feature Store

• デモ:特徴量エンジニアリングにおけるFeature Storeの活用

• ラボ:Feature Storeを使用した特徴量エンジニアリング

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
May 15
09 AM - 01 PM (Asia/Tokyo)
-
Japanese
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Data Ingestion with Lakeflow Connect - Japanese

このコースでは、さまざまなソースから Databricks にデータを取り込むためのスケーラブルでシンプルなソリューションである Lakeflow Connect を包括的に紹介します。まず、さまざまなタイプの Lakeflow Connect コネクタ (標準およびマネージド) を探索し、バッチ、増分バッチ、ストリーミング取り込みなど、さまざまなデータ取り込み手法について学習します。また、Delta テーブルとメダリオン アーキテクチャを使用する主な利点についても説明します

次に、Lakeflow Connect 標準コネクタを使用してクラウドオブジェクトストレージからデータを取り込むための実践的なスキルを身に付けます。これには、CREATE TABLE AS SELECT (CTAS)、COPY INTO、Auto Loader などの方法の操作が含まれ、各アプローチの利点と考慮事項に重点が置かれています。また、Databricks Data Intelligence Platform への取り込み中にブロンズレベルのテーブルにメタデータ列を追加する方法についても説明します。次に、このコースでは、復旧されたデータ列を使用してテーブル スキーマと一致しないレコードを処理する方法と、このデータを管理および分析するための戦略について説明します。また、半構造化された JSON データを取り込んでフラット化するための手法についても説明します

続いて、Lakeflow Connect 管理されたコネクタ を使用してエンタープライズグレードのデータ取り込みを実行し、データベースやサービスとしてのソフトウェア (SaaS) アプリケーションからデータを取り込む方法について説明します。また、このコースでは、パートナー ツールをインジェスト ワークフローに統合するためのオプションとして Partner Connect も紹介しています

最後に、このコースの最後には、MERGE INTO 操作や Databricks Marketplace の活用など、代替の取り込み戦略を紹介し、最新のデータエンジニアリングのユースケースをサポートするための強力な基盤を身に付けます。

Languages Available: English | 日本語 | Português BR | 한국어

Paid
4h
Lab
instructor-led
Associate
Data Engineer

Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow Spark Declarative Pipelinesを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。 このコースは、Lakeflow Spark Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します

取り上げるトピックは次のとおりです:

- SQLを使用したSpark Declarative PipelinesにおけるマルチファイルエディタによるETLパイプラインの開発とデバッグ(Pythonコード例付き)

- Spark Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

- パイプライン コンピュート リソース、データ アセット、トリガー モード、およびその他の詳細オプションの構成

次に、本コースではSpark Declarative Pipelinesにおけるデータ品質の期待値について紹介し、データ整合性を検証・強制するために期待値をパイプラインに統合するプロセスをユーザーにガイドします。学習者はその後、スケジューリングオプションを含むパイプラインの本番環境への導入方法、およびパイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化方法について探求します。

最後に、本コースではSpark Declarative Pipelines内でAUTO CDC INTO構文を用いてチェンジデータキャプチャ(CDC)を実装し、slowly changing dimensions(SCDタイプ1およびタイプ2)を管理する方法を解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

Paid
4h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.