メインコンテンツへジャンプ

Data Preparation for Machine Learning - Japanese

このコースでは、Databricks上での従来の機械学習に向けたデータ準備の基礎を学びます。受講者は、Unity Catalogで管理されるDeltaテーブルにデータを読み込み、ノートブック、組み込みの可視化ツール、およびGenie Codeを使って探索します。次に、クリーンデータの作成、欠損値や外れ値の処理、データリークのないデータの分割とサンプリングを行い、補完・エンコーディング・標準化のための再現可能なSpark 機械学習パイプラインを構築します。最後に、Unity Catalogの特徴量エンジニアリングを使用して機能を保存、管理、再利用します。これには、リークのないトレーニングセットのためのポイントインタイムルックアップと、Lakebaseを基盤とするOnline Feature Storeを使ったオンライン特徴量サービングの概要が含まれます。各モジュールは、講義とハンズオンデモ、およびサーバーレスコンピュート上で実行するラボを組み合わせた構成になっています。モデルのトレーニング、サービング、およびモニタリングはこのコースの対象外であり、それらはMachine Learning Model DevelopmentおよびMachine Learning Model Deploymentコースで学習します。このコースは、Databricks上でのデータ準備に関する確固たる基礎を身につけたいと考えるアソシエイトレベルのデータサイエンティストおよび機械学習実践者を対象としています。


注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites

このコースでは、以下のスキル、知識、能力を持つ受講者を対象にコンテンツが開発されています:

• Databricks の基礎知識。「Get Started with Databricks for Machine Learning」の修了、または同等の経験。

      - 受講者はワークスペースのナビゲート、ノートブックの作成と実行、サーバーレス コンピュートを含むコンピュートへのノートブックの接続ができる必要があります。また、Databricks における基本的な機械学習ワークフローを理解していることも必要です。

• 中級レベルの Python。

      - 受講者はデータ操作のための Python を問題なく記述できる必要があります。Pandas の使用経験があると役立ちます。本コースでは分散処理にすべて Spark DataFrames と Spark ML を使用するため、PySpark DataFrames の基本的な知識があると望ましいですが、必須ではありません。

• 基本的な SQL。

      - 受講者は単純な SELECT、CREATE TABLE、および GRANT 文を読み書きできる必要があります。複数のデモおよびラボで SQL セルを使用します。

• 機械学習の基礎知識。

      - 受講者は特徴量とラベル、トレーニング・検証・テストセット、およびデータリーケージの概念に精通している必要があります。モデルのトレーニング自体は本コースでは扱いません。

• データ形式と Lakehouse の概念。

      - 受講者は CSV、JSON、Parquet などの一般的なフォーマットに精通し、Delta Lake および Lakehouse アーキテクチャの基礎知識を持っている必要があります。

• 探索的データ解析と基本的な統計。

      - 受講者は分布、平均、中央値、標準偏差、欠損値、外れ値、およびデータ品質の評価に使用する基本的なグラフを理解している必要があります。

Outline

データの管理と探索

• データの管理と探索

• デモ: データの読み込みと探索

• ラボ: データの読み込みと探索


データ準備と特徴量エンジニアリング

• 特徴量エンジニアリングとデータ準備の基礎

• データの補完

• データエンコーディング

• データの標準化

• デモ: データの補完と変換パイプライン

• デモ: 埋め込みを使用した特徴量エンジニアリングパイプラインの構築

• ラボ: 特徴量エンジニアリングパイプラインの構築


Feature Store

• Feature Store の概要

• デモ: Feature Store を使用した特徴量エンジニアリング

• ラボ: 特徴量エンジニアリング(Feature Store使用)

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

AI Engineer

Agent Evaluation on Databricks - Japanese

このコースでは、従来のソフトウェアテストでは対応できない非決定論的なAIシステム固有の課題に取り組みながら、MLflowの評価Frameworkを使用してAIエージェントを体系的に評価する方法を学びます。受講者は、Unity Catalogに登録され、Unity Gatewayを通じてモデルを呼び出す共有ツール呼び出しエージェントを評価します。その際、正確性や安全性などの一般的な基準には組み込みジャッジを、ビジネス固有の要件にはガイドラインジャッジを、専門的なニーズにはカスタムジャッジを使用します。コースでは、厳選されたデータセットを使用したオフライン評価と、Unity CatalogへのMLflow Tracesの保存を含むオンライン本番運用モニタリングの両方を取り上げます。受講者はMLflow Tracingを使用してエージェントの実行パターンを把握し、開発者およびDatabricks Appを通じてエージェントをレビューする専門家から人間のフィードバックを収集します。実践的なデモとラボを通じて、AIエージェント開発ライフサイクル全体にわたって継続的な品質向上を促進する評価Workflowsを作成するスキルを習得します。

注意:Databricks Academyでは、Databricks環境内でのクラスルームセッションをノートブックベースのフォーマットに移行しており、スライドデッキを用いた講義は廃止されます。講義用ノートブックには、Vocareumラボ環境からアクセスできます。

Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Paid
4h
Lab
instructor-led
Associate
Data Engineer

Databricks Performance Optimization - Japanese

Databricks Performance Optimizationは、データエンジニアおよびアナリストを対象に、Databricks Data Intelligence Platform上でパフォーマンスのボトルネックを診断・測定・解消する方法と、パフォーマンス改善をコストに結びつける方法を学ぶコースです。本コースは、測定優先・プラットフォーム優先のワークフローに従って進みます。まずプラットフォームの自動最適化機能に重要な処理を任せ、Query ProfileおよびSystemテーブルを使用して適用内容を確認した後、必要に応じて手動でチューニングを行います。

受講者は、Query Profile、Performance Insights、およびクエリー履歴のSystemテーブルを活用してパフォーマンスを測定するための基礎を習得します。その後、データのレイアウトとセルフチューニングマネージドテーブル、リキッドクラスタリング、キャッシングと中間結果、シャッフル、スキュー、スピル、行の爆発的増加、ドライバーのパフォーマンス、Python UDF、サーバーレスコンピュート、Photon、コスト配分など、主要な最適化テクニックを探索します。

コース全体を通じて、受講者は合成小売データに対して意図的に低速化されたクエリーを探索し、さまざまな最適化テクニックがパフォーマンスに与える影響を確認します。ファイルのプルーニング、タスクの実行時間、Photonのカバレッジ、コストなどのエビデンスを活用して改善効果を評価します。シナリオベースの2つのラボでは、診断からバリデーションまでの最適化ワークフローを実践的に強化します。

注: Databricks Academy では、Databricks 環境内で実施するクラスルームセッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義ノートブックには、Vocareum ラボ環境からアクセスできます。Languages Available: English | 日本語 | Português BR | 한국어 | Français | Español | 普通话

Paid
4h
Lab
instructor-led
Professional

Advanced Machine Learning with Databricks - Japanese

このコースはデータサイエンティストおよび機械学習の実務者を対象としており、4時間のモジュールが2つで構成されています。

Machine Learning at Scale

このコースでは、Apache Spark のアーキテクチャと、Databricks における機械学習ワークロードへの応用について、理論的および実践的な知識を習得します。データ準備、モデルのトレーニング、およびデプロイメントに Spark を活用するタイミングを学ぶとともに、Spark ML および pandas APIs on Spark を使った実践的な経験を積みます。また、ハイパーパラメータチューニングや Spark を用いた Optuna のスケーリングといった高度な概念についても学習します。さらに、包括的なモデルのパッケージングとガバナンスのために、アソシエイトコースで紹介された MLflow や Unity Catalog などの機能および概念を活用します。

Advanced Machine Learning Operations

このコースでは、機械学習ライフサイクルと MLOps に関する包括的な理解を提供し、データおよびモデル管理、テスト、スケーラブルなアーキテクチャのベストプラクティスを重点的に取り上げます。CI/CD、パイプライン管理、環境の分離などの主要な MLOps コンポーネントを網羅しながら、Declarative Automation Bundles (DABs)、Lakeflow ジョブ、Model Serving など、自動化およびインフラ管理のための Databricks のツールを紹介します。モニタリング、カスタムメトリクス、ドリフト検出、モデルロールアウト戦略、A/B テスト、および信頼性の高い MLOps システムの原則について学び、Databricks における機械学習プロジェクトの実装と管理を総合的なビューで理解できるようになります。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。

Paid
8h
Lab
instructor-led
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.