Machine Learning Model Development - Japanese

この包括的なコースでは、Databricks で従来の機械学習モデルを開発するための実践的なガイドを提供し、一般的な ML ライブラリを使用した実践的なデモンストレーションとワークフローに重点を置いています。参加者は、Databricks の強力な機能を活用しながら、回帰やクラスタリングなどの主要な機械学習手法を学習します。このコースでは、モデル追跡のためのMLflow統合、機能管理のためのDatabricks Feature Store、ハイパーパラメーター調整のためのOptunaについて説明します。さらに、参加者は、自然言語、MCP 接続、指示、スキルを使用して機械学習ライフサイクル全体をガイドする Databricks の AI 搭載コーディングアシスタントである Genie Code を使用して、モデル開発を加速する方法を学びます。このコースを修了すると、学習者は Databricks 環境で機械学習モデルを効率的に開発、最適化、デプロイするための実践的なスキルを身に付けることができます。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

このコンテンツを受講する前に、少なくとも次のことに関する知識が必要です。:

• Databricks Data Intelligence Platform およびワークスペースの基本操作（クラスターの作成、ノートブックでのコード実行、ノートブックの基本操作、Gitからのリポジトリインポート）に精通していること

• Pythonによる中級レベルのプログラミング経験（データ操作ライブラリ（pandas、numpy）やAPI（databricks-sdk、RESTエンドポイント）の活用を含む）

• 実験の追跡、モデルのロギング、モデルレジストリの操作、モデルのバージョン管理に関するMLflowの基礎知識

• モデルのトレーニング、評価、バッチ推論、リアルタイムデプロイメントの概念を含む、機械学習の基礎知識

• データガバナンスおよびモデルレジストリ管理のためのUnity Catalogの中級レベルの経験

• フィーチャーテーブル、フィーチャールックアップ、オフライン／オンラインのfeature storesを含む、フィーチャーエンジニアリングの概念に関する基本的な知識

• Delta Lakeの操作（テーブルの作成、更新の実行、ファイルの最適化、リキッドクラスタリング）およびデータストレージの最適化手法に関する理解

• 分散データ処理およびユーザー定義関数（UDF）のためのApache SparkおよびPySparkに関する基礎知識

Outline

モデル開発ワークフロー

• モデル開発と MLflow

• モデルのパフォーマンスの評価

ハイパーパラメーターのチューニング

• ハイパーパラメーターチューニングの基礎

• Optunaによるハイパーパラメータ調整

エージェンティック機械学習

• Genie Codeの紹介

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Customer registration Partner registration

Private Class Request

If your company is interested in private training, please submit a request.

Request Private Training

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Building ETL Pipelines with SQL - Japanese

このコースでは、Databricks Data Intelligence Platform で純粋な SQL を使用して、本番運用に対応した ETL パイプラインを構築する方法を学びます。受講者は、増分インジェストのための Auto Loader を使用したストリーミングテーブル、Silver-to-Gold 変換のための増分更新を伴うマテリアライズドビュー、宣言型 SCD タイプ 1 およびタイプ 2 ディメンション管理のための AUTO CDC (FLOW AUTO CDC)、および本番オーケストレーションのための SQL ファイルタスクを使用した Lakeflow ジョブについて学習します。このコースでは、メダリオンアーキテクチャ(ブロンズ → シルバー → ゴールド)を通じて、現実的な小売データセットに従います。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

Build Data Pipelines with Lakeflow Spark Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow Spark Declarative Pipelinesを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。このコースは、Lakeflow Spark Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します

取り上げるトピックは次のとおりです:

- SQLを使用したSpark Declarative PipelinesにおけるマルチファイルエディタによるETLパイプラインの開発とデバッグ（Pythonコード例付き）

- Spark Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

- パイプラインコンピュートリソース、データアセット、トリガーモード、およびその他の詳細オプションの構成

次に、本コースではSpark Declarative Pipelinesにおけるデータ品質の期待値について紹介し、データ整合性を検証・強制するために期待値をパイプラインに統合するプロセスをユーザーにガイドします。学習者はその後、スケジューリングオプションを含むパイプラインの本番環境への導入方法、およびパイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化方法について探求します。

最後に、本コースではSpark Declarative Pipelines内でAUTO CDC INTO構文を用いてチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法を解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

Advanced Data Engineering with Databricks - Japanese

このコースは、Databricksを使った高度なデータエンジニアリングを学ぶための適切な入り口となります。以下では、このコースに含まれる4つの4時間の各モジュールについて説明します。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、最初のモジュールにおける講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

Advanced Techniques with Spark Declarative Pipelines

本コースでは、本番環境向けのストリーミングパイプラインを構築するための、DatabricksのLakeflow Spark Declarative Pipelines（SDP）について解説します。実世界のlakehouseエンジニアリングに不可欠な、高度な設計パターン、堅牢なデータ品質管理、およびクロスプラットフォーム統合について学びます。

コース全体を通じて、最新のデータ取り込みおよび処理技術について深く掘り下げ、レイアウト最適化のためのリキッドクラスタリングや、混合スキーマのイベントに対応するマルチプレックス・ストリーミング・パターンなどのツールを習得します。各モジュールを修了する頃には、スキーマの進化に自信を持って対応し、チェンジデータキャプチャ（CDC）を自動化し、データの整合性を確保する方法が理解できるようになります。

講義と実践的なデモを通じて、以下のことを学びます：

• マルチソースのデータを統一されたブロンズテーブルに取り込むためのマルチフローパイプラインを構築する。

• シルバー層およびゴールド層全体にリキッドクラスタリングとデータ品質の期待値を適用する。

• クロスプラットフォームのデータアクセスを実現するために、Iceberg UniForm を使用したマルチプレックスパターンを実装する。

• AUTO CDC INTO を使用して、SCD タイプ 2 の履歴追跡を自動化する。

• 無効なレコードを監査および管理するための、データ損失ゼロの隔離パイプラインを設計する。

Databricks Data Privacy

このコンテンツは、Databricks内でのデータプライバシー管理に関する包括的なガイドを提供します。Delta Lakeアーキテクチャ、リージョナルデータ分離、GDPR/CCPAコンプライアンス、チェンジデータフィード（CDF）の使用といった主要トピックを網羅しています。実践的なデモとハンズオンラボを通じて、参加者は機密データの保護とコンプライアンス確保のためのUnity Catalog機能の使用方法を学び、データ整合性を効果的に保護する能力を身につけます。

Databricks Performance Optimization

このコースでは、SparkとDelta Lakeを用いたワークロードと物理レイアウトの最適化手法、およびSpark UIの分析によるパフォーマンス評価とアプリケーションのデバッグ方法を学びます。ストリーミング、流動的クラスタリング、データスキップ、キャッシュ、Photonsなどのトピックを網羅します。

Automated Deployment with Declarative Automation Bundles

本コースでは、DevOpsの原則と、Databricks projectsへのその適用について包括的に解説します。まず、DevOps、DataOps、継続的インテグレーション（CI）、継続的デプロイメント（CD）、およびテストの概要から始まり、これらの原則をデータエンジニアリングパイプラインにどのように適用できるかを掘り下げます。

続いて、CI/CDプロセスにおける継続的デプロイメントに焦点を当て、プロジェクトのデプロイメントに利用できるDatabricks REST API、SDK、CLIなどのツールについて解説します。Declarative Automation Bundles（DAB）について、またそれらがCI/CDプロセスにどのように組み込まれるかを学びます。DABの主要な構成要素やフォルダ構造、そしてDatabricks内のさまざまなターゲット環境へのデプロイをどのように効率化するかを詳しく掘り下げます。また、Databricks CLIを使用して、異なる構成を持つ複数の環境向けに、変数の追加、修正、検証、デプロイ、およびDeclarative Automation Bundlesの実行を行う方法についても学びます。

最後に、本コースでは、Declarative Automation Bundleをローカルでビルド、テスト、デプロイするためのインタラクティブ開発環境（IDE）としてVisual Studio Codeを紹介し、開発プロセスの最適化を図ります。コースの最後には、GitHub Actionsを使用したデプロイパイプラインの自動化について解説し、Declarative Automation Bundleを活用したCI/CDワークフローの強化について紹介します。

このコースを修了する頃には、Declarative Automation Bundles を使用して Databricks projectのデプロイを自動化できるようになり、DevOps の実践を通じて効率を向上させることができるようになります

Languages Available: English | 日本語 | Português BR | 한국어