メインコンテンツへジャンプ

Databricks Performance Optimization - Japanese

Databricks Performance Optimizationは、データエンジニアおよびアナリストを対象に、Databricks Data Intelligence Platform上でパフォーマンスのボトルネックを診断・測定・解消する方法と、パフォーマンス改善をコストに結びつける方法を学ぶコースです。本コースは、測定優先・プラットフォーム優先のワークフローに従って進みます。まずプラットフォームの自動最適化機能に重要な処理を任せ、Query ProfileおよびSystemテーブルを使用して適用内容を確認した後、必要に応じて手動でチューニングを行います。


受講者は、Query Profile、Performance Insights、およびクエリー履歴のSystemテーブルを活用してパフォーマンスを測定するための基礎を習得します。その後、データのレイアウトとセルフチューニングマネージドテーブル、リキッドクラスタリング、キャッシングと中間結果、シャッフル、スキュー、スピル、行の爆発的増加、ドライバーのパフォーマンス、Python UDF、サーバーレスコンピュート、Photon、コスト配分など、主要な最適化テクニックを探索します。


コース全体を通じて、受講者は合成小売データに対して意図的に低速化されたクエリーを探索し、さまざまな最適化テクニックがパフォーマンスに与える影響を確認します。ファイルのプルーニング、タスクの実行時間、Photonのカバレッジ、コストなどのエビデンスを活用して改善効果を評価します。シナリオベースの2つのラボでは、診断からバリデーションまでの最適化ワークフローを実践的に強化します。


注記:

1. このコースは「Advanced Data Engineering with Databricks」コースの一部です。

2. SCORM講義ファイルの場合、コンテンツを完了したらSCORMウィンドウを閉じてください。「Next Lesson」ボタンはクリックしないでください。クリックすると、SCORMモジュールが完了として記録されない場合があります。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
3h
Prerequisites

このコースの内容は、次のスキル/知識/能力を持つ参加者向けに開発されています。 

• Databricks ワークスペースのナビゲーションとノートブックの実行

• 結合や集計を含む中級レベルの SQL の記述

• DataFrame の変換処理とアクションを使用した PySpark の記述

• Delta Lake テーブルの操作と Unity Catalog の主要概念(カタログ、スキーマ、テーブル、マネージドテーブルを含む)

• パーティション、変換処理、遅延評価を含む Spark の主要な実行概念の理解

• ノートブックのワークロードをジョブとしてスケジュールおよび実行する方法を含む、Lakeflow Jobs の基本的な知識


Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Databricks Data Sharing & Collaboration - Japanese

このハンズオンコースでは、Databricks によるデータ共有のオープンプロトコルである OpenSharing(旧称 Delta Sharing)を使用して、データをコピーまたは移動することなく、ライブデータを安全に共有する方法を学びます。異なるリージョンにある 2 つの Databricks Workspace 環境で、プロバイダーおよびレシピエントの両方の立場から作業し、Databricks-to-Open(D2O)共有用のオープンクライアントも使用します。Databricks-to-Databricks(D2D)および D2O 共有の実装、オープンレシピエントの管理する、Change Data Feed(CDF)を使用した増分変更の読み取り、リージョナルレプリカによるエグレス回避のためのデータレプリケーション、動的ビューとパーティションフィルタリングを使用した各レシピエントへの専用データスライスの提供を行います。コースの最後では、データ共有のパフォーマンス、監査、およびコストに関する考慮事項を取り上げます。

注:SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

Free
3h
Associate
Data Engineer

Databricks Data Privacy - Japanese

Databricks データプライバシーでは、データエンジニアが Databricks Data Intelligence Platform 上で個人データを見つけ、保護し、削除し、説明責任を果たす方法を学びます。プライバシーを、Unity Catalog と Delta Lake 上に構築された技術的な判断とコントロールの集合として扱います。本コースではプライバシーをセキュリティ、ガバナンス、コンプライアンスから区別したうえで、識別・保護・管理・検証のライフサイクルと、学習者がすべての手法に適用する短い意思決定モデルで作業を整理します。

学習者はまず Data Classification で機密カラムを見つけ、ガバナンスされたタグで各カラムの扱いを記録します。タグ駆動の属性ベースアクセス制御(ABAC)ポリシーでそれらのカラムを保護し、中央ポリシーが適さない場合は手動のカラムマスクと行フィルターを使います。非識別化はさらに進み、ソルト付きハッシュ、別途ガバナンスされたボールトによるトークナイゼーション、カラム暗号化を扱い、ソルトとキーは Databricks Secrets に保持します。消去権については、リクエストを追跡し、分類とリネージで対象者のデータを見つけ、DELETE と MERGE で削除して変更を伝播し、その後 REORG TABLE ... APPLY (PURGE) と保持期間を考慮した VACUUM で基礎ファイルをパージします。最後に、リネージ、監査ログ、クエリ履歴、Delta テーブル履歴を組み合わせ、各コントロールが機能したことを示す証跡を構築します。

データはすべて合成データです。デモは 1 つの多国籍小売企業のデータ資産をライフサイクルに沿って追い、マスクされたクエリ結果、空の消去確認、テーブル履歴エントリなど、コントロールが機能した証拠で各ステップを締めます。シナリオベースのラボが 2 つあり、ワークフローを補強します。最初のラボでは子会社の顧客テーブルで壊れた保護を修復します。2 つ目では途中まで完了した消去リクエストを仕上げ、完了の証拠を組み立てます。本コースは技術コースであり、法的助言は提供しません。

注記:

1. このコースは「Databricksによる高度なデータエンジニアリング」シリーズの2回目です。

2. SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

Languages Available: English | 日本語 | Português BR 

Free
2h
Professional
Data Engineer

Databricks Data Privacy - Japanese

Databricks データプライバシーでは、データエンジニアが Databricks Data Intelligence Platform 上で個人データを見つけ、保護し、削除し、説明責任を果たす方法を学びます。プライバシーを、Unity Catalog と Delta Lake 上に構築された技術的な判断とコントロールの集合として扱います。本コースではプライバシーをセキュリティ、ガバナンス、コンプライアンスから区別したうえで、識別・保護・管理・検証のライフサイクルと、学習者がすべての手法に適用する短い意思決定モデルで作業を整理します。

学習者はまず Data Classification で機密カラムを見つけ、ガバナンスされたタグで各カラムの扱いを記録します。タグ駆動の属性ベースアクセス制御(ABAC)ポリシーでそれらのカラムを保護し、中央ポリシーが適さない場合は手動のカラムマスクと行フィルターを使います。非識別化はさらに進み、ソルト付きハッシュ、別途ガバナンスされたボールトによるトークナイゼーション、カラム暗号化を扱い、ソルトとキーは Databricks Secrets に保持します。消去権については、リクエストを追跡し、分類とリネージで対象者のデータを見つけ、DELETE と MERGE で削除して変更を伝播し、その後 REORG TABLE ... APPLY (PURGE) と保持期間を考慮した VACUUM で基礎ファイルをパージします。最後に、リネージ、監査ログ、クエリ履歴、Delta テーブル履歴を組み合わせ、各コントロールが機能したことを示す証跡を構築します。

データはすべて合成データです。デモは 1 つの多国籍小売企業のデータ資産をライフサイクルに沿って追い、マスクされたクエリ結果、空の消去確認、テーブル履歴エントリなど、コントロールが機能した証拠で各ステップを締めます。シナリオベースのラボが 2 つあり、ワークフローを補強します。最初のラボでは子会社の顧客テーブルで壊れた保護を修復します。2 つ目では途中まで完了した消去リクエストを仕上げ、完了の証拠を組み立てます。本コースは技術コースであり、法的助言は提供しません。

注記:

1. このコースは「Databricksによる高度なデータエンジニアリング」シリーズの2回目です。

2. SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

Languages Available: English | 日本語 | Português BR 

Paid & Subscription
3h
Lab
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.