メインコンテンツへジャンプ

Get Started with Databricks for Data Engineering - Japanese

このコースでは、Databricks Data Intelligence Platform で基本的なデータエンジニアリングのワークフローを実行するために必要な基礎スキルを学びます。ワークスペースを操作し、Unity Catalog を使用しながら、データエンジニアが Databricks で日常的に活用する基本的な構成要素を習得します。


このコースは実践的な構成になっています。まずワークスペースの基本を理解し、その後、各トピックについてデモとラボのノートブックをペアで進めていきます。デモではインストラクターまたはガイド付きノートブックとともに概念を確認し、ラボでは学んだ内容を自分自身で実践します。


このコースで扱う内容は次のとおりです。

• Databricks Data Intelligence Platform の概要と、Databricks workspace、Unity Catalog、ノートブックの連携方法。

• Delta Lake テーブルの作成と管理。

• INSERT、UPDATE、DELETE によるデータの変更。

• Delta テーブルのバージョン履歴とタイムトラベルの確認。

• Lakeflow Connect のオプション(CTAS、アップロード UI、COPY INTO)を使用したデータの取り込み。

• ブロンズ、シルバー、ゴールド の各レイヤーを通じてデータを変換するメダリオンアーキテクチャのパイプラインの構築。

• Lakeflow ジョブ によるパイプラインの自動化。

• (ボーナス)Spark Declarative Pipelines を使用した宣言型パイプラインの構築。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Onboarding
Duration
3h
Prerequisites

• クラウドデータプラットフォームに関する基本的な知識。データベース、テーブル、クエリが何であるかを概念レベルで理解していること。

• SQL の実務的な知識。WHERE、GROUP BY、集計関数を含む SELECT 文を読み書きでき、INSERT、UPDATE、DELETE を理解していること。

• データの取り込み、変換、パイプラインといったデータエンジニアリングの概念に関する一般的な知識があると役立ちますが、必須ではありません。基礎についてはこのコースで扱います。

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Databricks Data Privacy - Japanese

Databricks データプライバシーでは、データエンジニアが Databricks Data Intelligence Platform 上で個人データを見つけ、保護し、削除し、説明責任を果たす方法を学びます。プライバシーを、Unity Catalog と Delta Lake 上に構築された技術的な判断とコントロールの集合として扱います。本コースではプライバシーをセキュリティ、ガバナンス、コンプライアンスから区別したうえで、識別・保護・管理・検証のライフサイクルと、学習者がすべての手法に適用する短い意思決定モデルで作業を整理します。

学習者はまず Data Classification で機密カラムを見つけ、ガバナンスされたタグで各カラムの扱いを記録します。タグ駆動の属性ベースアクセス制御(ABAC)ポリシーでそれらのカラムを保護し、中央ポリシーが適さない場合は手動のカラムマスクと行フィルターを使います。非識別化はさらに進み、ソルト付きハッシュ、別途ガバナンスされたボールトによるトークナイゼーション、カラム暗号化を扱い、ソルトとキーは Databricks Secrets に保持します。消去権については、リクエストを追跡し、分類とリネージで対象者のデータを見つけ、DELETE と MERGE で削除して変更を伝播し、その後 REORG TABLE ... APPLY (PURGE) と保持期間を考慮した VACUUM で基礎ファイルをパージします。最後に、リネージ、監査ログ、クエリ履歴、Delta テーブル履歴を組み合わせ、各コントロールが機能したことを示す証跡を構築します。

データはすべて合成データです。デモは 1 つの多国籍小売企業のデータ資産をライフサイクルに沿って追い、マスクされたクエリ結果、空の消去確認、テーブル履歴エントリなど、コントロールが機能した証拠で各ステップを締めます。シナリオベースのラボが 2 つあり、ワークフローを補強します。最初のラボでは子会社の顧客テーブルで壊れた保護を修復します。2 つ目では途中まで完了した消去リクエストを仕上げ、完了の証拠を組み立てます。本コースは技術コースであり、法的助言は提供しません。

注記:

1. このコースは「Databricksによる高度なデータエンジニアリング」シリーズの2回目です。

2. SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

Languages Available: English | 日本語 | Português BR 

Paid & Subscription
3h
Lab
Professional

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.