Databricks Fundamentals - Japanese

このハンズオンコースでは、Databricks によるデータ共有のオープンプロトコルである OpenSharing（旧称 Delta Sharing）を使用して、データをコピーまたは移動することなく、ライブデータを安全に共有する方法を学びます。異なるリージョンにある 2 つの Databricks Workspace 環境で、プロバイダーおよびレシピエントの両方の立場から作業し、Databricks-to-Open（D2O）共有用のオープンクライアントも使用します。Databricks-to-Databricks（D2D）および D2O 共有の実装、オープンレシピエントの管理する、Change Data Feed（CDF）を使用した増分変更の読み取り、リージョナルレプリカによるエグレス回避のためのデータレプリケーション、動的ビューとパーティションフィルタリングを使用した各レシピエントへの専用データスライスの提供を行います。コースの最後では、データ共有のパフォーマンス、監査、およびコストに関する考慮事項を取り上げます。

注：SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

Databricks データプライバシーでは、データエンジニアが Databricks Data Intelligence Platform 上で個人データを見つけ、保護し、削除し、説明責任を果たす方法を学びます。プライバシーを、Unity Catalog と Delta Lake 上に構築された技術的な判断とコントロールの集合として扱います。本コースではプライバシーをセキュリティ、ガバナンス、コンプライアンスから区別したうえで、識別・保護・管理・検証のライフサイクルと、学習者がすべての手法に適用する短い意思決定モデルで作業を整理します。

学習者はまず Data Classification で機密カラムを見つけ、ガバナンスされたタグで各カラムの扱いを記録します。タグ駆動の属性ベースアクセス制御（ABAC）ポリシーでそれらのカラムを保護し、中央ポリシーが適さない場合は手動のカラムマスクと行フィルターを使います。非識別化はさらに進み、ソルト付きハッシュ、別途ガバナンスされたボールトによるトークナイゼーション、カラム暗号化を扱い、ソルトとキーは Databricks Secrets に保持します。消去権については、リクエストを追跡し、分類とリネージで対象者のデータを見つけ、DELETE と MERGE で削除して変更を伝播し、その後 REORG TABLE ... APPLY (PURGE) と保持期間を考慮した VACUUM で基礎ファイルをパージします。最後に、リネージ、監査ログ、クエリ履歴、Delta テーブル履歴を組み合わせ、各コントロールが機能したことを示す証跡を構築します。

データはすべて合成データです。デモは 1 つの多国籍小売企業のデータ資産をライフサイクルに沿って追い、マスクされたクエリ結果、空の消去確認、テーブル履歴エントリなど、コントロールが機能した証拠で各ステップを締めます。シナリオベースのラボが 2 つあり、ワークフローを補強します。最初のラボでは子会社の顧客テーブルで壊れた保護を修復します。2 つ目では途中まで完了した消去リクエストを仕上げ、完了の証拠を組み立てます。本コースは技術コースであり、法的助言は提供しません。

注記：

1. このコースは「Databricksによる高度なデータエンジニアリング」シリーズの2回目です。

2. SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

Languages Available: English | 日本語 | Português BR 

このコースでは、Databricks 上で Spark 構造化ストリーミング API を使用して、スケーラブルでフォールトトレラントなストリーム処理アプリケーションを開発する方法を学習します。

注：SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

Languages Available: English | 日本語 |  한국어