Advanced Data Engineering with Databricks - Japanese
このコースは、Databricksを使った高度なデータエンジニアリングを学ぶための適切な入り口となります。以下では、このコースに含まれる4つの4時間の各モジュールについて説明します。
Databricks Streaming and Lakeflow Spark Declarative Pipelines
このコースでは、計算モデル、ストリーミング読み取りの構成、ストリーミング環境でのデータ品質の維持など、Spark 構造化ストリーミングとDelta Lakeの包括的な理解を提供します。
Databricks Data Privacy
このコンテンツは、Databricks内でのデータプライバシー管理に関する包括的なガイドを提供します。Delta Lakeアーキテクチャ、リージョナルデータ分離、GDPR/CCPAコンプライアンス、チェンジデータフィード（CDF）の使用といった主要トピックを網羅しています。実践的なデモとハンズオンラボを通じて、参加者は機密データの保護とコンプライアンス確保のためのUnity Catalog機能の使用方法を学び、データ整合性を効果的に保護する能力を身につけます。
Databricks Performance Optimization
このコースでは、SparkとDelta Lakeを用いたワークロードと物理レイアウトの最適化手法、およびSpark UIの分析によるパフォーマンス評価とアプリケーションのデバッグ方法を学びます。ストリーミング、流動的クラスタリング、データスキップ、キャッシュ、Photonsなどのトピックを網羅します。
Automated Deployment with Databricks Asset Bundles
このコースでは、DevOpsの原則とDatabricks projectへの応用について包括的に解説します。まず、DevOps、DataOps、継続的インテグレーション（CI）、継続的デプロイメント（CD）、テストといった中核概念の概要から始め、これらの原則をデータエンジニアリングパイプラインに適用する方法を探求します。
コースでは次に、CI/CDプロセス内での継続的デプロイに焦点を当て、プロジェクトデプロイのためのDatabricks REST API、SDK、CLIなどのツールを検証します。Databricks Asset Bundles（DAB）について学び、それらがCI/CDプロセスにどのように組み込まれるかを理解します。DABの主要コンポーネント、フォルダ構造、Databricks内の様々なターゲット環境へのデプロイを効率化する仕組みについて深く掘り下げます。さらに、Databricks CLIを使用して、異なる構成を持つ複数環境向けにDatabricks Asset Bundlesの変数追加、修正、検証、デプロイ、実行を行う方法も学びます。
最後に、本コースではVisual Studio Codeをインタラクティブ開発環境（IDE）として紹介し、Databricks Asset Bundlesのローカル環境でのビルド、テスト、デプロイを可能にすることで開発プロセスを最適化します。コースの締めくくりとして、GitHub Actionsを用いたデプロイパイプラインの自動化を紹介し、Databricks Asset Bundlesを用いたCI/CDワークフローの強化を図ります。
本コース修了時には、Databricks Asset Bundles を使用して Databricks projectのデプロイを自動化し、DevOps プラクティスを通じて効率性を向上させるスキルを身につけることができます。
Languages Available: English | 日本語 | Português BR | 한국어
• Databricks データエンジニアリング と データサイエンスワークスペースを使用して基本的なコード開発タスクを実行できる（クラスタの作成、ノートブックでのコード実行、基本的なノートブック操作の使用、gitからのリポジトリのインポートなど）.
• PySparkでの中級プログラミング経験.
• 様々なファイルフォーマットやデータソースからデータを抽出する.
• 多くの一般的な変換をクリーンデータに適用する.
• 高度な組み込み関数を使用して、複雑なデータを再形成し、操作する.
• Delta Lakeの中級プログラミング経験（テーブルの作成、完全更新と増分更新の実行、ファイルのコンパクト化、旧バージョンの復元など）.
• Delta Live Tables (DLT) UIを使用したデータパイプラインの設定とスケジューリングの初心者経験.
• PySparkを使用してDelta Live Tablesパイプラインを定義した初心者の経験.
• Auto LoaderとPySparkの構文を使用してデータを取り込み、処理する。
• APPLY CHANGES INTO構文によるプロセス変更データ取得フィード.
• パイプラインのイベントログと結果をレビューし、DLT構文のトラブルシューティングを行う。
• Databricks Workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャー、Unity Catalog、Delta Live Tables、ワークフローの経験を含むDatabricksプラットフォームに関する豊富な知識。特に、DLTによる期待の活用に関する知識。
• データの取り込みと変換の経験があり、データ処理とDataFrame操作のためのPySparkに習熟していること。また、データ分析と変換のために中級レベルのSQLクエリを書いた経験があること。
• Pythonプログラミングに習熟していること（関数やクラスの設計・実装能力、Pythonパッケージの作成・インポート・活用経験を含む）。
• DevOpsのプラクティス、特にcontinuous integrationとcontinuous delivery/deployment （CI/CD）の原則に精通していること。
• Gitバージョン管理の基本的な理解。
• 前提条件コース データエンジニアリングのためのDevOpsエッセンシャルコース.
Upcoming Public Classes
Date | Time | Language | Price |
|---|---|---|---|
Feb 17 - 18 | 09 AM - 05 PM (Asia/Tokyo) | Japanese | $1500.00 |
Mar 24 - 25 | 09 AM - 05 PM (Asia/Tokyo) | Japanese | $1500.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
今すぐ登録
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
今すぐ登録
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
