Advanced Data Engineering with Databricks - Japanese
このコースは、Databricksを使った高度なデータエンジニアリングを学ぶための適切な入り口となります。以下では、このコースに含まれる4つの4時間の各モジュールについて説明します。
Databricks Streaming and Delta Live Tables
Databricks ストリーミングと Delta Live Tables (SDLT) コースは、Databricks 認定プロフェッショナル データ エンジニア認定試験の準備を目的としています。このコースの内容は、データエンジニアラーニングパスのプロフェッショナルレベルのモジュールで構成されており、インストラクター主導のトレーニング(ILT)として提供されます。
Databricks Data Privacy
このコンテンツでは、Databricks 内でデータプライバシーを管理するための包括的なガイドを提供します。 Delta Lake アーキテクチャ、リージョンのデータ分離、GDPR/CCPA コンプライアンス、チェンジデータフィード (CDF) の使用状況などの主要なトピックについて説明します。 実践的なデモとハンズオンラボを通じて、参加者は Unity Catalog の機能を使用して機密データの保護とコンプライアンスを確保し、データの整合性を効果的に保護する方法を学びます。
Databricks Performance Optimization
このコースでは、SparkとDelta Lakeを使用してワークロードと物理レイアウトを最適化する方法と、Spark UIを分析してパフォーマンスを評価し、アプリケーションをデバッグする方法を学びます。ストリーミング、リキッドクラスタリング、データスキップ、キャッシュ、Photonなどのトピックについて説明します。
Automated Deployment with Databricks Asset Bundles
このコースでは、DevOps の原則と Databricks プロジェクトへの適用について包括的に復習します。 まず、コア DevOps、DataOps、継続的インテグレーション (CI)、継続的デプロイ (CD)、テストの概要を説明し、これらの原則をデータエンジニアリングのパイプラインに適用する方法を探ります
次に、CI/CD プロセス内の継続的デプロイに焦点を当て、プロジェクトのデプロイメント用の Databricks REST API、SDK、CLI などのツールを検討します。 Databricks アセットバンドル (DAB) と、それらが CI/CD プロセスにどのように適合するかについて学習します。 主なコンポーネント、フォルダー構造、Databricks のさまざまなターゲット環境へのデプロイを合理化する方法について詳しく説明します。 また、Databricks CLI を使用して、構成の異なる複数の環境に対して変数の追加、変更、検証、デプロイ、および実行を行う方法についても学習します
最後に、このコースでは、Databricks アセットバンドルをローカルでビルド、テスト、デプロイするための対話型開発環境 (IDE) としての Visual Studio Code を紹介し、開発プロセスを最適化します。 このコースの最後には、GitHub Actions を使用してデプロイパイプラインを自動化し、Databricks Asset Bundles で CI/CD ワークフローを強化する方法を紹介します
このコースを修了すると、Databricks アセットバンドルを使用して Databricks プロジェクトのデプロイを自動化し、DevOps プラクティスを通じて効率を向上させることができるようになります。
Languages Available: English | 日本語 | Português BR | 한국어
- Databricks データエンジニアリング と データサイエンスワークスペースを使用して基本的なコード開発タスクを実行できる（クラスタの作成、ノートブックでのコード実行、基本的なノートブック操作の使用、gitからのリポジトリのインポートなど）
- PySparkでの中級プログラミング経験
- 様々なファイルフォーマットやデータソースからデータを抽出する
- 多くの一般的な変換をクリーンデータに適用する
- 高度な組み込み関数を使用して、複雑なデータを再形成し、操作する
- Delta Lakeの中級プログラミング経験（テーブルの作成、完全更新と増分更新の実行、ファイルのコンパクト化、旧バージョンの復元など）
- Delta Live Tables (DLT) UIを使用したデータパイプラインの設定とスケジューリングの初心者経験
- PySparkを使用してDelta Live Tablesパイプラインを定義した初心者の経験
- Auto LoaderとPySparkの構文を使用してデータを取り込み、処理する。
- APPLY CHANGES INTO構文によるプロセス変更データ取得フィード
- パイプラインのイベントログと結果をレビューし、DLT構文のトラブルシューティングを行う。
- Databricks Workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャー、Unity Catalog、Delta Live Tables、ワークフローの経験を含むDatabricksプラットフォームに関する豊富な知識。特に、DLTによる期待の活用に関する知識。
- データの取り込みと変換の経験があり、データ処理とDataFrame操作のためのPySparkに習熟していること。また、データ分析と変換のために中級レベルのSQLクエリを書いた経験があること。
- Pythonプログラミングに習熟していること（関数やクラスの設計・実装能力、Pythonパッケージの作成・インポート・活用経験を含む）。
- DevOpsのプラクティス、特にcontinuous integrationとcontinuous delivery/deployment （CI/CD）の原則に精通していること。
- Gitバージョン管理の基本的な理解。
- 前提条件コース データエンジニアリングのためのDevOpsエッセンシャルコース
Upcoming Public Classes
Date | Time | Language | Price |
|---|---|---|---|
May 22 - 23 | 09 AM - 05 PM (Asia/Tokyo) | Japanese | $1500.00 |
Jul 14 - 15 | 09 AM - 05 PM (Asia/Tokyo) | Japanese | $1500.00 |
Public Class Registration
If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.
Private Class Request
If your company is interested in private training, please submit a request.
Registration options
Databricks has a delivery method for wherever you are on your learning journey
Self-Paced
Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos
Register now
Instructor-Led
Public and private courses taught by expert instructors across half-day to two-day courses
Register now
Blended Learning
Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase
Purchase now
Skills@Scale
Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details
