メインコンテンツへジャンプ

DevOps Essentials for Data Engineering - Japanese

このコースでは、Databricks を使用するデータエンジニア向けに特別に設計された、ソフトウェアエンジニアリングのベストプラクティスと DevOps の原則について説明します。 参加者は、コード品質、バージョン管理、ドキュメンテーション、テストなどの主要なトピックで強力な基盤を構築します。 このコースではDevOpsに重点を置き、コアコンポーネント、利点、およびデータエンジニアリングワークフローの最適化における継続的インテグレーションと継続的デリバリー(CI/CD)の役割について説明します


PySpark でモジュール性の原則を適用して、再利用可能なコンポーネントを作成し、コードを効率的に構造化する方法を学習します。 実践的な経験には、pytest フレームワークを使用した PySpark 関数の単体テストの設計と実装、その後の DLT と Workflows を使用した Databricks データパイプラインの統合テストが含まれ、信頼性を確保します


このコースでは、Databricks Git フォルダーを使用した継続的インテグレーションのプラクティスの統合など、Databricks 内の基本的な Git 操作についても説明します。 最後に、REST API、CLI、SDK、Databricks アセットバンドル (DAB) など、Databricks アセットのさまざまなデプロイ方法の概要を説明し、パイプラインをデプロイして管理する手法に関する知識を身に付けます


このコースを修了すると、ソフトウェアエンジニアリングとDevOpsのベストプラクティスに習熟し、スケーラブルで保守可能、かつ効率的なデータエンジニアリングソリューションを構築できるようになります。


Languages Available: English | 日本語 | Português BR | 한국어 | Español | française

Skill Level
Associate
Duration
4h
Prerequisites
  • Databricks プラットフォームに関する十分な知識、Databricks ワークスペースの経験、Apache Sparkの経験、メダリオンアーキテクチャの経験、Delta Lakeの経験、Unity Catalogの経験、Delta Live Tablesの経験、そしてワークフローの経験。 Git バージョン管理の基本的な理解も必要です
  • データの取り込みと変換の経験があり、データ処理と DataFrame 操作について、PySpark に習熟している。 さらに、受験者は、データ分析と変換のための中級レベルのSQLクエリを作成した経験が必要です。
  • Pythonプログラミングの知識と、関数やクラスを設計および実装する能力を含む、中級レベルのPythonコードの記述に習熟している必要です。 また、ユーザーは Python パッケージの作成、インポート、および効果的な利用に熟練している必要があります。

Outline

ソフトウェアエンジニアリング、DevOps、CI/CD 基礎

ソフトウェアエンジニアリング(SWE)ベストプラクティス入門

〜への紹介 PySpark コードのモジュール化

PySpark のモジュール化 コード

DevOps の基礎 

CI/CDの役割における中 DevOps

知識 チェック/ディスカッション


継続的インテグレーション 

プロジェクトの計画 

プロジェクト設定の探索 (必須)

PySpark の単体テストの概要

単体テストの作成と実行

インテグレーションの実行 DLT を使用したテストと ワークフロー

DLT を使用した統合テストの実行と ワークフロー

Git によるバージョン管理の概要


継続的デプロイメントの概要

Databricks アセット のデプロイの概要 (スライド)

Databricks プロジェクトをデプロイする

Upcoming Public Classes

Date
Time
Your Local Time
Language
Price
Oct 21
02 PM - 06 PM (Asia/Tokyo)
-
Japanese
$750.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Building Reliable Conversational Agents with Genie - Japanese

このコースでは、Databricks の Genie Space の設計、構築および保守の方法を学びます。Genie Space は、ビジネスユーザーがガバナンスされたデータについて質問し、コードを書かずに SQL に基づく回答を受け取れる自然言語インターフェースです。

Genie が Databricks の AI/BI 製品ファミリーにどのように位置づけられるか、そして自然言語をどのように信頼できる SQL クエリに変換するかを学びます。このコースでは、正確で一貫性があり、信頼できる結果を提供する Genie Space を作成するために何が必要かに焦点を当てます。

ソースデータの理解とベンチマークの定義から、ナレッジストア のキュレーションツール一式を使った Genie Space の構成と改良まで、完全なエンドツーエンドのワークフローをたどります。これらのツールには、メタデータ、シノニム、プロンプトマッチング、SQL ロジック、サンプルクエリ、テキストの 手順 が含まれます。

また、Databricks One を通じてビジネスユーザーと Genie Space を共有する方法、Unity Catalog のガバナンスがどのように自動的に適用されるかを理解し、モニタリングとユーザーのフィードバックを使って品質を継続的に改善する方法も学びます。

コースを終える頃には、ガバナンスされたセルフサービスの会話型分析を大規模に提供する、本番運用の準備が整った Genie Space を作成および管理できるようになります。

注記:Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

Languages Available: English | 한국어

Paid
4h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.