メインコンテンツへジャンプ

Advanced Data Engineering with Databricks - Japanese

このコースでは、受講者は Apache Spark、Structured Streaming、Delta Lake に関する既存の知識を基礎にし、Databricks が提供する一連のツールを利用してデータレイクハウスの可能性を最大限に引き出します。 このコースでは、増分データ処理を優先する設計に重点を置き、増え続けるデータを継続的に取り込んで分析するようにシステムを最適化できるようにします。 組み込みのプラットフォーム最適化を活用するワークロードを設計することにより、データエンジニアは、コードのメンテナンスやオンコールの緊急事態の負担を軽減し、最小限のリファクタリングやダウン

タイムで本番コードを新しい要求に迅速に適応させることができます。


Databricks Certified Data Engineer Professional 試験を受ける場合は、その前にこのコースのトピックをマスターする必要があります。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Professional
Duration
16h
Prerequisites

前提条件

    • 高度なデータ変換を実行するための PySpark API の使用経験
    • Python を使用したクラスの実装経験
    • 実稼働データウェアハウスまたはデータレイクの実装での SQL の使用経験
    • Databricks ノートブックでの作業とクラスター設定
    • SQL を使用した Delta Lake テーブルでのデータの作成と操作に関する知識

前述の前提条件はインストラクター主導のコース、「Data Engineering with Databricks」と「Apache Spark Programming with Databricks」の受講によって学習でき(受講順序不問)、認定試験、「Databricks Certified Data Engineer Associate」および「Databricks Certified Associate Developer for Apache Spark」に合格することによって知識の習得を検証できます。

Outline

コースの概要

  • 1 日目

    • レイクハウスのアーキテクチャ

    • データストレージの最適化

    • Delta Lake のトランザクション

    • 楽観的並行性による Delta Lake 分離

    • ストリーミング設計パターン

    • 開発とデータバックアップのためのクローン作成

    • Auto Loader およびブロンズ取り込みのパターン

    • ストリーミング重複排除および品質の強化

    • Slowly Changing Dimensions

    • ストリーミング結合とステートフル性

  • 2 日目

    • ビューとマテリアライズドビュー

    • 安全なデータの保存

    • PII への権限アクセスの付与

    • レイクハウスのデータの削除

    • マルチタスクジョブを使ったスケジューリングとオーケストレーション

    • エラーのモニタリング、ログ記録、および処理

    • Databricks Repos によるコードのプロモーション

    • プログラムによるプラットフォームインタラクション(Databricks CLI および REST API)

    • ストリーミングワークロードによるコストとレイテンシの管理

Upcoming Public Classes

Date
Time
Language
Price
Mar 24 - 25
09 AM - 05 PM (Asia/Tokyo)
Japanese
$1500.00
May 22 - 23
09 AM - 05 PM (Asia/Tokyo)
Japanese
$1500.00
Jul 14 - 15
09 AM - 05 PM (Asia/Tokyo)
Japanese
$1500.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Register now

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Register now

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Generative AI Engineer

Generative AI Engineering with Databricks - Japanese

このコースは、最新かつ最も一般的なフレームワークとDatabricksの機能を使用してGenerative AIアプリケーションを構築したいデータサイエンティスト、機械学習エンジニア、その他のデータ実務家を対象としています。

以下では、このコースに含まれる4つのモジュール(4時間)について説明します。

Generative AI Solution Development:(ジェネレーティブAIソリューション開発): このコースでは、RAG(retrieval-augmented generation)メソッドを使用したコンテキスト生成AIソリューションを紹介します。まず、Mosaic AI Playgroundを使って、RAGアーキテクチャとコンテキスト情報の重要性を紹介します。次に、Generative AIソリューションのためにデータを準備する方法を紹介し、このプロセスとRAGアーキテクチャの構築を結びつけます。最後に、コンテキスト埋め込み、ベクター、ベクターデータベース、Mosaic AI Vector Searchの活用に関する概念を探ります。

Generative AI Application Development: 多段階推論LLMチェーンとエージェントを使用した高度なLLMアプリケーションを構築するための情報と実践的な経験が必要ですか?このモジュールでは、まず問題を構成要素に分解し、ビジネスユースケースを強化するために各ステップに最適なモデルを選択する方法を学びます。続いて、LangChainとHuggingFaceトランスフォーマーを利用して多段推論チェーンを構築する方法を紹介します。最後に、エージェントを紹介し、Databricks上で生成モデルを使用した自律エージェントを設計します。

Generative AI Application Evaluation and Governance: ジェネレーティブAIシステムの評価とガバナンスについて学びます。まず、評価とガバナンス/セキュリティシステムを構築する意味と動機を探ります。次に、評価およびガバナンスシステムをDatabricks Data Intelligence Platformに接続します。第三に、特定のコンポーネントやアプリケーションの種類に応じた様々な評価手法を学びます。最後に、パフォーマンスとコストに関するAIシステム全体の評価の分析でコースを締めくくります。

Generative AI Application Deployment and Monitoring: ジェネレーティブAIアプリケーションの展開、運用、監視の方法を学ぶ準備はできていますか?このモジュールでは、Model Servingのようなツールを使用したジェネレーティブAIアプリケーションのデプロイのスキルを習得します。また、ベストプラクティスと推奨されるアーキテクチャに従ってGenerative AIアプリケーションを運用する方法についても説明します。最後に、Lakehouse Monitoringを使用してジェネレーティブAIアプリケーションとそのコンポーネントを監視する方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.