Build Data Pipelines with Lakeflow Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow宣言型パイプラインを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。このコースは、Lakeflow 宣言的パイプラインを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します

取り上げるトピックは次のとおりです:

- SQL を使用した Lakeflow のマルチファイルエディターを使用した ETL パイプラインの開発とデバッグ (Python コード例を提供)

- Lakeflow 宣言的パイプラインがパイプライングラフを通じてパイプラインでデータの依存関係を追跡する方法

- パイプラインコンピュートリソース、データアセット、トリガーモード、およびその他の詳細オプションの構成

次に、このコースでは、Lakeflow のデータ品質に対する期待値を紹介し、データの整合性を検証および適用するために、期待値をパイプラインに統合するプロセスをユーザーに案内します。次に、学習者は、スケジュールオプション、本番運用モード、パイプラインのパフォーマンスと正常性を監視するためのパイプラインイベントログの有効化など、パイプラインを本番運用に配置する方法について説明します

最後に、このコースでは、Lakeflow 宣言型パイプライン内の APPLY CHANGES INTO 構文を使用して変更データキャプチャ (CDC) を実装し、slowly changing dimensions (SCD タイプ 1 および 2) を管理し、ユーザーが CDC を独自のパイプラインに統合する準備をする方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

Skill Level

Associate

Duration

Prerequisites

- Databricks Data Intelligence Platform、Databricks workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog.

を含む基本的な理解

- read_files SQL 関数を使用して CSV、JSON、TXT、Parquet.

などの形式を読み込むなど、生データを Delta テーブルに取り込んだ経験

- 中級レベルのクエリの記述や SQL 結合の基本的な理解など、SQL を使用したデータ変換の習熟度。

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Customer registration Partner registration

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Deploy Workloads with Lakeflow Jobs - Japanese

Deploy Workloads with Lakeflow Jobs コースでは、Databricks エコシステム内の統合オーケストレーションプラットフォームとして Lakeflow Jobs を使用し、データ、アナリティクス、および AI ワークフローをオーケストレーションおよび自動化する方法を学びます。

• 有向非環状グラフ（DAG）を使用したデータワークロードの設計と実装、各種スケジューリングオプションの設定、および条件付きタスク実行、run-if 依存関係、for each ループなどの高度なワークフロー機能の実装について学習します。

• 本コースでは、適切なコンピュート選択、モジュール式オーケストレーション、エラー処理技術、およびフォールトトレラント設計を備えた、堅牢で本番運用に対応したパイプラインを作成するためのベストプラクティスを取り上げます。これらはすべて Databricks Data Intelligence Platform 内にネイティブに統合されています。

注: SCORM の講義ファイルについては、コンテンツの完了後に SCORM ウィンドウを閉じてください。「Next Lesson（次のレッスン）」ボタンはクリックしないでください。クリックすると、SCORM モジュールが完了として記録されない場合があります。

Languages Available: English | 日本語 | Português BR | 한국어

AI/BI for Data Analysts - Japanese

このコースでは、データアナリストが Databricks で AI/BI Dashboards を設計、作成、公開、運用する方法を学びます。AI/BI Dashboards は、ガバナンスの効いた Unity Catalog のデータを、インタラクティブな可視化、フィルター、Genie 連携と組み合わせることで、ビジネスユーザーがコードを書かずに回答を探索できるようにします。

このコースは、1 つのエンドツーエンドの構築を通じて進めます。まず Unity Catalog のソーステーブルから始め、最終的に公開・監視された複数ページのダッシュボードを完成させます。その過程で、ダッシュボードが Databricks の AI/BI 製品ファミリー全体の中でどのように位置づけられるか、また Genie、データセット、可視化、フィルターがワークフローのどこに当てはまるかを学びます。

扱う内容は次のとおりです。

• AI/BI Dashboards の基礎と、それが Genie および Databricks プラットフォームの他の要素とどのように関係するか。

• Unity Catalog でのソースデータの探索と、SQL を使用した再利用可能なダッシュボードデータセットの設計。

• 可視化（KPI、トレンド、内訳）の作成と、見やすい複数ページのダッシュボードのレイアウト。

• Genie Code を使用して、自然言語のプロンプトから SQL、チャート、フィルターを作成すること。

• フィルターを追加して、ダッシュボードをインタラクティブにし、閲覧者の疑問に応えられるようにすること。

• 適切な人がダッシュボードを表示・編集できるよう、公開、共有、アクセス権の管理を行うこと。

• スケジュールされた更新、キャッシュ、使用状況の監視を伴って、ダッシュボードを本番環境で運用すること。

コースを修了するころには、ビジネス上の課題を起点として、それを支えるデータセットを設計し、洗練されたダッシュボードを作成し、適切なアクセス権と、正確性を保つための更新戦略とともに対象ユーザーへ提供できるようになります。

注：SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

Paid & Subscription

Lab

Associate

Machine Learning Practitioner

Machine Learning Model Development - Japanese

この包括的なコースでは、Databricks で従来の機械学習モデルを開発するための実践的なガイドを提供し、一般的な ML ライブラリを使用した実践的なデモンストレーションとワークフローに重点を置いています。参加者は、Databricks の強力な機能を活用しながら、回帰やクラスタリングなどの主要な機械学習手法を学習します。このコースでは、モデル追跡のためのMLflow統合、機能管理のためのDatabricks Feature Store、ハイパーパラメーター調整のためのOptunaについて説明します。さらに、参加者は、自然言語、MCP 接続、指示、スキルを使用して機械学習ライフサイクル全体をガイドする Databricks の AI 搭載コーディングアシスタントである Genie Code を使用して、モデル開発を加速する方法を学びます。このコースを修了すると、学習者は Databricks 環境で機械学習モデルを効率的に開発、最適化、デプロイするための実践的なスキルを身に付けることができます。

Paid & Subscription

Lab

Associate