メインコンテンツへジャンプ

Build Data Pipelines with Apache Spark Declarative Pipelines - Japanese

このコースでは、複数のストリーミングテーブルとマテリアライズドビューを介した増分バッチまたはストリーミング取り込みと処理のために、DatabricksのLakeflow宣言型パイプラインを使用してデータパイプラインを構築するために必要な基本的な概念とスキルをユーザーに紹介します。 このコースは、Lakeflow 宣言的パイプライン を初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントの概要を包括的に説明し、それらの特定の目的と違いを強調します


取り上げるトピックは次のとおりです:


- SQL を使用した Lakeflow のマルチファイル エディターを使用した ETL パイプラインの開発とデバッグ (Python コード例を提供)


- Lakeflow 宣言的パイプライン が パイプライン グラフを通じて パイプライン でデータの依存関係を追跡する方法


- パイプライン コンピュート リソース、データ アセット、トリガー モード、およびその他の詳細オプションの構成


次に、このコースでは、Lakeflow のデータ品質に対する期待値を紹介し、データの整合性を検証および適用するために、期待値をパイプラインに統合するプロセスをユーザーに案内します。 次に、学習者は、スケジュール オプション、本番運用モード、パイプラインのパフォーマンスと正常性を監視するためのパイプライン イベント ログの有効化など、パイプラインを本番運用に配置する方法について説明します


最後に、このコースでは、Lakeflow 宣言型パイプライン内の APPLY CHANGES INTO 構文を使用して変更データキャプチャ (CDC) を実装し、slowly changing dimensions (SCD タイプ 1 および 2) を管理し、ユーザーが CDC を独自のパイプラインに統合する準備をする方法について説明します。


Languages Available: English | 日本語 | Português BR | 한국어

Skill Level
Associate
Duration
4h
Prerequisites
  • - Databricks Data Intelligence Platform、Databricks workspaces、Apache Spark、Delta Lake、メダリオンアーキテクチャ、Unity Catalog.

を含む基本的な理解

- read_files SQL 関数を使用して CSV、JSON、TXT、Parquet.

 などの形式を読み込むなど、生データを Delta テーブルに取り込んだ経験

- 中級レベルのクエリの記述や SQL 結合の基本的な理解など、SQL を使用したデータ変換の習熟度。

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Building Reliable Conversational Agents with Genie - Japanese

このコースでは、Databricks Genie Agent の設計・構築・維持管理の方法を学びます。Genie Agent は自然言語インターフェースであり、ビジネスユーザーがコードを書くことなく、ガバナンスの効いたデータに対して質問を行い、SQL に基づいた回答を受け取ることができます。

Genie Agent が Databricks AI/BI 製品ファミリーの中でどのように位置づけられるか、また自然言語を信頼性の高い SQL クエリへどのように変換するかを学びます。本コースでは、正確で一貫性があり、信頼性の高い結果を提供する Genie Agent を作成するために必要なことに焦点を当てています。

ソースデータの理解とベンチマークの定義から始まり、Knowledge Store のキュレーションツール一式を使用した Genie Agent の設定と改善まで、完全なエンドツーエンドのワークフローに沿って学習を進めます。これには、メタデータ、シノニム、プロンプトマッチング、SQL ロジック、クエリ例、テキスト指示が含まれます。

また、Genie One を通じてビジネスユーザーと Genie Agent を共有する方法、Unity Catalog ガバナンスが自動的に適用される仕組み、そしてモニタリングとユーザーフィードバックを活用して継続的に品質を向上させる方法についても学びます。

コースの終了時には、ガバナンスの効いたセルフサービス型の会話アナリティクスをスケールで提供する、本番運用に対応した Genie Agent を作成・管理できるようになります。注:SCORM講義ファイルの場合は、コンテンツを完了した後、必ずSCORMウィンドウを閉じてください。「次のレッスン」ボタンはクリックしないでください。クリックすると、SCORMモジュールが完了として記録されない場合があります。

Paid & Subscription
3h
Lab
Onboarding
Data Engineer

Building Enterprise Applications with Databricks Apps - Japanese

このコースでは、開発者が Databricks プラットフォーム上で安全なデータおよび AI アプリケーションを直接構築・デプロイできるようにする新しい機能、Databricks Apps を紹介します。主に、組織内の非技術系ユーザーがデータの知見にアクセスできるカスタムアプリケーションを作成する必要があるデータサイエンティスト、データエンジニア、および開発者を対象としています。

コースはまず Databricks Apps の主要コンポーネントの概要から始まり、続いて外部サービスと連携するシンプルなアプリのデプロイを行います。次に、Databricks プラットフォームの機能と統合するインテリジェントなデータドリブンアプリケーションの構築とデプロイの方法を学びます。その後、Databricks 環境の外部でアプリを開発する方法を取り上げます。最後に、セキュアで信頼性の高いエンタープライズアプリを実装するためのベストプラクティスについて詳しく解説します。

注意:SCORM講義ファイルのコンテンツを完了したら、SCORMウィンドウを閉じてください。SCORMモジュールが完了として記録されない場合があるため、「次のレッスン」ボタンはクリックしないでください。

Paid & Subscription
3h
Lab
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.