Databricks Streaming and Lakeflow Spark Declarative Pipelines - Japanese

このコースでは、SparkとDelta Lakeを用いたワークロードと物理レイアウトの最適化手法、およびSpark UIの分析によるパフォーマンス評価とアプリケーションのデバッグ方法を学びます。ストリーミング、流動的クラスタリング、データスキップ、キャッシュ、Photonsなどのトピックを網羅します。

注記：このコースは「Advanced Data Engineering with Databricks」コースの一部です。

Languages Available: English | 日本語 | Português BR | 한국어

このコースでは、データプロフェッショナルがDatabricksインテリジェンスプラットフォームを活用してETLパイプラインを本番運用化するための準備をします。 受講者は、Spark SQLとPythonでDelta Live Tablesを使用して、さまざまなデータソースからレイクハウスへの新しいデータを段階的に処理するパイプラインを定義およびスケジュールします。 また、Databricks Workflows でタスクをオーケストレーションし、Databricks Repos でコードのステータスを昇格 (Promote) します。

注: このコースは、「Data Engineering with Databricks」コース シリーズの一部です。

Languages Available: English | 日本語 | Português BR | 한국어

本コースでは、Databricks 内のコアとなる SQL プログラミングと手続き型ロジックのスキルを学び、モジュラーで保守性が高く本番運用に対応したアナリティクスワークフローの構築方法に焦点を当てます。まず、Common Table Expressions(コモンテーブルエクスプレッション)（高度な再帰 CTE を含む）、一時ビューやテーブルなどのセッションスコープのオブジェクト、User Defined Functions(ユーザー定義関数) など、SQL 開発をよりクリーンで再利用しやすくする主要な SQL コンストラクトについて学びます。次に、複合ステートメント、変数、制御フロー、条件分岐、ループ、堅牢なエラーハンドリングを使用した高度な SQL スクリプティング技法を通じて、構造化された柔軟な SQL プロセスの作成方法を学びます。また、ACID 準拠の複数ステートメントトランザクションを使用して、これらの複数ステップのパイプライン全体でデータの一貫性を保証する方法も学びます。最後に、ロジックを SQL Stored Procedures(ストアドプロシージャ) にカプセル化し、Lakeflow ジョブと移行戦略で複雑なワークフローをオーケストレーションし、レガシータスクをモジュラーで自動化されたパイプラインに変換して Databricks platformの全機能を活用する方法を学びます。

注：SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。