Stream Processing and Analysis with Apache Spark™ - Japanese

本コースでは、Databricks 内のコアとなる SQL プログラミングと手続き型ロジックのスキルを学び、モジュラーで保守性が高く本番運用に対応したアナリティクスワークフローの構築方法に焦点を当てます。まず、Common Table Expressions(コモンテーブルエクスプレッション)（高度な再帰 CTE を含む）、一時ビューやテーブルなどのセッションスコープのオブジェクト、User Defined Functions(ユーザー定義関数) など、SQL 開発をよりクリーンで再利用しやすくする主要な SQL コンストラクトについて学びます。次に、複合ステートメント、変数、制御フロー、条件分岐、ループ、堅牢なエラーハンドリングを使用した高度な SQL スクリプティング技法を通じて、構造化された柔軟な SQL プロセスの作成方法を学びます。また、ACID 準拠の複数ステートメントトランザクションを使用して、これらの複数ステップのパイプライン全体でデータの一貫性を保証する方法も学びます。最後に、ロジックを SQL Stored Procedures(ストアドプロシージャ) にカプセル化し、Lakeflow ジョブと移行戦略で複雑なワークフローをオーケストレーションし、レガシータスクをモジュラーで自動化されたパイプラインに変換して Databricks platformの全機能を活用する方法を学びます。

注：SCORM形式の講義ファイルをご利用の際は、コンテンツをすべて終了した後、必ずSCORMウィンドウを閉じてください。「next lesson」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として認識されなくなる可能性があります。

このコースでは、開発者がセキュアなデータおよび AI アプリケーションを Databricks プラットフォーム上で直接構築・デプロイできる機能である Databricks Apps を紹介します。本コースは主に、データの知見を組織内の非技術系ユーザーがアクセスしやすい形にするカスタムアプリケーションを作成する必要があるデータサイエンティスト、データエンジニア、および開発者を対象としています。

コースはまず Databricks Apps の主要コンポーネントの概要を説明し、続いて外部サービスおよび Databricks リソースと連携するシンプルなアプリのデプロイを行います。

Databricks Free Edition account のアカウントを作成すれば、実践的な環境でデモを実際に試すことができます。

注: Databricks Academyは、Databricks環境内の教室セッションをノートブックベースの形式へ移行しており、講義でのスライドデッキの使用を終了します。講義用ノートブックはVocareumのラボ環境で利用できます。

この入門コースでは、Databricks Data Intelligence Platform に組み込まれたフルマネージドの PostgreSQL サービスである Databricks Lakebase について紹介し、運用 (OLTP) と分析 (OLAP) のワークロードを統合します

このコースは、OLTPシステムとOLAPシステムを比較し、それぞれのパフォーマンス特性、ストレージモデル、および一般的な使用例を説明する概念的な講義から始まります。 また、トランザクション データベースと分析プラットフォームを分離して維持する際に組織が直面する課題（データの移動、レイテンシ、アーキテクチャの複雑さなど）についても説明します

次に、Databricks Lakebase が Databricks lakehouseと直接統合される PostgreSQL 互換の運用データベースを提供し、運用アプリケーションと分析を統合プラットフォーム内で連携できるようにすることで、これらの課題の解決に役立つ方法を学びます

このコースは入門コースのため、Lakebase の主要な概念や基本的なワークフローの理解に重点を置いています。 Lakebase 上に完全な本番アプリケーションを構築することは、このコースの範囲外です

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。