SQL Analytics on Databricks - Japanese

この入門コースでは、Databricks Data Intelligence Platform に組み込まれたフルマネージドの PostgreSQL サービスである Databricks Lakebase について紹介し、運用 (OLTP) と分析 (OLAP) のワークロードを統合します

このコースは、OLTPシステムとOLAPシステムを比較し、それぞれのパフォーマンス特性、ストレージモデル、および一般的な使用例を説明する概念的な講義から始まります。 また、トランザクション データベースと分析プラットフォームを分離して維持する際に組織が直面する課題（データの移動、レイテンシ、アーキテクチャの複雑さなど）についても説明します

次に、Databricks Lakebase が Databricks lakehouseと直接統合される PostgreSQL 互換の運用データベースを提供し、運用アプリケーションと分析を統合プラットフォーム内で連携できるようにすることで、これらの課題の解決に役立つ方法を学びます

ハンズオンラボでは、

自動スケーリングコンピュートを使用して Lakebase プロジェクトを作成および探索します

• Lakebase UI の分岐、モニタリング、設定を操作します

• Lakebase SQL エディターを使用してテーブルの作成やクエリを実行します

• Lakehouse Federation と外部カタログを利用して Databricks から Lakebase データをクエリします

• Delta テーブルを Lakebase に同期して Reverse ETL を実行します

• Python から Lakebase に接続し、基本的な CRUD 操作を行います

このコースは入門コースのため、Lakebase の主要な概念や基本的なワークフローの理解に重点を置いています。 Lakebase 上に完全な本番アプリケーションを構築することは、このコースの範囲外です

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

このコースでは、Databricks Data Intelligence Platformにおけるプラットフォーム管理の基礎を学びます。Databricks環境内での効果的なデータガバナンスに不可欠なコンポーネントであるUnity Catalogの包括的な概要を提供します。5つのモジュールに分かれており、Databricksインフラストラクチャとdata intelligence platformの詳細な紹介から始まります。Databricks workspaceの詳細な操作手順も含まれます。Unity Catalog内のデータガバナンス原則を探求し、その主要な概念、アーキテクチャ、役割をカバーします。さらに、クラスターやSQLウェアハウスを含む、Unity Catalog metastoresとコンピューティングリソースの管理に重点を置きます。最後に、権限、きめ細かいアクセス制御、データオブジェクトのガバナンス手法を学び、データアクセス制御を習得します。修了時には、効果的なデータガバナンスの実装、コンピューティングリソースの最適化、堅牢なデータセキュリティ戦略の徹底に必要な、Unity Catalog管理の必須スキルを身につけます。Databricks Labsサブスクリプションを購入すると、コースの最後には、ライブのDatabricks workspace環境で学んだ内容を実践する包括的なラボ演習が用意されています。

Languages Available: English | 日本語 | Português BR | 한국어

このコースでは、DevOpsの原則とDatabricks projectへの応用について包括的に解説します。まず、DevOps、DataOps、継続的インテグレーション（CI）、継続的デプロイメント（CD）、テストといった中核概念の概要から始め、これらの原則をデータエンジニアリングパイプラインに適用する方法を探求します。

コースでは次に、CI/CDプロセス内での継続的デプロイに焦点を当て、プロジェクトデプロイのためのDatabricks REST API、SDK、CLIなどのツールを検証します。Databricks Asset Bundles（DAB）について学び、それらがCI/CDプロセスにどのように組み込まれるかを理解します。DABの主要コンポーネント、フォルダ構造、Databricks内の様々なターゲット環境へのデプロイを効率化する仕組みについて深く掘り下げます。さらに、Databricks CLIを使用して、異なる構成を持つ複数環境向けにDatabricks Asset Bundlesの変数追加、修正、検証、デプロイ、実行を行う方法も学びます。

最後に、本コースではVisual Studio Codeをインタラクティブ開発環境（IDE）として紹介し、Databricks Asset Bundlesのローカル環境でのビルド、テスト、デプロイを可能にすることで開発プロセスを最適化します。コースの締めくくりとして、GitHub Actionsを用いたデプロイパイプラインの自動化を紹介し、Databricks Asset Bundlesを用いたCI/CDワークフローの強化を図ります。

本コース修了時には、Databricks Asset Bundles を使用して Databricks projectのデプロイを自動化し、DevOps プラクティスを通じて効率性を向上させるスキルを身につけることができます。

注：このコースは「Databricksによる高度なデータエンジニアリング」シリーズの4回目です。