Databricksアナリティクスエンジニア学習パスの発表

本日、新しい Databricks Analytics Engineer Learning Pathway をローンチしました。このカリキュラムでは、生データをガバナンスされ、AIに対応可能な セマンティックモデル および メトリックビュー に変換する方法を学びます。これらは、レイクハウス上の分析、ダッシュボード、AIエージェントを強化する信頼できる基盤となります。このパスウェイは、チームが依存するデータにより多くのオーナーシップを持ちたいと考えている SQL 実務者向けに構築されています。

アナリティクスエンジニアリングが不可欠になっている理由

SQL は常に最新のアナリティクスの基盤でした。しかし、その上に構築される作業は、モデリング、パイプライン、メトリック、そして現在エージェントやダッシュボードが依存しているデータレイヤーへと拡大しています。

信頼性の高い分析と AI は、同じ基盤、つまりガバナンスされ、モデル化され、信頼されたデータ上で実行されます。この基盤を構築することは、以前よりも困難になっています。データはより多くのソースに存在し、より多くの下流のコンシューマーにフィードされています。従来、データの準備を担当してきたデータチームは手一杯です。Economist Enterprise の最近のレポート によると、組織の約 3 分の 2 がパイプライン作成のあらゆる側面でデータエンジニアに完全に依存しており、そのエンジニアのほぼ半数が、データソース接続の設定と修正にほとんどの時間を費やしています。新しい作業に対応する能力は限られています。ますます、ビジネスに最も近い実務者、つまり SQL を扱っている人々に負担がかかっています。

SQL 実務者はビジネスに近い場所にいるため、問われている質問、その下のデータ、そしてチームが重視するメトリックを理解しています。アナリティクスエンジニアリングとは、そのコンテキストを使用して、ビジネスが信頼できるモデル、パイプライン、メトリックを構築する分野です。この作業のためのツールは、現在 SQL ネイティブです。それらをうまく使用するための判断力が、このパスウェイで教えられることです。

パスウェイの内容

Analytics Engineer Pathway は、Databricks 上の完全な SQL ETL ツールキットをカバーする実践的なコースで構成されています。まず Analytics Fundamentals から始め、レイクハウスでのアナリティクスの仕組みを理解します。そこから、残りのカリキュラムは、Databricks の専門家によって教えられ、実践的な例を中心に構築されたアナリティクスエンジニアリングスキルセットの各部分をより深く掘り下げます。

1. Analytics Fundamentals: Databricks でのアナリティクスの仕組み、ユニファイドセマンティクス、AI/BI ダッシュボード、Genie について学びます。1時間の入門コースです。

2. Data Modeling Strategies: レイクハウスで本番環境に対応できるデータモデルの設計方法を学びます。

• データ編成とモデル設計をビジネス要件に合わせる
• Delta Lake と Unity Catalog を使用したデータアーキテクチャの定義
• レイクハウスでのデータプロダクトライフサイクルの理解
• データ統合と共有のためのテクニックの適用

3. Build ETL Pipelines with SQL: Materialized Views、Streaming Tables、Lakeflow Jobs を使用した本番 SQL ETL パイプラインの構築方法を学びます。

• 宣言型パイプラインのための Streaming Tables、Materialized Views、AUTO CDC の活用
• メダリオンアーキテクチャ全体での増分取り込みと変換の実装
• AUTO CDC を使用した SCD Type 1 および Type 2 の処理
• Lakeflow Jobs と SQL ベースのワークフローを使用したパイプラインのオーケストレーション

4. Build Semantic Models with UC Metric Views: SQL でビジネスメトリックを定義およびガバナンスし、信頼できる数値を消費されるすべての場所に表示する方法を学びます。

• Unity Catalog でのメトリックビューの定義と管理
• ウィンドウ関数や半加算メジャーを含む高度なメトリックのモデリング
• Databricks ダッシュボード、Genie スペース、SQL ワークフローとの統合
• ガバナンス、セキュリティ、メンテナンスの実践の適用

5. Build Reliable Conversational Agents with Genie: ビジネスユーザーが信頼できる Genie スペースの設計、出荷、継続的な改善方法を学びます。

• Unity Catalog テーブル、SQL ウェアハウス、ベンチマークを使用した Genie スペースの設定
• 同義語、説明、プロンプトマッチング機能を使用したナレッジストアのキュレーション
• 派生式、結合、指示を使用した SQL でのビジネスロジックのエンコード
• Unity Catalog の権限と ABAC ポリシーを使用したアクセスのガバナンス
• ベンチマーク、ユーザーフィードバック、観察された出力を使用したイテレーション

6. Build Pipelines with Lakeflow Spark Declarative Pipelines: Spark Declarative Pipelines エディタを使用した、ガバナンスされたエンドツーエンドの SQL パイプラインの構築方法を学びます。

• ストリーミングテーブル、マテリアライズドビュー、一時ビューの理解
• 組み込みの期待値を使用したデータ品質の強制
• AUTO CDC INTO を使用したスローリーチェンジングディメンションの処理
• イベントログとメトリックを通じたパイプライン実行の分析

すべてのコースは、セルフペース形式とインストラクター主導形式で利用可能です。パスウェイ全体は、アクティブな Databricks 学習サブスクリプションにも含まれています。

今日から始めましょう

Analytics Engineer Learning Pathway は現在 Databricks Academy で利用可能です。完了すると、生データをモデル化し、パイプラインを出荷し、ダッシュボードと AI の両方を強化するメトリックを定義できるようになります。

チームを率いている場合、このパスウェイは、ビジネスユーザーが意思決定に依存するインサイトを提供するチームを、最も迅速に実現する方法でもあります。

本日 Analytics Fundamentals で探索を開始し、 Databricks Academy を訪問して、パスウェイの残りの部分でスキルを構築し続けてください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事