Machine Learning with Databricks - Japanese

このコースでは、Databricks SQLの包括的な入門を提供します。学習者はデータのインジェスト、クエリの作成、ビジュアライゼーションとダッシュボードの作成、アラートの設定を行います。このコースは、Databricks認定データアナリストアソシエイト試験を受験するための準備コースです。

このコースは4時間のモジュール2つで構成されている。SQL Analytics on Databricks

このコースでは、特に Databricks SQL に焦点を当てて、データ分析に Databricks を効果的に使用する方法を学習します。 Databricks データアナリストの責任には、関連データの検索、潜在的なアプリケーションのための分析、貴重なビジネスインサイトを提供する形式への変換が含まれます。 

また、データオブジェクトの管理における自分の役割と、ノートブック、SQL エディター、Databricks SQL などのツールを使用して Databricks データインテリジェンスプラットフォーム内でデータオブジェクトを操作する方法についても理解できます。 

さらに、データ資産とプラットフォーム全体の管理における Unity Catalog の重要性についても学習します。 最後に、このコースでは、Databricksがパフォーマンスの最適化を促進する方法の概要を説明し、クエリーインサイトにアクセスして、DatabricksでSQLアナリティクスを実行するときにバックグラウンドで発生するプロセスを理解する方法について説明します。

AI/BI for Data Analysts

このコースでは、Databricks が提供する機能を使用してビジネスインテリジェンスのニーズに対応する方法を学習します。 AI/BI ダッシュボードと AI/BI Genie。 Databricks データアナリストは、プラットフォーム内に AI/BI ダッシュボードと AI/BI Genie Spaces を作成し、関係者や必要な関係者によるこれらの資産へのアクセスを管理し、これらの資産が編集、更新、または廃止されたときに、そのライフサイクル全体にわたって維持する任務を負います。 このコースでは、ビジネスインサイトのためのダッシュボードを設計し、それをコラボレーターや利害関係者と共有し、それらの資産をプラットフォーム内で維持する方法を参加者に指示することを目的としています。 また、Databricks Data Intelligence Engineを活用した環境の構築と保守を通じて、AI/BI Genie Spacesを活用してセルフサービスアナリティクスをサポートする方法も学びます。

Languages Available: English | 日本語 | Português BR | 한국어

このコースは、最新かつ最も一般的なフレームワークとDatabricksの機能を使用してGenerative AIアプリケーションを構築したいデータサイエンティスト、機械学習エンジニア、その他のデータ実務家を対象としています。

注記：Databricks Academyでは、Databricks環境内での教室セッションをノートブック形式に移行し、最初の2モジュールにおける講義用スライドデッキの使用を終了します。講義ノートブックはVocareumラボ環境でアクセス可能です。

以下では、このコースに含まれる4つのモジュール（4時間）について説明します。

Building Retrieval Agents On Databricks: 本コースでは、Databricks Data Intelligence Platform 上での検索エージェント構築に関する実践的なトレーニングを提供します。参加者は、非構造化文書を構造化データに解析する方法、検索workflows向けにコンテンツを変換・チャンク化する方法、文書検索のためのvector searchソリューションの構築方法、MLflow および Agent Bricks を使用した本番環境対応エージェントの開発方法を学びます。コースでは、文書処理から埋め込み生成、vector インデックス作成、ガバナンス機能を備えたエージェントデプロイメントに至るまでの、エージェントのライフサイクル全体を網羅します。

Building Single-Agent Applications on Databricks： 本コースでは、Databricks Data Intelligence Platform上で単一エージェントアプリケーションを構築するための実践的なトレーニングを提供します。受講者は、Unity Catalogの機能をツールとして活用するAIエージェントの作成、MLflowによる包括的なトレースとモニタリングの実装、LangChainのような従来型frameworksとAgent Bricksのような最新ソリューションの両方を使用したエージェントのデプロイ方法を学びます。コースでは、AI Playgroundでの初期ツール作成とテストから、ガバナンス、評価、継続的改善機能を備えた本番環境へのデプロイまで、エージェントのライフサイクル全体を網羅します。

Generative AI Application Evaluation and Governance： ジェネレーティブAIシステムの評価とガバナンスについて学びます。まず、評価とガバナンス/セキュリティシステムを構築する意味と動機を探ります。次に、評価およびガバナンスシステムをDatabricks Data Intelligence Platformに接続します。第三に、特定のコンポーネントやアプリケーションの種類に応じた様々な評価手法を学びます。最後に、パフォーマンスとコストに関するAIシステム全体の評価の分析でコースを締めくくります。

Generative AI Application Deployment and Monitoring： ジェネレーティブAIアプリケーションの展開、運用、監視の方法を学ぶ準備はできていますか？このモジュールでは、Model Servingのようなツールを使用したジェネレーティブAIアプリケーションのデプロイのスキルを習得します。また、ベストプラクティスと推奨されるアーキテクチャに従ってGenerative AIアプリケーションを運用する方法についても説明します。最後に、Lakehouse Monitoringを使用してジェネレーティブAIアプリケーションとそのコンポーネントを監視する方法について説明します。

Languages Available: English | 日本語 | Português BR | 한국어

これは、Databricksを用いたデータエンジニアリングを学ぶための適切な入門コースです。

以下に、本コースに含まれる4つの4時間モジュールについてそれぞれ説明します。

1. Lakeflow Connectによるデータ取り込み

このコースでは、多様なデータソースからDatabricksへデータを取り込むためのスケーラブルかつ簡素化されたソリューションとして、Lakeflow Connectの包括的な導入を提供します。まずLakeflow Connect内の各種コネクタ（標準コネクタとマネージドコネクタ）について学び、バッチ処理、増分バッチ処理、ストリーミング処理といった様々なデータ取り込み手法を理解します。その後、Deltaテーブルとメダリオンアーキテクチャの主な利点について確認します。

そこから、Lakeflow Connect スタンダード・コネクタを使用してクラウド・オブジェクト・ストレージからデータを効率的に取り込む実践的なスキルを習得します。具体的には、CREATE TABLE AS (CTAS)、COPY INTO、Auto loaderなどの手法と、各アプローチの利点および考慮事項について学びます。次に、Databricks data intelligence platformへの取り込み時に、ブロンズレベルテーブルにメタデータ列を追加する方法を学びます。続いて、ブロンズテーブルのスキーマに一致しないレコードを扱う「レスキューデータ列」の操作について、このレスキューデータの管理戦略を含めて学習します。

本コースでは、半構造化JSONデータの取り込みと平坦化技術に加え、Lakeflow Connectマネージドコネクタを用いたエンタープライズグレードのデータ取り込み手法についても紹介します。

最後に、学習者は代替データ取り込み戦略（MERGE INTO操作やDatabricks Marketplaceの活用を含む）を探求し、現代的なデータエンジニアリングの取り込みを支える基礎知識を身につけます。 

2. Lakeflowジョブによるワークロードのデプロイ

Lakeflow ジョブを駆使したワークロードのデプロイコースでは、Lakeflow ジョブを用いたデータ、アナリティクス、AI ワークフローのオーケストレーションと自動化手法を学びます。柔軟なスケジューリング、高度なオーケストレーション、信頼性と効率性を高めるベストプラクティスを駆使し、Databricks Data intelligence Platformにネイティブ統合された堅牢で本番環境対応のパイプライン構築技術を習得します。Databricks、Python、SQL の事前知識が推奨されます。

3. Lakeflow Declarative Pipelinesでデータパイプラインを構築する

このコースでは、DatabricksのLakeflow Declarative Pipelinesを使用して、増分バッチまたはストリーミングの取り込みと処理を複数のストリーミングテーブルおよびマテリアライズドビューを通じて行うためのデータパイプライン構築に必要な基本概念とスキルを紹介します。Lakeflow Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントについて包括的な概要を提供し、それぞれの具体的な目的と違いを強調します。

取り上げるトピックには以下が含まれます：

⇾ Lakeflowのマルチファイルエディターを使用したSQLによるETLパイプラインの開発とデバッグ（Pythonコード例付き）

⇾ Lakeflow Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

⇾ パイプラインのコンピューティングリソース、データ資産、トリガーモード、その他の高度なオプションの設定

次に、本コースではLakeflowにおけるデータ品質の期待値を紹介し、パイプラインに期待値を統合してデータ整合性を検証・強制するプロセスをユーザーにガイドします。学習者はその後、パイプラインを本番環境に展開する方法を探求します。これには、スケジューリングオプション、本番モード、パイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化が含まれます。

最後に、本コースでは、Lakeflow Declarative Pipelines内でAPPLY CHANGES INTO構文を使用してチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法について解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

4. データエンジニアリングのためのDevOps要点

このコースでは、Databricks を使用するデータエンジニア向けに特別に設計された、ソフトウェアエンジニアリングのベストプラクティスと DevOps の原則について説明します。 参加者は、コード品質、バージョン管理、ドキュメンテーション、テストなどの主要なトピックで強力な基盤を構築します。 このコースではDevOpsに重点を置き、コアコンポーネント、利点、およびデータエンジニアリングワークフローの最適化における継続的インテグレーションと継続的デリバリー(CI/CD)の役割について説明します

PySpark でモジュール性の原則を適用して、再利用可能なコンポーネントを作成し、コードを効率的に構造化する方法を学習します。 実践的な経験には、pytest フレームワークを使用した PySpark 関数の単体テストの設計と実装、その後の DLT と Workflows を使用した Databricks データパイプラインの統合テストが含まれ、信頼性を確保します

このコースでは、Databricks Git フォルダーを使用した継続的インテグレーションのプラクティスの統合など、Databricks 内の基本的な Git 操作についても説明します。 最後に、REST API、CLI、SDK、Databricks アセットバンドル (DAB) など、Databricks アセットのさまざまなデプロイ方法の概要を説明し、パイプラインをデプロイして管理する手法に関する知識を身に付けます

このコースを修了すると、ソフトウェアエンジニアリングとDevOpsのベストプラクティスに習熟し、スケーラブルで保守可能、かつ効率的なデータエンジニアリングソリューションを構築できるようになります。

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française