メインコンテンツへジャンプ

Generative AI Engineering with Databricks - Japanese

このコースは、最新かつ最も一般的なフレームワークとDatabricksの機能を使用してGenerative AIアプリケーションを構築したいデータサイエンティスト、機械学習エンジニア、その他のデータ実務家を対象としています。

以下では、このコースに含まれる4つのモジュール(4時間)について説明します。

Generative AI Solution Development:(ジェネレーティブAIソリューション開発): このコースでは、RAG(retrieval-augmented generation)メソッドを使用したコンテキスト生成AIソリューションを紹介します。まず、Mosaic AI Playgroundを使って、RAGアーキテクチャとコンテキスト情報の重要性を紹介します。次に、Generative AIソリューションのためにデータを準備する方法を紹介し、このプロセスとRAGアーキテクチャの構築を結びつけます。最後に、コンテキスト埋め込み、ベクター、ベクターデータベース、Mosaic AI Vector Searchの活用に関する概念を探ります。

Generative AI Application Development: 多段階推論LLMチェーンとエージェントを使用した高度なLLMアプリケーションを構築するための情報と実践的な経験が必要ですか?このモジュールでは、まず問題を構成要素に分解し、ビジネスユースケースを強化するために各ステップに最適なモデルを選択する方法を学びます。続いて、LangChainとHuggingFaceトランスフォーマーを利用して多段推論チェーンを構築する方法を紹介します。最後に、エージェントを紹介し、Databricks上で生成モデルを使用した自律エージェントを設計します。

Generative AI Application Evaluation and Governance: ジェネレーティブAIシステムの評価とガバナンスについて学びます。まず、評価とガバナンス/セキュリティシステムを構築する意味と動機を探ります。次に、評価およびガバナンスシステムをDatabricks Data Intelligence Platformに接続します。第三に、特定のコンポーネントやアプリケーションの種類に応じた様々な評価手法を学びます。最後に、パフォーマンスとコストに関するAIシステム全体の評価の分析でコースを締めくくります。

Generative AI Application Deployment and Monitoring: ジェネレーティブAIアプリケーションの展開、運用、監視の方法を学ぶ準備はできていますか?このモジュールでは、Model Servingのようなツールを使用したジェネレーティブAIアプリケーションのデプロイのスキルを習得します。また、ベストプラクティスと推奨されるアーキテクチャに従ってGenerative AIアプリケーションを運用する方法についても説明します。最後に、Lakehouse Monitoringを使用してジェネレーティブAIアプリケーションとそのコンポーネントを監視する方法について説明します。


Languages Available: English | 日本語 | Português BR | 한국어


Skill Level
Associate
Duration
16h
Prerequisites

このコンテンツは以下のようなスキル、知識、能力のある受講者向けに開発されています。

  • 生成 AI の基礎

  • Databricks Machine Learning の開始

Outline

1 日目

  • 生成 AI と LLM

  • 自然言語処理の入門

  • Databricks と LLM

  • LLM アプリケーション

  • 検索拡張生成

  • マルチステージ推論

2 日目

  • LLM のファインチューニング

  • LLM の評価

  • 社会と LLM

  • LLMOps

Upcoming Public Classes

Date
Time
Language
Price
Nov 10 - 13
01 PM - 05 PM (Asia/Tokyo)
Japanese
$1500.00
Dec 11 - 12
09 AM - 05 PM (Asia/Tokyo)
Japanese
$1500.00
Jan 06 - 09
01 PM - 05 PM (Asia/Tokyo)
Japanese
$1500.00

Public Class Registration

If your company has purchased success credits or has a learning subscription, please fill out the Training Request form. Otherwise, you can register below.

Private Class Request

If your company is interested in private training, please submit a request.

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

Register now

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

Register now

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Data Engineer

Data Engineering with Databricks - Japanese

これは、Databricksを用いたデータエンジニアリングを学ぶための適切な入門コースです。

以下に、本コースに含まれる4つの4時間モジュールについてそれぞれ説明します。

 

1. Lakeflow Connectによるデータ取り込み

このコースでは、多様なデータソースからDatabricksへデータを取り込むためのスケーラブルかつ簡素化されたソリューションとして、Lakeflow Connectの包括的な導入を提供します。まずLakeflow Connect内の各種コネクタ(標準コネクタとマネージドコネクタ)について学び、バッチ処理、増分バッチ処理、ストリーミング処理といった様々なデータ取り込み手法を理解します。その後、Deltaテーブルとメダリオンアーキテクチャの主な利点について確認します。

 

そこから、Lakeflow Connect スタンダード・コネクタを使用してクラウド・オブジェクト・ストレージからデータを効率的に取り込む実践的なスキルを習得します。具体的には、CREATE TABLE AS (CTAS)、COPY INTO、Auto loaderなどの手法と、各アプローチの利点および考慮事項について学びます。次に、Databricks data intelligence platformへの取り込み時に、ブロンズレベルテーブルにメタデータ列を追加する方法を学びます。続いて、ブロンズテーブルのスキーマに一致しないレコードを扱う「レスキューデータ列」の操作について、このレスキューデータの管理戦略を含めて学習します。

 

本コースでは、半構造化JSONデータの取り込みと平坦化技術に加え、Lakeflow Connectマネージドコネクタを用いたエンタープライズグレードのデータ取り込み手法についても紹介します。

 

最後に、学習者は代替データ取り込み戦略(MERGE INTO操作やDatabricks Marketplaceの活用を含む)を探求し、現代的なデータエンジニアリングの取り込みを支える基礎知識を身につけます。 

 

2. Lakeflowジョブによるワークロードのデプロイ

Lakeflow ジョブを駆使したワークロードのデプロイコースでは、Lakeflow ジョブを用いたデータ、アナリティクス、AI ワークフローのオーケストレーションと自動化手法を学びます。柔軟なスケジューリング、高度なオーケストレーション、信頼性と効率性を高めるベストプラクティスを駆使し、Databricks Data intelligence Platformにネイティブ統合された堅牢で本番環境対応のパイプライン構築技術を習得します。Databricks、Python、SQL の事前知識が推奨されます。

 

3. Lakeflow Declarative Pipelinesでデータパイプラインを構築する

このコースでは、DatabricksのLakeflow Declarative Pipelinesを使用して、増分バッチまたはストリーミングの取り込みと処理を複数のストリーミングテーブルおよびマテリアライズドビューを通じて行うためのデータパイプライン構築に必要な基本概念とスキルを紹介します。Lakeflow Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントについて包括的な概要を提供し、それぞれの具体的な目的と違いを強調します。

 

取り上げるトピックには以下が含まれます:

⇾ Lakeflowのマルチファイルエディターを使用したSQLによるETLパイプラインの開発とデバッグ(Pythonコード例付き)

⇾ Lakeflow Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

⇾ パイプラインのコンピューティングリソース、データ資産、トリガーモード、その他の高度なオプションの設定

 

次に、本コースではLakeflowにおけるデータ品質の期待値を紹介し、パイプラインに期待値を統合してデータ整合性を検証・強制するプロセスをユーザーにガイドします。学習者はその後、パイプラインを本番環境に展開する方法を探求します。これには、スケジューリングオプション、本番モード、パイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化が含まれます。

 

最後に、本コースでは、Lakeflow Declarative Pipelines内でAPPLY CHANGES INTO構文を使用してチェンジデータキャプチャ(CDC)を実装し、slowly changing dimensions(SCDタイプ1およびタイプ2)を管理する方法について解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

 

4. Unity Catalogによるデータ管理とガバナンス

このコースでは、Databricks Unity Catalogを使用したデータ管理とガバナンスについて学びます。データガバナンスの基礎概念、データレイク管理の複雑性、Unity Catalogのアーキテクチャ、セキュリティ、管理、および詳細なアクセス制御、データ分離、権限管理などの高度なトピックを網羅します。

 

* 本コースは、アソシエイトデータエンジニア認定試験の合格を目指す学生の準備を支援し、Databricks を使用した上級データエンジニアリングコースを受講するために必要な知識を提供します。

Languages Available: English | 日本語 | Português BR | 한국어

Paid
16h
Lab
instructor-led
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.