Get Started with Databricks for Machine Learning - Japanese

このコースでは、Databricks 上でリトリーバルエージェントを構築するための実践的なトレーニングを提供します。参加者は、非構造化データ向けの Genie Agents の作成、Lakebase Search を使用した情報検索、AI Functions を活用した非構造化ドキュメントの解析と構造化データへの変換、セマンティック検索のためのテキストのチャンク分割、および複数の検索モードを備えた AI Search インデックスの構築について学びます。

注: SCORM講義ファイルでは、コンテンツを完了した後に必ずSCORMウィンドウを閉じてください。「次のレッスン」ボタンをクリックしないでください。クリックすると、SCORMモジュールが完了として記録されない場合があります。

このコースでは、単一マシンからDatabricks上の分散コンピュートまでスケールする機械学習ワークフローを設計・実装する方法を学びます。カリキュラムは3つのモジュールで構成されています。モデル開発の基礎（分散処理が必要な場面・理由、およびSparkの処理実行の仕組み）、Spark MLとMLflowを用いたスケーラブルなモデル開発、そしてRayとPyTorchを用いた分散モデルトレーニング — 最後に、特定のワークロードに適したツールを選択するためのFrameworkを紹介します。

ハンズオンのデモとラボを通じて、Transformer、Estimator、およびfit/transformパラダイムを使用した分散Spark ML機械学習パイプラインを構築し、Pandas API on SparkでPandasの既存コードをスケールさせ、MLflow 3とUnity Catalogを使って実験のトラッキング・比較・ガバナンスを行う方法を習得します。さらに、Ray TrainとPyTorch（TorchDistributorおよびDeepSpeed）を使用してクラスター全体でモデルをトレーニングし、データサイズ、モデルサイズ、ハードウェア、およびコストに基づいて各ワークロードに適切なFrameworkを選択する方法を学びます。

コースの締めくくりとして、問題をエンドツーエンドで扱うキャップストーンを実施します。フィーチャーのエンジニアリング、スケールでのモデルのトレーニング、MLflowによるトラッキング、そしてガバナンスエイリアスを使用したUnity Catalogへの登録を行います。（本番運用へのデプロイ、サービング、およびモニタリングについては、別途提供されるAdvanced MLOpsコースで扱います。）

コース修了後は、Databricks上で分散型・再現可能・ガバナンスに準拠したモデル開発ワークフローを選択・構築し、その妥当性を説明できるようになります。

注：SCORM講義ファイルの場合、コンテンツを完了したらSCORMウィンドウを閉じてください。「Next Lesson」ボタンはクリックしないでください。クリックすると、SCORMモジュールが完了として記録されない場合があります。

このコースでは、Unity Catalog を使用して Databricks 上でデータガバナンスをスケールで実装する方法を学びます。属性ベースのアクセス制御、オブザーバビリティ、およびフェデレーテッド共有に重点を置いています。具体的には、管理されたタグを使用した ABAC の設定、レガシーのきめ細かいアクセス制御からの移行、監査およびコストモニタリングのためのシステムテーブルの有効化と使用、データおよびモデル品質のためのデータ品質モニタリングのデプロイ、影響分析とコンプライアンスのためのリネージの解釈、そして安全なクロスクラウドコラボレーションのためのフェデレーテッドガバナンスと Delta Sharing パターンの適用について学びます。

注：SCORM講義ファイルの場合は、コンテンツを完了した後、必ずSCORMウィンドウを閉じてください。「次のレッスン」ボタンはクリックしないでください。クリックすると、SCORMモジュールが完了済みとして記録されない可能性があります。