メインコンテンツへジャンプ

Feature Engineering at Scale - Japanese

このコースでは、Databricks プラットフォーム上でエンドツーエンドの特徴量エンジニアリングパイプラインを設計、スケール、および運用化する方法について包括的な理解を深めます。カリキュラムは3つの段階的なモジュールで構成されています。Spark の分散実行と最適化の基礎をマスターすること、Auto Loader と宣言型 LakeFlow パイプラインを使用したスケーラブルなデータ取り込みの実装、そして Databricks Feature Store を活用した本番運用グレードの MLOps への発展です。


Catalyst オプティマイザと Spark UI を使用した Spark パフォーマンスのデバッグ、自動品質チェックを備えたブロンズ・シルバー・ゴールドのメダリオンアーキテクチャの構築、SparkML を使用したスケーラブルな特徴量の変換処理の実装など、実践的な学習体験に取り組んでいただきます。コースの集大成として、Online Feature Store を通じたリアルタイムの特徴量サービングのデプロイ、オンデマンド変換処理を伴う FeatureSpec の定義、そして Unity Catalog によるガバナンスとリネージトラッキングの適用を行います。


コース修了時には、エンタープライズスケールでの機械学習における完全な特徴量ライフサイクルを管理する能力を身に付け、パフォーマンスが高く、信頼性があり、ガバナンスが整備された、本番運用に対応したパイプラインを設計できるようになります。


注:SCORM講義ファイルの場合は、コンテンツの完了後にSCORMウィンドウを閉じてください。‘Next Lesson’ボタンはクリックしないでください。クリックすると、SCORMモジュールが完了済みとして記録されない可能性があります。

Skill Level
Professional
Duration
3h
Prerequisites

このコンテンツは、次のスキル、知識、能力を持つ受講者向けに作成されています:

1.「Apache Spark 入門」コースを修了しているか、基本的なデータの変換処理や Spark SQL を含む Spark の基礎知識と同等の知識を持っていること。

   * 受講者は、分散データ処理における Spark の役割を理解していることが求められます。本コースはその基礎を踏まえ、Spark がスケーラブルな機械学習ワークフローをどのように実現するかを説明します。

2. `pandas`、`numpy`、`scikit-learn` などのライブラリを使用したデータ操作を含む、Python プログラミングの中級レベルの習熟度。

3. モデルのトレーニング、評価、ハイパーパラメータのチューニングを含む、従来の機械学習ワークフローに関する中級レベルの理解。

4. Databricks プラットフォームおよび Workflows に関する知識。

   * 受講者は、本コースの受講前に Databricks Machine Learning Associate コースを修了されることを強くお勧めします。本コースは、Databricks 環境を使用した機械学習開発の知識を前提としています。

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

See all our registration options

Registration options

Databricks has a delivery method for wherever you are on your learning journey

Runtime

Self-Paced

Custom-fit learning paths for data, analytics, and AI roles and career paths through on-demand videos

今すぐ登録

Instructors

Instructor-Led

Public and private courses taught by expert instructors across half-day to two-day courses

今すぐ登録

Learning

Blended Learning

Self-paced and weekly instructor-led sessions for every style of learner to optimize course completion and knowledge retention. Go to Subscriptions Catalog tab to purchase

Purchase now

Scale

Skills@Scale

Comprehensive training offering for large scale customers that includes learning elements for every style of learning. Inquire with your account executive for details

Upcoming Public Classes

Catalog Management and Data Organization - Japanese

このコースでは、Databricks Data Intelligence Platform上でカタログ構造と大規模なデータ組織化を設計、実装、ガバナンスする方法を学びます。エンタープライズlakehouseの集中型ガバナンスレイヤーとしてのUnity Catalogの包括的な概要を提供します。5つのモジュールに分かれており、クラウドデプロイメントモデル内でのUnity Catalogの位置づけから始まります。アカウントコンソール、メタストアの作成、管理者ロール階層をカバーします。次に、組織トポロジー(ビジネスユニット、リージョン、dev/QA/prod環境)を、命名規則、所有権パターン、MANAGE委任を使用したスケーラブルなカタログとスキーマ設計に変換します。コースは、ストレージクレデンシャル、外部ロケーション、managed-storage階層、マネージドテーブルと外部テーブル、非テーブルデータのUC Volumesを使用した安全なストレージ統合をカバーします。次に、アクセスパターンと分離戦略(3レベルのGRANTチェーン、ワークスペース-カタログバインディング、スキーマレベルの属性ベースアクセス制御(ABAC)ポリシー)を適用し、大規模なきめ細かいデータ保護を実施します。最後に、カタログ設計、自動化、最小権限、グループベースのアクセス管理のベストプラクティスで締めくくります。 

注:SCORM講義ファイルの場合は、コンテンツを完了した後、必ずSCORMウィンドウを閉じてください。「次のレッスン」ボタンはクリックしないでください。クリックすると、SCORMモジュールが完了済みとして記録されない可能性があります。

Free
2h
Associate

Questions?

If you have any questions, please refer to our Frequently Asked Questions page.