Databricks プラットフォームで機械学習を展開
オープンなレイクハウスアーキテクチャを基盤とする Databricks のプラットフォームは、機械学習のためのデータの準備や処理を効率化し、チーム間のコラボレーションを支援し、実験から本番までの機械学習ライフサイクルの合理化を可能にします。
.webp)
機械学習データをシンプルに
Databricks ML は、オープンなレイクハウスアーキテクチャを基盤として構築されており、Delta Lake が組み込まれています。機械学習チームによる、あらゆる規模、種類のデータのアクセス、探索、準備を可能にします。データエンジニアリングのサポートなしで、特徴量をセルフサービスで本稼働パイプラインに組み込めます。
実験追跡とガバナンスの自動化
マネージド MLflow により、実験を自動的に追跡し、トレーニング実行ごとのパラメータ、メトリクス、データとコードのバージョン、モデルの成果物を記録できます。実行履歴をすぐに確認でき、結果を比較したり、必要に応じて過去の結果を再現したりすることも可能です。本番環境に最適なモデルのバージョンを特定した後は、モデルレジストリに登録し、展開ライフサイクル全体のハンドオフを簡素化できます。
モデルのライフサイクル全体を動的に管理
トレーニングされたモデルを登録すると、モデルレジストリを使用してモデルのライフサイクルを共同管理できます。モデルのバージョン管理や移動は、実験、ステージング、本番環境、アーカイブなどさまざまな段階で可能です。ライフサイクル管理は、ロールベースのアクセス制御に従って、承認やガバナンスのワークフローと統合されています。また、コメントやメールの通知機能により、データチームのコラボレーション環境が充実します。
ML モデルの大規模展開を低レイテンシで
サーバーの管理やスケールの制限を気にすることなく、ワンクリックでモデルをデプロイできます。Databricks を使用することで、エンタープライズレベルの高可用性で、モデルを REST API エンドポイントとして任意の場所にデプロイできます。
製品コンポーネント
コラボレーション型 Notebook
Databricks の Notebook は、Python、R、SQL をネイティブにサポートしており、ユーザーは任意の言語やライブラリを使用できます。気づきの視覚化と共有も容易です。
機械学習のランタイム
最も一般的な ML フレームワーク（PyTorch、TensorFlow、scikit-learn など）のスケーラブルかつ信頼性のある分散処理により、事前に構成された ML 最適化クラスタにワンクリックでアクセスできます。このクラスタは、大規模に高性能を実現する最適化を備えています。
特徴量ストア（Feature Store）
自動的にログに記録されたデータソースを活用するデータリネージの検索機能で、特徴量の再利用を促進します。クライアントアプリケーションの変更を不要とするシンプルなモデル展開により、トレーニングやサービスに特徴量を活用できます。
AutoML
AutoML は、グラスボックス的なアプローチによって、機械学習の専門家だけでなく市民データサイエンティストも支援します。すぐに使える高性能なモデルの提供はもとより、専門家による改良が可能なコードの生成もできます。
マネージド MLflow
マネージド MLflow は、MLライフサイクルにおいて世界をリードするオープンソースプラットフォームの MLflow 上に構築されています。エンタープライズセキュリティ、信頼性、スケーラビリティで、 ML モデルの実験から本番への迅速な移行を支援します。
本番グレードのモデルサービング
サーバレスコンピューティングを活用するオプションを備え、あらゆるスケールのモデルをワンクリックで容易に提供します。
モデル監視
モデルのパフォーマンスとそれがビジネス指標に与える影響をリアルタイムで監視します。Databricks は、ソースデータシステムでの修正が必要なモデルに対してもエンドツーエンドの可視性とリネージを提供します。ML ライフサイクル全体にわたるモデルとデータの品質を分析し、問題が発生する前にリスクを特定するのに役立ちます。
リポジトリ
Repos は、Databricks での Git ワークフローを効率化し、自動化された CI/CD ワークフローとコードのポータビリティの活用を可能にします。
