AI Runtimeのご紹介：Databricksにおけるトレーニングおよびファインチューニングのための、スケーラブルでサーバーレスなNVIDIA GPU

GPUは、予測やレコメンデーションからマルチモーダル基盤モデルまで、今日の最も高度なAIワークロードを支えています。しかし、チームはGPUインフラストラクチャの調達と管理、分散トレーニング環境の設定、データロードのボトルネックのデバッグに苦労しています。ディープラーニングの研究者は、インフラストラクチャのトラブルシューティングではなく、モデリングに集中したいと考えています。

Databricksは、A10およびH100でのオンデマンド分散GPUトレーニングを可能にする新しいトレーニングスタックであるAI Runtime（AIR）のパブリックプレビューを発表できることを嬉しく思います。AI Runtimeには、MPTやDBRXのようなLLMの大規模トレーニングに使用されるすべてのテクノロジーが含まれています。ベータ版でも、Rivian、Factset、YipitDataを含む数百ものお客様がAIRを使用してディープラーニングモデルをトレーニングし、本番環境に出荷しています。ユースケースは、コンピュータビジョンモデルからレコメンデーションシステム、エージェントタスク向けのファインチューニングされたLLMまで多岐にわたります。Databricks AI Researchチームも、最近のKARLの論文で示されたようなモデルの強化学習にAIRを使用しました。

AI Runtimeにより、Databricksユーザーは以下の機能を利用できるようになりました。

• サーバーレスオンデマンドNVIDIA GPU：ノートブックを2〜3クリックで設定するだけで、サーバーレスA10およびH100 GPUに高速接続してトレーニングを開始できます。クラスターは不要です。アイドル時間の利用を気にすることなく、使用したGPUに対してのみ料金が発生します。
• 堅牢なオーケストレーションツール：長時間のGPUワークロードに対応するLakeflow JobsおよびDABsサポートにより、Databricksのオーケストレーションスイートの全機能を利用できます。
• 最適化された分散トレーニング：AIRは、RDMAや高性能データロードなどの分散GPUパフォーマンス強化機能をバンドルしています。
• 一元化されたガバナンスとオブザーバビリティ：MLflowによる組み込みの実験管理、Unity Catalogによるアクセス管理、エージェント支援デバッグにより、データが存在する場所でGPUワークロードを実行、監視、ガバナンスできます。

ノートブックでのオンデマンドNVIDIA H100およびA10 GPU

インタラクティブな開発とデバッグのために、数クリックでDatabricksノートブックのオンデマンドA10およびH100に接続できます。そこから、一般的なPythonパッケージの環境管理から、Genie Codeによるエージェント駆動の作成とデバッグまで、Databricksが提供するすべての開発者エルゴノミクスを活用できます。Lakehouseからデータを簡単にマウントしてディープラーニングモデルをトレーニングしたり、GPU搭載ノートブックからリモートCPUのフリートを呼び出してSparkデータ処理ワークロードを準備したりすることもできます。

Genie Codeを使用して、パフォーマンスのボトルネックを解決したり、新しいアーキテクチャを試したり、モデルの収束に関する厄介なバグや、わかりにくいフレームワークのエラーをデバッグしたりできます。

本番対応ワークロードのためのLakeflow

AI Runtimeは、アクセラレーテッドコンピューティングのための本番グレードのプラットフォームです。ディープラーニングコードをインタラクティブなノートブックで開発し、Lakeflowの全機能を使用してGPUコンピューティングでジョブを送信およびオーケストレーションします。ノートブックとカスタムコードリポジトリの両方を、長時間のジョブやスケジュールされたジョブのためにLakeflowで実行できます。CI/CD（継続的インテグレーションおよび継続的デプロイメント）などの本番環境のニーズに対応するため、AI RuntimeはDeclarative Automation Bundles（DABs）と完全に互換性があります。

Lakeflowとの統合により、お客様はモデルのトレーニングとファインチューニングを、アップストリームのデータパイプラインおよびダウンストリームの本番システムと緊密に同期させることができます。

“DatabricksのAI Runtimeは、カスタムのText To Formula（TTF）モデルのトレーニングプロセスを大幅に合理化しました。インフラストラクチャのセットアップや遅延なしに、プロンプトサイズと出力トークン生成に基づいて適切なコンピューティングを選択するのが容易でした。これにより、迅速に作業を進め、Lakehouseワークフローを維持し、完全なガバナンスを備えた高品質なモデルを提供することができ、モデルのセットアップ、トレーニング、デプロイにかかる時間を数日から数時間に短縮できました。”— Nikhil Sunderraj、Principal Machine Learning Engineer、FactSet Research Systems, Inc.

分散ディープラーニング向けに最適化されたランタイム

分散トレーニングワークロードは、準備、デバッグ、監視が困難な場合があります。RDMAセットアップのトラブルシューティングから、複数のGPUからのテレメトリの追跡、適切なソフトウェア設定まで、ユーザーはモデルトレーニングを劇的に遅くする重要な詳細を見落としがちです。

代わりに、AI Runtimeはディープラーニングライフサイクル全体に最適化されており、時間の節約のために設計されています。PyTorchやCUDAなどの主要な依存関係はプリインストールされており、Ray、Hugging Face Transformers、Composerなどの分散トレーニングフレームワークやその他のライブラリの最適化されたサポートも含まれているため、環境を管理することなくすぐにトレーニングを開始できます。UnslothやTorchRec、カスタムトレーニングループなど、独自のライブラリを持ち込むことも歓迎します。

統合されたSDKとオブザーバビリティツールにより、分散トレーニングワークロードの管理が簡素化されます。MLFlowは、GPU使用率とトレーニング実験の自動追跡により、GPUワークロードの深いオブザーバビリティを可能にします。基盤モデルのファインチューニングであっても、予測およびパーソナライゼーションモデルのトレーニングであっても、ランタイムは最小限のセットアップでトレーニングワークフローを高速化するように最適化されています。

AI Runtimeの今日のパブリックプレビューは、単一ノードで8x H100間の分散トレーニングをサポートしており、マルチノードサポートは現在プライベートプレビュー中です。

“DatabricksのAI Runtimeにより、インフラストラクチャのオーバーヘッドなしに、レイクハウス内で直接LLMワークロード（ファインチューニングおよび推論）を効率的に実行できます。このシームレスな統合はパイプラインを簡素化し、GPUを効率的に利用できるようにすることで、高品質なAIインサイトを顧客に提供し、インフラストラクチャではなくイノベーションに集中することを可能にします。”— Lucas Froguel、Senior AI Platform Engineer、YipitData

一元化されたデータガバナンスとオブザーバビリティ

AI RuntimeはDatabricks Lakehouseとネイティブに統合されており、データが存在する場所でGPUワークロードを実行およびガバナンスできます。これにより、断片化されたワークフローが排除され、実験から本番環境へのパスが簡素化されます。

• Unity Catalogによる一元化されたガバナンス：データとAIワークロード全体に一貫したアクセス制御、リネージ、ガバナンスポリシーを適用し、GPUリソースの安全でコンプライアンスに準拠した使用を可能にします。
• 統合されたオブザーバビリティ：ネイティブシステムテーブルを使用して、すべてのワークロード（CPUおよびGPU）を1か所で追跡および監視し、統合された監査、使用状況追跡、運用上の洞察を得ます。

AIワークロードはエンタープライズデータ境界内で完全に実行され、実験とスケーリングの柔軟性を犠牲にすることなく、強力なガバナンスとセキュリティを提供します。

“Lakehouse内でDatabricksのサーバーレスGPUサポートを活用することで、インフラストラクチャのオーバーヘッドなしに、高度なオーディオおよびマルチモーダルモデルを効率的にトレーニングできます。このシームレスな統合はワークフローを簡素化し、GPUリソースの効率的な利用を提供することで、高性能システムを提供し、イノベーションに集中することを保証します。”— Arjuna Siva、VP of Infotainment & Connectivity、Rivian and Volkswagen Group Technologies

NVIDIAからの次世代GPUイノベーションの統合

AIワークロードやエージェントシステム全体で、高速コンピューティングの需要が高まり続けています。AI Runtimeにより、より多くのDatabricksのお客様がNVIDIAハードウェアを活用してAIワークロードを高速化し、ビジネスを前進させることができます。私たちは、NVIDIAとのパートナーシップを継続し、GTC 2026で発表されたRTX PRO 4500 Blackwell Server Editionのような最新のNVIDIAテクノロジーを、お客様にお届けできることを楽しみにしています。

"AIの導入が業界全体で加速するにつれて、組織はデータとAIワークロードを強化するための、スケーラブルで高性能なインフラストラクチャを必要としています。NVIDIAのテクノロジーは、Databricks Lakehouse PlatformのAI Runtimeに高速なパフォーマンスをもたらします。"— Pat Lee, NVIDIA、戦略パートナーシップ担当バイスプレジデント。

AI Runtimeを今すぐ開始する

開始を支援するために、いくつかのテンプレートノートブックとスターターガイドを用意しました。 

• セットアップと日常的な使用に関する詳細な手順については、ドキュメントをご覧ください。
• レコメンダーシステム、従来のMLモデル、LLMのファインチューニングなどのトレーニングのためのスターターテンプレート！
• クラシックコンピューティングGPUワークロードからサーバーレスへの移行ガイド 。

詳細については、アカウントチームにお問い合わせいただくか、ご質問がある場合はお気軽にご連絡ください！

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事