AI Runtimeが一般提供を開始

本日、AI Runtime (AIR) の一般提供（GA）を開始したことをお知らせします。 これにより、完全管理型の GPU インフラが Databricks に直接導入され、お客様は自社のエンタープライズデータが存在する場所で、最も高度なモデルをトレーニングできるようになります。

AI チームがモデルの改善よりも、GPU リソースの確保、障害の管理、実験の開始待ちに多くの時間を費やしてしまうことが少なくありません。GPU インフラを Lakehouse とは別に運用すると、ガバナンスのギャップが生じ、重要なトレーニングデータがリスクに晒されます。コーディングエージェントがトレーニング実験を加速させる中で、これらのボトルネックやリスクは増大しており、信頼性が高く、高速で、ガバナンスの効いたインフラが不可欠となっています。

AIR は GPU インフラ、開発ツール、データガバナンスを統合します。これにより、チームは別の GPU スタックを管理することなく、大規模なトレーニングを実行し、素早くイテレーションを行い、あらゆるワークロードの安全性を確保できます。Robinhood、PicPay、Merck、Flo Health、TinyFish、FactSet をはじめとする数百もの企業が、ヘルスケア、製造、消費者向けエージェントなどの幅広いユースケースで、すでに AIR を使用してディープラーニングモデルをトレーニングし本番環境へデプロイしています。弊社の Databricks AI Research チームも AIR を活用して、KARL や AI Parse の背後にあるモデルをトレーニングしています。

AIR により、お客様は以下を実現できます。

• 手間のかからない GPU インフラで大規模にトレーニング： 信頼性の高いマルチノードトレーニング、最適化されたパフォーマンス、10 万 GPU 時間以上のトレーニング実行で実証された実績に裏打ちされた、先進的な GPU への Serverless かつオンデマンドなアクセス。
• ほぼ瞬時の起動速度と簡単なデバッグで実験を高速化： 自身のコード、コンテナ、Ray ワークロードを持ち込み、RDMA 対応の GPU 上で数秒レベルの起動速度を実現。環境のキャッシングと組み込みのデバッグツールにより、すべてのトレーニングループの時間を短縮します。
• あらゆる GPU ワークロードを保護および統制： AIR は Databricks と Unity Catalog のガバナンス領域内で動作し、Serverless セキュリティへの長年の投資に支えられています。AIR は、GPU ワークロードが貴重なトレーニングデータを保護し、アクセス制限ポリシーを遵守し、追跡・監査可能であることを担保します。

手間のかからない GPU インフラ

GPU インフラの管理には、キャパシティプランニングやノードのメンテナンスから、ネットワーキング、モニタリングに至るまで、大きな運用負荷が伴います。 

AIR を使用することで、Databricks が GPU のプロビジョニング、インフラの正常性維持、ワークロードの最適化といった運用作業を担うため、チームはトレーニングに集中できます。

• 必要な GPU リソースをオンデマンドで確保。 Databricks が GPU の調達、クラスタ設定、ネットワーキングを処理するため、チームは独自の GPU プラットフォームを構築・運用することなくトレーニングを開始できます。
• 正常なインフラ上で安心してスケール。 Databricks はトレーニング前およびトレーニング中に GPU とネットワークの正常性チェックを何重にも実行するため、ワークロードを数百の GPU へと確実に拡張できます。
• デフォルトで効率的なトレーニング： 組み込みのデータローダーがトレーニングデータをストリーミングおよびキャッシュし、I/O 待ち時間を削減します。UCVolumeDataset などのツールを使用することで、カスタムのローディングパイプラインを構築することなくデータスループットを向上できます。

Databricks AI Runtime を使用することで、大規模トレーニングを 8 基の A100 GPU を備えたシングルノード構成から、16 基の H100 GPU を備えたマルチノード構成に移行しました。これにより、トレーニング時間が約 7 日間から 48 時間へと短縮され、3.5 倍の高速化を実現しました。チームはより大規模なモデル実験をイテレーションし、より効率的にトレーニングを行うことが非常に容易になりました。- Kostia Omelianchuk 氏（Superhuman、アプライドリサーチサイエンティスト 兼 エリアテックリード）

どこで作業していても GPU を利用可能

CLI 経由、または Notebook や IDE 内で対話的に GPU にアクセスできます。最初のワークロードに必要なのは、単一の CLI コマンドだけです。Databricks AIR Skills を使用すると、K8S や SLURM クラスタからの移行は、自然言語のプロンプトを 1 つ入力するだけで完了します。

 

Lakeflow で安心して GPU ワークロードをオーケストレーション

AIR は Lakeflow とネイティブに統合されているため、GPU ワークロードをアップストリームおよびダウンストリームのパイプラインと同期させることができます。本番環境への移行にはわずか数行の YAML を追加するだけで済み、GPU のアイドル時間を最小限に抑える組み込みの優先順位/プリエンプション機能や、運用の手間を削減する Genie ZeroOps などのモニタリングツールを備えています。

 

実験、デバッグ、イテレーションの高速化

分散トレーニングワークロードのセットアップや起動には多くの手間がかかります。AI チームは、トレーニング環境の設定、GPU クラスタの起動待ち、スタック全体にわたる問題のデバッグに時間を浪費してしまいます。

AIR は、コードからトレーニング開始までの時間をわずか数秒に短縮します。構築済みの環境を使用することも、独自のコンテナを持ち込むこともでき、高度に最適化された環境キャッシュにより、環境の構築は一度だけで済みます。AIR は Ray を含む主要なすべてのフレームワークと互換性があるため、最小限の設定でコードを移植できます。  

Databricks AI Runtime により、大規模モデルのトレーニングに必要な信頼性、セキュリティ、パフォーマンスを備えた状態で、データが存在するその場所でトレーニングを行えるようになりました。GPU インフラの管理に費やす時間を減らし、モデル自体の改善により多くの時間を割くことができます。- Vladislav Nedosekin 氏（Flo Health、Data & AI Platform ディレクター・オブ・エンジニアリング）

次の実験を数秒でスタート

トレーニングスクリプトのイテレーションと開発を行う際、わずかな遅延であっても毎回ストレスとなります。そのため、弊社ではプロビジョニングスタックのすべてのレイヤーを最適化し、数件〜数十件の GPU を搭載した大規模な RDMA 対応クラスタであっても、ワークロードが数秒で起動するようにしました。

 

分散トレーニングのデバッグを 1 箇所で実行

業界をリードする実験追跡ツールであるMLflowに、まったく新しいオブザーバビリティ体験を構築しました。この新しい体験により、送信後わずか数秒でストリーミングされるログのデバッグが、AIRコマンドに –watch を追加するだけで簡単に行えます。より詳細な調査には、マルチノード学習用にカスタム構築された新しいログビューアをご利用いただけます。

DatabricksのAI Runtimeにより、カスタムのText To Formula (TTF) モデルの学習プロセスが大幅に効率化されました。インフラのセットアップや遅延がなく、プロンプトのサイズや出力トークン生成に基づいて適切なコンピュートを簡単に選択できました。これにより、迅速に対応を進め、Lakehouseワークフローを維持し、完全なガバナンスを備えた高品質なモデルを提供できるようになり、モデルのセットアップ、学習、デプロイにかかる時間が数日から数時間に短縮されました。- Nikhil Sunderraj, Principal Machine Learning Engineer, FactSet

組み込みのGenie Codeによるエージェンティックなデバッグ

Genie Codeはユーザー体験全体に組み込まれており、問題のデバッグやGPU学習パフォーマンスの最適化を支援するエージェントスキルがパッケージ化されています。これらのスキルには、リサーチチームやパフォーマンスチームが発見した知見（例えば、AIRでQwenの学習時間を6分の1に短縮した方法など）が含まれています。

Robinhoodでは、AI Runtimeにより、インフラのオーバーヘッドなしで、実験から学習へより迅速に移行できています。ファインチューニングはシームレスで、組み込まれたガバナンスとデータ制御を維持しながら、データが存在する場所で学習を行えます。これにより、エンジニアは複雑なGPUセットアップの管理に費やす時間を減らし、より優れたモデルの構築により多くの時間を割くことができます。- Robert Macy III, Machine Learning Engineer, Robinhood

Databricks AI Runtimeを使用すると、既存のデータワークフロー内で、数百万件のレコードに及ぶサーバーレスGPUでの分散学習をスケールアップできます。大手製薬企業トップ20のうち、より多くの企業が開発の意思決定において当社のモデルを頼りにする中、そのスピードとシンプルさにより、チームはインフラの管理ではなくモデルの改善に集中し続けることができます。- Eran Barash, VP of Artificial Intelligence and Machine Learning, QuantHealth

Lakehouseの一環としてあらゆるGPUワークロードのセキュリティとガバナンスを確保

エンタープライズデータとは別にGPUインフラを管理すると、ガバナンスのギャップ、アクセスコントロールの断片化、不必要なデータの複製が発生します。エージェントが数百もの学習実験を並列で実行する際、チームは手動による監視に頼ることなく、機密データが確実にガバナンス下におかれ、ワークロードが安全に隔離された状態を保つ必要があります。 OpenAIのHugging Faceに関するインシデントは、このリスクを物語っています。 

AIRは、信頼性の高いデータ制御とガバナンスをすべてのGPUワークロードに拡張します。Unity Catalogは、GPUワークロードのあらゆる側面（データアクセス、チェックポイント、ログなど）に対して一貫した読み取り/書き込み権限を適用するため、GPUプラットフォームとデータガバナンス層がまったく同じルールで機能するようになります。 

ワークロードの隔離とネットワークアクセスの制御

AIRは、長年にわたる サーバーレスセキュリティへの投資、分離、プライベートネットワーキングに裏付けられています。ホストカーネルを露出させるGPU分離メカニズムとは異なり、AIRはVMレベルの分離を備え、PrivateLinkおよびサーバーレス送信（egress）コントロールをサポートしています。そのため、AIRは従来のシステムと比較して、学習ワークロードに対してはるかに強力な保護を提供します。 

GPU予算の利用状況を把握

AIRの使用状況とコストは、他のDatabricksワークロードとともに、Databricksの課金システムテーブルを通じて追跡できます。ワークロードレベルの使用状況記録を使用して、どの学習ワークロードがGPU予算を消費しているかを特定し、今後の実行に関する決定に役立てることができます。 

Databricks AI RuntimeとServerlessを使用することで、より大規模なモデル、複数のH100 GPU、そして大量のデータを扱いながら、LLMの学習と推論をより迅速にスケールさせることができました。既存のパイプラインとの統合に加え、Databricksのオーケストレーション機能やモニタリング機能により、エンドツーエンドのワークフローがよりシンプルかつ効率的になり、インフラの複雑さと開発サイクル期間が削減されました。- Vitor Rolim, Staff Machine Learning Engineer, PicPay

私達にとって、モデルの学習は課題の一部に過ぎません。変更によってエージェントが実際のタスクを完了する能力が実際に向上するかどうかを確認し、その改善を迅速に本番環境に反映できる必要があります。AI Runtimeを使用することで、ステージごとに別々のスタックを構築することなく、GPUでの学習、MLflowでの評価、Webネイティブモデルのサービングを行うことができます。- Zach Richardson, Head of AI, TinyFish

最初のGPUワークロードをはじめる

スムーズに開始できるよう、いくつかのテンプレートノートブックとスターターガイドをご用意しています。 

• 開始するには、クイックスタートをご覧になり、数秒でAI Runtimeに接続してください。 
• AI Runtimeの詳細は、3分間のデモの視聴や、Webページのご訪問でご確認いただけます。
• サンプルでAIRをお試しになりたいですか？ クックブックリポジトリをクローンして、わずか1つのCLIコマンドで開始しましょう！

詳細の確認やご質問がある場合は、アカウントチームまでお気軽にお問い合わせください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事