Databricks AI RuntimeとNVIDIAにより、企業データを用いたオープンモデルのカスタマイズがより簡単になります

GPUは、最先端の言語モデルからマルチモーダルAIシステム、エージェントに至るまで、今日の最も高度なAIワークロードを駆動しています。企業がオープンモデルを自社のデータやビジネスニーズに合わせて調整するケースが増えています。しかし、GPUアクセスを確保することは課題の一部に過ぎません。チームはトレーニングジョブの設定、データアクセスのガバナンス管理、GPUインフラの管理も行う必要があり、モデルの試行錯誤やビジネスニーズへの適合度の評価に割ける時間が減ってしまいます。

DatabricksとNVIDIAは、小規模モデルのファインチューニングから大規模な分散トレーニングまで、エンタープライズデータからカスタムAIモデルの構築に至るシームレスなパスを提供します。DatabricksはUnity Gatewayを通じて、最先端モデルやオープンソースモデルへのガバナンスが効いたアクセスを開発者に提供します。モデルのカスタマイズを必要とするチーム向けに、AI Runtime（AIR）はNVIDIAのAIソフトウェアエコシステムとサーバーレスGPUをエンタープライズデータにもたらします。チームはAIR上でモデルの試行、ファインチューニング、評価を行い、Databricks Model Servingを通じてリアルタイム推論用にデプロイできます。これらすべてをDatabricks Platform内で、最小限のインフラ管理およびガバナンス作業で実現できます。

本日開催されたGTC Berlinにて、DatabricksとNVIDIAはコラボレーションの拡張を発表し、企業によるオープンモデルのカスタマイズをさらに容易にしました。Databricks AIRが一般提供開始（GA）となりました。開発者はNVIDIA NeMo、NGCコンテナ、新しいNemotronクックブックを使用して、サーバーレスNVIDIA GPU上でオープンモデルのトレーニングやファインチューニングを行えるようになります。これらの機能により、チームは特定のビジネス課題に合わせてモデルを調整し、アプリケーションやエージェントで活用するための柔軟性をより一層高めることができます。

AI Runtimeは、これまで機械学習エンジニアの手が届きにくかったエンタープライズデータ上でのモデルトレーニングと強化学習を可能にしました。AI RuntimeとNVIDIAのAIソフトウェアエコシステムを活用することで、チームはNemotronなどのオープンウェイトモデルを独自のユースケースやビジネス文脈に合わせて特化させることができます。ガバナンスの効いたデータアクセス、大規模トレーニングの容易さ、自動デバッグ機能を持つGenie Codeにより、AI Runtimeは企業におけるカスタムモデルの普及を加速させるでしょう。—Hanlin Tang（Databricks、CTO for Neural Networks）

エージェントは、データ、ワークフロー、専門知識といった実際のビジネスの仕組みに基づいているときに最も大きな価値を発揮します。NVIDIAとDatabricksは、NemotronやKumoのようなオープンモデルをガバナンスで保護されたエンタープライズデータに直接連携させることで、企業の知識に基づいて推論し、次の展開を予測して行動を起こす特化型エージェントの構築に必要なモデル、ツール、アクセラレーテッド・コンピューティングをチームに提供します。—Pat Lee（NVIDIA、VP of Strategic Partnerships）

AI Runtimeでトレーニングとファインチューニングを高速化 

AIRはトレーニングとファインチューニング用のサーバーレスNVIDIA GPUを提供するため、開発者はGPUインフラを管理することなく、既存のコードやコンテナを大規模に実行できます。マルチノード分散トレーニングに対応しているため、チームはGPUノード全体でより大きなワークロードをスケーリングできます。NVIDIA Quantum InfiniBandは、リモートダイレクトメモリアクセス（RDMA）を備えた高帯域幅かつ低遅延のネットワークを提供し、NVIDIA Collective Communications Library（NCCL）がGPU間の通信を処理します。Databricksが基礎となるクラスタとネットワークを管理します。

例えば、テクニカルサポートエージェントを構築する企業は、NVIDIA Nemotronオープンモデルから始めて、AIR上のNVIDIA NeMoを使用してラベル付きのサポートチケットデータでファインチューニングを行うことができます。チームはさまざまなトレーニング手法を試しながら、モデルを特定のサポートワークフローに適合させるプロセスにおいて、MLflowを用いて結果を追跡できます。

開発者は、Lakehouseデータの準備を行い、GPU搭載のノートブックまたはAIR CLIを通じて、高性能なデータロードやPyTorchおよびCUDAを含む標準環境を利用して試行できます。分散トレーニングフレームワークを使用することも、独自のライブラリやカスタムトレーニングループを導入することも可能です。

実験を繰り返し実行できる段階になったら、Lakeflow Jobsが上流のデータ準備や下流の評価と並行してトレーニングをオーケストレーションし、個別の実行を反復可能なワークフローへと変換します。Declarative Automation Bundlesは、それらのワークフローのデプロイおよび更新のためのCI/CDをサポートします。

MLflowはトレーニング実験とGPU使用率を追跡し、モデルの結果や計算パフォーマンスの比較を支援します。Unity Catalogはトレーニングデータへのアクセスを統制し、ネイティブシステムテーブルがCPUおよびGPUの使用状況を可視化します。これらの統合により、チームはDatabricksで使い慣れているデータ、ガバナンス、運用ツールをそのまま活用できます。

NVIDIA AIソフトウェアでワークロードを加速

ディープラーニングモデルのトレーニングやファインチューニングには、GPU計算能力以上のものが必要です。チームにはフレームワーク、ライブラリ、環境における柔軟性も求められます。AIRがDockerとプライベートレジストリをサポートするようになったことで、開発者はカスタムコンテナ化環境をGPUワークロードに持ち込めるようになりました。

開発者は、NVIDIA NGC CatalogのGPU最適化コンテナを Databricks Artifact Registryと組み合わせて利用することで、NVIDIAソフトウェアをAIRに導入できます。環境キャッシュ機能によりワークロードの迅速な開始が可能となり、トレーニングコードの反復処理や実験の再実行に伴う設定オーバーヘッドが削減されます。

開発者は、NVIDIAプロファイリングツールをインストールしてGPUの実行状態を詳細に分析し、パフォーマンスのボトルネックを調査することもできます。MLflowで追跡されるGPU使用率メトリクスとともに、これらのツールはトレーニングワークロードがどこで時間を消費しているかを把握し、パフォーマンス向上の機会を特定するのに役立ちます。チームは、AIRが基礎となるGPUインフラを管理する間に、ソフトウェアやトレーニングコードのチューニングに専念できます。

AIRはLLM以外のカスタマイズもサポートしており、時系列異常検知用のオープンリサーチモデルである NVIDIA Kumo Anomalyの検証済みファインチューニングワークフロー（MLflowによる追跡とUnity Catalogによるチェックポイント作成機能付き）を提供しています。これは、エージェントナレッジレイヤーの構築を目指す NVIDIAのAgent Knowledge Foundationのビジョンを支援するものです。Kumo-AnomalyとGenie Ontologyを組み合わせることで、時系列データの異常パターンをビジネス上の意味と結び付け、次のアクションを判断するコンテキスト対応型エージェントを実現するパスがひらかれます。

Nemotronモデルのカスタマイズとサービング

Nemotron 3.5 LightningおよびSuper VLのリリースにより、Databricksのお客様は初日からこれらのモデルをDatabricks上にロードし、実験、適合、サービングを行うことができます。 

AIRはNVIDIA NeMoおよび NeMo Automodelによるモデルカスタマイズをサポートしており、チームはサーバーレスNVIDIA GPU上でNVIDIAのツールやフレームワークを活用できます。テクニカルサポートエージェントの例で言えば、開発者はこれらのツールを使用して過去のサポートチケットデータでNemotronをファインチューニングし、会社固有の製品、専門用語、トラブルシューティングワークフローをモデルにより深く理解させることができます。トレーニングはDatabricks内のエンタープライズデータおよびワークフローと連携したまま維持されます。

Genie Codeは、開発者がノートブック内でトレーニングスクリプトを直接作成・適応させるのにも役立ちます。開発者は必要な変更内容を記述したり、ファインチューニング実行の設定に関するサポートを求めたり、発生したエラーの解決にあたったりすることができます。提案されたコードを確認して調整したうえで、サーバーレスNVIDIA GPU上で実行できます。

ファインチューニングにおいて、AIRは最適化されたデータロード、チェックポイント作成、トレーニングと、統合された可観測性（オブザーバビリティ）およびデバッグツールを組み合わせて提供します。開発者はMLflowで実験やGPUメトリクスを追跡し、Genie Codeを使って以下の作業を行えます。

• モデルコードのデバッグとトレーニングエラーの調査。
• メモリ問題や通信オーバーヘッドを含む、GPUパフォーマンスボトルネックの特定。
• CUDA、cuDNN、NCCL、プロファイリングツールに関するNVIDIA固有のガイダンスの適用。

ファインチューニングと評価の後、チームはDatabricks Model Servingを通じてカスタマイズしたモデルを本番環境にデプロイできます。テクニカルサポートの例では、ファインチューニングされたNemotronモデルを使用して、寄せられたサポートリクエストを解釈し、自社の製品やトラブルシューティングのワークフローに基づいた回答を生成するエージェントを動かすことができます。これにより、サーバーレスNVIDIA GPUでのモデルカスタマイズからリアルタイム推論までのワークフローが完成します。

Databricks AI RuntimeとNVIDIAの利用を開始する

詳細については、当社の Webページ、 AIRドキュメントをご覧ください。また、 Nemotron 3.5 SuperVL および Nemotron 3.5 Lightning のクックブックを参照して、DatabricksでのGPUトレーニングとファインチューニングをはじめましょう。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事