DatabricksとNVIDIA：エージェント時代に向けた構築

フルスタックAIを加速

NVIDIAのアクセラレーテッドコンピューティングは、大規模なトレーニング、ファインチューニング、推論から、業界特化型のAIソリューションに至るまで、Databricks上で最も要求の厳しいAIワークロードの一部を支えています。本日開催のData + AI Summitにおいて、私たちはNVIDIAのAIインフラストラクチャが、Databricks AI Runtime、Model Serving、そして業界向けAIソリューションからの新しい発表の中心に位置していることをご紹介します。これには、新しいNVIDIA Vera CPUがどのように次世代のエージェント型インフラストラクチャを支えるかについての展望も含まれています。

「NVIDIAとのパートナーシップは、AIのライフサイクル全体に及びます。AI Runtimeでの分散トレーニングを支えるNVIDIAのアクセラレーテッドインフラストラクチャから、当社のサービングおよび開発者プラットフォーム内で動作するソフトウェアまで多岐にわたります。NVIDIAのテクノロジーとDatabricksのデータおよびガバナンス機能を組み合わせることで、高速でスケーラブル、かつ信頼できる基盤の上に構築されたエンタープライズAIという、素晴らしい価値をお客様に提供できることを嬉しく思います。」— Adam Conway, SVP, Product, Databricks

「Databricksは、企業が最も価値あるリソースであるビジネスデータに基づいて、AIエージェントを構築、デプロイ、拡張、ガバナンスできるようにします。拡大されたパートナーシップを通じて、NVIDIAとDatabricksは、フルスタックのNVIDIAアクセラレーテッドコンピューティング（Vera CPU、Rubin GPU、NVIDIA Quantum InfiniBandネットワーキング、NVIDIA Agent Toolkitソフトウェアを含む）をDatabricksプラットフォームに組み込むことで、エンタープライズAIの次の波を強力に後押しします。」— Pat Lee, Vice President, Enterprise Strategic Partnerships, NVIDIA

ここでは、トレーニングや推論用のGPUから、エージェント時代向けに専用設計されたCPUに至るまで、DatabricksとNVIDIAがどのように共同でAIプラットフォームを構築しているかをご紹介します。

1. トレーニングとファインチューニング

Databricks AI Runtime（AIR）は、NVIDIA GPUによるアクセラレーションをデータおよびAIチームに直接提供します。これにより、個別のGPUインフラストラクチャを管理することなく、ガバナンスされたエンタープライズデータ上でモデルをトレーニングおよびファインチューニングできます。AIRを使用することで、お客様はDatabricks上のガバナンスされたデータが存在する場所で、高度なNVIDIAハードウェアとネットワーキングを直接利用できます。

• NVIDIA Quantum InfiniBandを搭載したNVIDIA Hopper GPU：マルチノードの分散トレーニング向けに専用設計されています。基盤モデルの事前トレーニングでも、大規模なファインチューニングの実行でも、AIRはNVIDIAの広帯域かつ低遅延のGPUインターコネクト（RDMA対応ネットワーキング）を標準でサポートしており、ノード間の通信ボトルネックを解消します。また、AIRはNVIDIA Blackwellアーキテクチャへの対応も進めており、お客様が常にアクセラレーテッドコンピューティングの最先端を利用できるようにしています。
• Free EditionでのNVIDIA GPU提供：DAISにおいて、Databricks Free Edition内でのGPUサポートを発表できることを嬉しく思います。これにより、世界中の開発者、学生、スタートアップ企業がGPU上でAIワークロードを構築およびデプロイできるようになります。
• NVIDIAコンテナのサポート：間もなく、DatabricksはNGCコンテナおよびカスタムのNVIDIA CUDA環境をサポートし、プラットフォーム内のデータ上でネイティブに実行できるようになります。

AI Runtimeにより、Databricks内でNVIDIA GPUへのシームレスなアクセスが可能になります。

2. 推論：Databricks Model ServingにおけるNVIDIAアクセラレーション

Databricks Model Servingは、数千ものDatabricksのお客様の商用環境における推論を支えています。Model Servingの中核において、NVIDIAのハードウェアとソフトウェアは、QwenやGPT-OSSなどの最先端モデルから、お客様が構築したカスタムニューラルネットワークに至るまで、お客様が必要とする低遅延かつ高スループットの大規模な推論を提供します。追加のサービング機能には、NVIDIAハードウェアとTriton Inference Serverが含まれます。Model Servingは、Tritonの高度なダイナミックバッチ処理と最適化されたパフォーマンス（近日対応予定）を備えた、主要な推論最適化GPUをサポートしています。Model Servingを使用することで、お客様はNVIDIAハードウェア上でトレーニングしたモデルを、管理されたDatabricksインフラストラクチャ上で直接提供できます。

3. エージェント型インフラストラクチャ：次のコンピューティングボトルネックに向けたNVIDIA Veraの探求

自律型エージェントの台頭は、新たなインフラストラクチャの課題をもたらします。GPUはモデルの推論に優れていますが、エージェントのハーネス、ツール呼び出し、CPUを利用した分析、マルチステップの推論管理などはすべてCPU上で実行されます。今日のCPUはしばしばボトルネックになります。ツール呼び出しの遅延、エージェントのステップ間の通信オーバーヘッド、負荷がかかった状態での不安定なパフォーマンスは、すべてエージェントの体験を低下させます。

NVIDIA Veraは、このワークロード専用に設計された次世代CPUです。エージェント型ワークロード、強化学習、CPUベースのデータ分析という3つのコアユースケース向けに設計されたVeraは、以下を提供します：

• 最大3倍高速なSQLクエリと80%高速なエージェントパフォーマンスを実現する、NVIDIA設計の高性能Arm互換コア。ツール呼び出しやエージェントのオーケストレーションなど、遅延に敏感でバースト性の高いコンピューティングパターンに最適化されています。
• エージェントがモデル呼び出しの間に実行するデータ集約型の操作に対応する、大容量のメモリ帯域幅
• エージェントの複雑さが増しても予測可能なパフォーマンスの提供を支援する、高速なコア間通信

そのビジョンは、Databricks上でのエンドツーエンドのNVIDIAアクセラレーテッドスタックです。推論のためにモデルはNVIDIA GPU上で実行され、エージェントのハーネスやツール呼び出しはVera CPU上で実行されるなど、各ワークロードがその特性に合わせて専用設計されたシリコン上で動作します。開発者は独自のデータを使用してDatabricks上でモデルをカスタマイズし、Model Servingを介してデプロイします。そして、それを取り巻くエージェント型インフラストラクチャは、まさにそのパターンのためにゼロから設計されたコンピューティング上で動作します。

4. 開発者体験：アクセラレーテッドAIの構築をより容易に

NVIDIA Agent Toolkit：Databricksへのデプロイ

Databricks Apps上に構築されているため、チームはエージェント型AIワークロードの構築、カスタマイズ、デプロイを行うためのNVIDIAのオープンソース開発プラットフォームであるNVIDIA Agent Toolkitを、Databricks環境内で直接ホストして実行できます。これにより、以下が得られます：

• NVIDIA Agent Toolkitの機能：ガードレール、ツールの使用、検索拡張生成（RAG）、マルチステップの推論が、Databricks上でホストされているアプリケーション内で実行されます。
• ホスティングレイヤーとしてのDatabricks Apps：NVIDIA Agent Toolkitで構築されたエージェントやサービスを含む任意のコードベースを、Unity Catalogによる組み込みの認証、ネットワーキング、ガバナンスを備えた管理対象アプリケーションとしてデプロイできます。
• Databricksのデータ、モデル、サービングインフラストラクチャとのシームレスな統合。エージェントは、環境を離れることなく、ガバナンスされたデータにアクセスし、FMAPIを介してモデルを呼び出し、プラットフォーム全体を活用できます。

GPUワークロードでのGenie Codeの使用

GPUは強力ですが、高い使用率を達成し、パフォーマンスの問題を診断し、ワークロードをデバッグするには、従来、システムに関する深い専門知識が必要でした。私たちは、エージェントファーストのアプローチでそれを変えようとしています：

Genie Codeは、NVIDIAのハードウェアとソフトウェアを中心に設計されたスキルをサポートしています。開発者は以下を行うことができます：

• 対話形式でのGPUワークロードのデバッグ：問題を説明し、実用的なガイダンスを取得
• パフォーマンスの最適化：使用率のボトルネック、メモリの問題、通信オーバーヘッドの特定
• NVIDIA固有の知識の活用：CUDA、cuDNN、NCCL、およびNVIDIAプロファイリングツールを理解するスキル

Genie CodeとNVIDIAデバッグツールは、以下を含む様々なDatabricks製品のインターフェースとも完全に統合されています：

• Notebook：ノートブック環境でのファーストクラスのGPU監視、プロファイリング、デバッグ
• MLflow：実験とともにGPUメトリクスと使用率を追跡
• Model Serving：エンドポイントの健全性とGPUパフォーマンスの診断、自動スケーリングなどのエンドポイントメカニズムを最適化する機会の特定

5. 業界向けAI：ガバナンスされたDatabricksデータ上のNVIDIAソフトウェア

すべての業界は、生成するデータや構築するモデルによって形成される、独自の計算上の課題に直面しています。これらの課題は、ゲノム解析や創薬の加速から、サプライチェーンの最適化、医療画像の解釈、さらには工場、ロボット、デジタルツインのシミュレーションに至るまで、多岐にわたります。

これらの問題を解決するために、NVIDIAはドメイン固有のアクセラレーテッドコンピューティングライブラリやフレームワークに多大な投資を行ってきました。これらの機能をDatabricksプラットフォームに直接提供できることを嬉しく思います。

お客様は、データエンジニアリングや実験から、モデル開発、本番ワークフローに至るまで、エンドツーエンドのDatabricksエクスペリエンス全体でNVIDIAの高速化コンピューティングスタックを活用できます。さらに、ドメイン固有のR&Dチームは、Databricksプラットフォームから離れることなく、NVIDIAの高速化機能を利用できるようになりました。

このパートナーシップは、業界固有のAIワークロード向けにDatabricksと併用できる、NVIDIAの高速化コンピューティングライブラリやドメインフレームワークにまで及びます。

将来の展望：エージェント時代の構築

NVIDIAのAIインフラストラクチャは、Databricks上のAIの重要なレイヤーを支えています。これには、トレーニングと推論を強化するGPU、エージェントのオーケストレーションとデータ分析を強化するVera CPU、エージェントアプリケーションを可能にするNVIDIA Agent Toolkit、そしてすべてのコンピューティングサイクルを最大限に活用するための開発者ツールが含まれます。

Free Editionで初めてのGPUワークロードを実験しているスタートアップ企業、創薬のためにBioNeMoを実行している製薬会社、あるいは最先端モデルを大規模にデプロイしている大企業であっても、DatabricksとNVIDIAは、お客様が必要とするパフォーマンス、シンプルさ、ガバナンスを共に提供します。

今すぐ始めましょう。Databricks Free EditionでNVIDIA GPUを試す、Databricks AppsにNVIDIA Agent Toolkitをデプロイする、またはNVIDIAの高速化コンピューティングを活用したFoundation Model APIを探索してください。

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事