Databricks et NVIDIA : bâtir pour l'ère des agents

La stack complète de l'AI, accélérée

Le calcul accéléré de NVIDIA alimente certaines des charges de travail d'AI les plus exigeantes sur Databricks, de l'entraînement à grande échelle, du fine-tuning et de l'inférence aux solutions d'AI spécifiques à chaque secteur. Aujourd'hui, au Data + AI Summit, nous mettons en lumière la façon dont l'infrastructure d'AI de NVIDIA est au cœur des nouvelles annonces de Databricks AI Runtime, Model Serving et des solutions Industry AI, avec notamment un aperçu de la manière dont le nouveau NVIDIA Vera CPU alimentera la prochaine génération d'infrastructures agentiques.

"Notre partenariat avec NVIDIA couvre l'ensemble du cycle de vie de l'AI. De l'infrastructure accélérée de NVIDIA qui alimente l'entraînement distribué dans AI Runtime aux logiciels exécutés au sein de nos plateformes de serving et de développement. Nous sommes ravis d'associer la technologie de NVIDIA aux capacités de données et de gouvernance de Databricks pour offrir une valeur incroyable à nos clients : une AI d'entreprise rapide, évolutive et bâtie sur des bases de confiance."— Adam Conway, SVP, Produit, Databricks

“Databricks permet aux entreprises de créer, déployer, faire évoluer et gouverner des agents d'AI qui s'appuient sur leur ressource la plus précieuse : les données d'entreprise. Grâce à notre partenariat élargi, NVIDIA et Databricks dynamisent la prochaine vague d'AI d'entreprise en intégrant l'informatique accélérée full-stack de NVIDIA avec les Vera CPUs, les Rubin GPUs, le réseau NVIDIA Quantum InfiniBand et le logiciel NVIDIA Agent Toolkit directement dans la plateforme Databricks.”— Pat Lee, Vice-président, Partenariats stratégiques d'entreprise, NVIDIA

Voici comment Databricks et NVIDIA co-construisent une plateforme d'AI, des GPUs pour l'entraînement et l'inférence aux CPUs conçus sur mesure pour l'ère agentique.

1. Entraînement et fine-tuning

Databricks AI Runtime (AIR) apporte l'accélération des GPUs NVIDIA directement aux équipes chargées des données et de l'AI, afin qu'elles puissent entraîner et fine-tuner des modèles sur des données d'entreprise gouvernées sans avoir à gérer une infrastructure de GPUs distincte. Avec AIR, les clients bénéficient du matériel et du réseau NVIDIA de pointe, directement là où se trouvent leurs données gouvernées sur Databricks :

• Les GPUs NVIDIA Hopper avec NVIDIA Quantum InfiniBand : conçus spécifiquement pour l'entraînement distribué multi-nœuds. Que vous pré-entraîniez un modèle de fondation ou que vous effectuiez un fine-tuning à grande échelle, AIR offre un support intégré pour les interconnexions de GPUs NVIDIA à bande passante élevée et faible latence (réseau compatible RDMA) qui éliminent les goulots d'étranglement de communication entre les nœuds. AIR est également en cours de préparation pour l'architecture NVIDIA Blackwell, garantissant ainsi que les clients soient toujours à la pointe du calcul accéléré.
• Les GPUs NVIDIA dans la Free Edition : au DAIS, nous sommes ravis d'annoncer la prise en charge des GPUs au sein de Databricks Free Edition, permettant aux développeurs, étudiants et startups du monde entier de créer et de déployer leurs charges de travail d'AI sur des GPUs.
• Prise en charge des conteneurs NVIDIA : bientôt, Databricks prendra en charge les conteneurs NGC et les environnements personnalisés NVIDIA CUDA, leur permettant de s'exécuter nativement sur les données au sein de la plateforme.

AI Runtime permet un accès transparent aux GPUs NVIDIA au sein de Databricks.

2. Inférence : l'accélération NVIDIA dans Databricks Model Serving

Databricks Model Serving alimente l'inférence en production pour des milliers de clients Databricks. Au cœur de Model Serving, le matériel et les logiciels NVIDIA offrent l'inférence à grande échelle, à faible latence et à haut débit dont nos clients ont besoin, sur des modèles de pointe comme Qwen, GPT-OSS et les réseaux de neurones personnalisés créés par nos clients. Les capacités de serving supplémentaires incluent le matériel NVIDIA et Triton Inference Server. Model Serving prend en charge les principaux GPUs optimisés pour l'inférence, avec le traitement par lots dynamique avancé de Triton et des performances optimisées à venir. Avec Model Serving, les clients peuvent déployer les modèles qu'ils entraînent sur du matériel NVIDIA directement sur l'infrastructure gérée de Databricks.

3. Infrastructure agentique : explorer NVIDIA Vera pour le prochain goulot d'étranglement informatique

L'essor des agents autonomes introduit un nouveau défi d'infrastructure. Alors que les GPUs excelent dans l'inférence de modèles, le harnais d'agent, les appels d'outils, les analyses basées sur les CPUs et la gestion du raisonnement multi-étapes s'exécutent tous sur des CPUs. Les CPUs actuels constituent souvent le goulot d'étranglement : la latence dans l'appel d'outils, la surcharge de communication entre les étapes de l'agent et les performances irrégulières sous charge dégradent l'expérience agentique.

NVIDIA Vera est un CPU de nouvelle génération conçu spécifiquement pour cette charge de travail. Conçu pour trois cas d'usage principaux (les charges de travail agentiques, l'apprentissage par renforcement et l'analyse de données basée sur le CPU), Vera offre :

• Des cœurs haute performance conçus par NVIDIA et compatibles Arm, qui offrent des requêtes SQL jusqu'à 3 fois plus rapides et des performances agentiques 80 % plus rapides, optimisés pour les modèles de calcul par rafales et sensibles à la latence, tels que les appels d'outils et l'orchestration d'agents
• Une bande passante mémoire massive pour les opérations gourmandes en données que les agents effectuent entre les appels de modèles
• Une communication cœur à cœur rapide permettant d'offrir des performances prévisibles à mesure que la complexité des agents augmente

L'objectif est de proposer une stack complète accélérée par NVIDIA sur Databricks : les modèles s'exécutent sur des GPUs NVIDIA pour l'inférence, tandis que le harnais d'agent et les appels d'outils pourraient s'exécuter sur des CPUs Vera, chaque charge de travail s'exécutant sur un processeur conçu spécifiquement pour ses caractéristiques. Les développeurs personnalisent les modèles sur Databricks à l'aide de données propriétaires, les déploient via Model Serving, et l'infrastructure agentique environnante s'exécute sur un système de calcul conçu dès le départ pour ce modèle précis.

4. Expérience développeur : faciliter la création d'AI accélérée

NVIDIA Agent Toolkit : déployer sur Databricks

Grâce à Databricks Apps, les équipes peuvent héberger et exécuter NVIDIA Agent Toolkit, la plateforme de développement open source de NVIDIA pour la création, la personnalisation et le déploiement de workflows d'AI agentiques, directement au sein de leur environnement Databricks. Cela vous permet de bénéficier de :

• Des fonctionnalités de NVIDIA Agent Toolkit : garde-fous (guardrails), utilisation d'outils, génération augmentée de récupération (RAG) et raisonnement multi-étapes, s'exécutant dans des applications hébergées sur Databricks.
• Databricks Apps comme couche d'hébergement : déployez n'importe quelle base de code, y compris des agents ou des services créés avec NVIDIA Agent Toolkit, sous forme d'applications gérées avec authentification, réseau et gouvernance intégrés via Unity Catalog.
• Une intégration transparente avec les données, les modèles et l'infrastructure de serving de Databricks. Vos agents peuvent accéder aux données gouvernées, appeler des modèles via FMAPI et exploiter l'ensemble de la plateforme sans quitter l'environnement.

Utiliser Genie Code pour les charges de travail sur GPU

Les GPUs sont puissants, mais obtenir une excellente utilisation, diagnostiquer les problèmes de performance et déboguer les charges de travail nécessitaient traditionnellement une expertise approfondie des systèmes. Nous changeons cela avec une approche axée sur les agents :

Genie Code prend en charge des compétences conçues autour du matériel et des logiciels NVIDIA. Les développeurs peuvent :

• Déboguer les charges de travail sur GPU de manière conversationnelle : décrivez le problème, obtenez des conseils exploitables
• Optimiser les performances : identifiez les goulots d'étranglement d'utilisation, les problèmes de mémoire et la surcharge de communication
• Exploiter les connaissances spécifiques à NVIDIA : des compétences qui comprennent CUDA, cuDNN, NCCL et les outils de profilage NVIDIA

Genie Code et les outils de débogage NVIDIA sont également entièrement intégrés à diverses interfaces de produits Databricks, notamment :

• Notebooks : surveillance, profilage et débogage de GPU de premier ordre dans l'environnement de notebook
• MLflow : suivez les métriques et l'utilisation des GPUs en parallèle des expériences
• Model Serving : diagnostiquez la santé des endpoints et les performances des GPUs, identifiez les opportunités d'optimiser le fonctionnement des endpoints comme l'autoscaling

5. Industry AI : les logiciels NVIDIA sur les données gouvernées de Databricks

Chaque secteur est confronté à des défis de calcul uniques, façonnés par les données qu'il génère et les modèles qu'il construit. Ces défis vont de l'analyse des génomes et de l'accélération de la découverte de médicaments à l'optimisation des chaînes d'approvisionnement, en passant par l'interprétation d'images médicales et la simulation d'usines, de robots et de jumeaux numériques.

Pour aider à résoudre ces problèmes, NVIDIA a massivement investi dans des bibliothèques et des frameworks de calcul accéléré spécifiques à chaque domaine. Nous sommes ravis d'apporter ces capacités directement dans la plateforme Databricks.

Les clients peuvent tirer parti de la pile de calcul accéléré de NVIDIA tout au long de l'expérience Databricks de bout en bout – de l'ingénierie des données et de l'expérimentation au développement de modèles et aux flux de production ; et désormais, les équipes de R&D spécialisées peuvent utiliser les capacités accélérées de NVIDIA sans quitter la plateforme Databricks.

Le partenariat s'étend aux bibliothèques de calcul accéléré et aux frameworks sectoriels de NVIDIA que les clients peuvent utiliser avec Databricks pour des charges de travail d'IA spécifiques à leur secteur :

Perspectives d'avenir : Construire pour l'ère agentique

L'infrastructure d'IA de NVIDIA prend en charge les couches critiques de l'IA sur Databricks : les GPU qui alimentent l'entraînement et l'inférence, les CPU Vera qui alimenteront l'orchestration de vos agents et l'analyse des données, l'NVIDIA Agent Toolkit qui permet de créer vos applications agentiques, et les outils de développement qui vous aident à tirer le meilleur parti de chaque cycle de calcul.

Que vous soyez une startup expérimentant votre première charge de travail sur GPU dans la Free Edition, une entreprise pharmaceutique utilisant BioNeMo pour la découverte de médicaments, ou une grande entreprise déployant des modèles de pointe à grande échelle, Databricks et NVIDIA vous offrent ensemble la performance, la simplicité et la gouvernance dont vous avez besoin.

Commencez dès aujourd'hui : essayez les GPU NVIDIA dans la Free Edition de Databricks, déployez NVIDIA Agent Toolkit sur Databricks Apps, ou explorez notre API Foundation Model alimentée par le calcul accéléré de NVIDIA.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original