Databricks AI Runtime et NVIDIA facilitent la personnalisation des modèles ouverts avec les données d'entreprise

Les GPU alimentent les charges de travail d'AI les plus avancées d'aujourd'hui, des modèles de langage de pointe aux systèmes d'AI multimodaux et aux agents. De plus en plus, les entreprises adaptent les modèles ouverts à leurs propres données et besoins métiers. Mais sécuriser l'accès aux GPU n'est qu'une partie du défi. Les équipes doivent également configurer les travaux d'entraînement, régir l'accès aux données et gérer l'infrastructure GPU, ce qui laisse moins de temps pour expérimenter avec les modèles et évaluer dans quelle mesure ils répondent aux besoins de l'entreprise.

Databricks et NVIDIA offrent un parcours fluide allant des données d'entreprise aux modèles d'AI personnalisés, du fine-tuning de modèles plus petits à l'entraînement distribué à grande échelle. Grâce à Unity Gateway, Databricks offre aux développeurs un accès gouverné aux modèles de frontière et open source. Pour les équipes qui doivent personnaliser des modèles, AI Runtime (AIR) apporte l'écosystème logiciel d'AI de NVIDIA et des GPU serverless aux données d'entreprise. Les équipes peuvent expérimenter, affiner et évaluer des modèles sur AIR, puis les déployer pour une inférence en temps réel via Databricks Model Serving — le tout au sein de la plateforme Databricks, avec moins de travail d'infrastructure et de gouvernance à gérer.

Aujourd'hui au GTC Berlin, Databricks et NVIDIA étendent leur collaboration pour faciliter la personnalisation des modèles ouverts par les entreprises. Databricks AIR est désormais disponible pour tous : les développeurs peuvent utiliser NVIDIA NeMo, les conteneurs NGC et les nouveaux cookbooks Nemotron pour entraîner et affiner des modèles ouverts sur des GPU NVIDIA serverless. Ensemble, ces fonctionnalités offrent aux équipes plus de flexibilité pour adapter les modèles à des tâches spécifiques à leur secteur d'activité et les mettre en œuvre dans des applications et des agents.

AI Runtime a débloqué l'entraînement de modèles et l'apprentissage par renforcement sur les données d'entreprise, des domaines traditionnellement hors de portée pour les ingénieurs en machine learning. Avec AI Runtime et l'écosystème logiciel AI de NVIDIA, les équipes peuvent spécialiser des modèles à poids ouverts comme Nemotron pour leurs cas d'usage personnalisés et leur contexte métier. Grâce à un accès gouverné aux données, une facilité d'utilisation pour l'entraînement à grande échelle et Genie Code pour le débogage automatisé, AI Runtime accélérera le développement des modèles personnalisés en entreprise.—Hanlin Tang, CTO for Neural Networks, Databricks

Les agents apportent le plus de valeur lorsqu'ils sont ancrés dans le fonctionnement réel d'une entreprise — ses données, ses flux de travail et son expertise. NVIDIA et Databricks apportent des modèles ouverts comme Nemotron et Kumo directement aux données d'entreprise gouvernées, offrant aux équipes les modèles, les outils et le calcul accéléré nécessaires pour concevoir des agents spécialisés capables de raisonner sur les connaissances de l'entreprise, de prédire la suite et de passer à l'action.—Pat Lee, VP of Strategic Partnerships, NVIDIA

Entraînez et affinez vos modèles plus rapidement avec AI Runtime 

AIR fournit des GPU NVIDIA serverless pour l'entraînement et le fine-tuning, afin que les développeurs puissent exécuter leur code et leurs conteneurs existants à grande échelle sans gérer d'infrastructure GPU. Grâce à la prise en charge de l'entraînement distribué multi-nœuds, les équipes peuvent faire évoluer des charges de travail plus importantes sur plusieurs nœuds GPU. NVIDIA Quantum InfiniBand offre un réseau à bande passante élevée et faible latence avec accès distant direct à la mémoire (RDMA), tandis que la bibliothèque NVIDIA Collective Communications Library (NCCL) gère la communication entre les GPU. Databricks gère les clusters et le réseau sous-jacents.

Par exemple, une entreprise qui conçoit un agent de support technique pourrait partir d'un modèle ouvert NVIDIA Nemotron et l'affiner sur des tickets de support étiquetés à l'aide de NVIDIA NeMo sur AIR. L'équipe pourrait expérimenter différentes approches d'entraînement et utiliser MLflow pour suivre les résultats au fur et à mesure qu'elle adapte le modèle à ses flux de travail de support spécifiques.

Les développeurs peuvent préparer les données du Lakehouse et expérimenter dans des notebooks alimentés par GPU ou via la CLI d'AIR, en utilisant un chargement de données haute performance et des environnements standards incluant PyTorch et CUDA. Ils peuvent utiliser des frameworks d'entraînement distribué ou apporter leurs propres bibliothèques et boucles d'entraînement personnalisées.

Lorsque les expérimentations sont prêtes pour une exécution répétable, Lakeflow Jobs peut orchestrer l'entraînement aux côtés de la préparation des données en amont et de l'évaluation en aval, transformant les exécutions individuelles en flux de travail répétables. Les Declarative Automation Bundles prennent en charge le CI/CD pour déployer et mettre à jour ces flux de travail.

MLflow suit les expérimentations d'entraînement et l'utilisation des GPU, aidant les équipes à comparer les résultats des modèles et les performances de calcul. Unity Catalog régit l'accès aux données d'entraînement, et les tables système natives offrent une visibilité sur l'utilisation des CPU et des GPU. Ensemble, ces intégrations permettent aux équipes d'utiliser les données, la gouvernance et les outils opérationnels sur lesquels elles s'appuient déjà dans Databricks.

Accélérez vos charges de travail avec les logiciels NVIDIA AI

L'entraînement et le fine-tuning des modèles de deep learning nécessitent plus que la puissance de calcul des GPU : les équipes ont également besoin de flexibilité dans leurs frameworks, bibliothèques et environnements. AIR prend désormais en charge Docker et les registres privés, permettant aux développeurs d'apporter des environnements conteneurisés personnalisés à leurs charges de travail GPU.

Les développeurs peuvent utiliser des conteneurs optimisés pour les GPU issus du catalogue NVIDIA NGC avec le Databricks Artifact Registry pour intégrer les logiciels NVIDIA dans AIR. La mise en cache de l'environnement permet à ces charges de travail de démarrer rapidement, réduisant ainsi les délais de configuration à mesure que les équipes font évoluer le code d'entraînement et réexécutent les expérimentations.

Les développeurs peuvent également installer des outils de profilage NVIDIA pour examiner l'exécution des GPU et analyser les goulots d'étranglement de performance. Aux côtés des métriques d'utilisation des GPU suivies dans MLflow, ces outils aident les équipes à comprendre où les charges de travail d'entraînement passent du temps et à identifier les opportunités d'amélioration des performances. Les équipes peuvent ajuster leur logiciel et leur code d'entraînement pendant qu'AIR gère l'infrastructure GPU sous-jacente.

AIR prend en charge la personnalisation au-delà des LLM, y compris un flux de travail de fine-tuning validé pour NVIDIA Kumo Anomaly, un modèle de recherche ouvert pour la détection d'anomalies dans les séries temporelles, avec suivi MLflow et points de contrôle Unity Catalog. Cela s'inscrit dans la vision de la NVIDIA Agent Knowledge Foundation visant à créer une couche de connaissances pour les agents. L'association de Kumo-Anomaly à Genie Ontology offers une voie vers des agents conscients du contexte qui associent des schémas inhabituels dans les données de séries temporelles à leur signification métier pour aider à guider les étapes suivantes.

Personnalisez et servez des modèles Nemotron

Avec le lancement de Nemotron 3.5 Lightning et Super VL, les clients Databricks peuvent charger, expérimenter, adapter et servir ces modèles sur Databricks dès le premier jour. 

AIR prend en charge la personnalisation des modèles avec NVIDIA NeMo et NeMo Automodel, permettant aux équipes d'utiliser les outils et frameworks de NVIDIA sur des GPU NVIDIA serverless. Dans l'exemple de l'agent de support technique, cela signifie que les développeurs pourraient utiliser ces outils pour affiner Nemotron sur des tickets de support historiques, aidant le modèle à mieux comprendre les produits, la terminologie et les procédures de dépannage propres à l'entreprise. L'entraînement reste connecté aux données et aux flux de travail d'entreprise dans Databricks.

Genie Code peut également aider les développeurs à rédiger et à adapter le script d'entraînement directement dans un notebook. Les développeurs peuvent décrire les modifications dont ils ont besoin, demander de l'aide pour configurer une exécution de fine-tuning et résoudre les erreurs au fur et à mesure qu'elles surviennent. Ils peuvent réviser et affiner le code suggéré avant de l'exécuter sur des GPU NVIDIA serverless.

Pour le fine-tuning, AIR combine un chargement de données optimisé, un système de points de contrôle (checkpointing) et un entraînement performant avec des outils d'observabilité et de débogage intégrés. Les développeurs peuvent suivre les expérimentations et les métriques des GPU dans MLflow et utiliser Genie Code pour :

• Déboguer le code des modèles et analyser les erreurs d'entraînement.
• Identifier les goulots d'étranglement de performance des GPU, y compris les problèmes de mémoire et le surcoût de communication.
• Appliquer les recommandations spécifiques à NVIDIA concernant CUDA, cuDNN, NCCL et les outils de profilage.

Après le réglage fin et l'évaluation, les équipes peuvent déployer des modèles personnalisés en production via Databricks Model Serving. Dans notre exemple de support technique, le modèle Nemotron affiné pourrait alimenter un agent qui interprète les demandes de support entrantes et génère des réponses basées sur les produits et les workflows de dépannage de l'entreprise. Cela complète le workflow, de la personnalisation du modèle sur des GPU NVIDIA serverless à l'inférence en temps réel.

Démarrez avec Databricks AI Runtime et NVIDIA

Pour en savoir plus, consultez notre page web, la documentation AIR, et explorez les cookbooks Nemotron 3.5 SuperVL et Nemotron 3.5 Lightning pour commencer l'entraînement sur GPU et le réglage fin sur Databricks.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original