AI Runtime est généralement disponible

Aujourd'hui, nous sommes ravis d'annoncer la disponibilité générale d'AI Runtime (AIR), qui apporte une infrastructure GPU entièrement gérée directement dans Databricks pour que les clients puissent entraîner leurs modèles les plus exigeants là où résident déjà leurs données d'entreprise.

Trop souvent, les équipes IA passent plus de temps à sécuriser la capacité GPU, gérer les pannes et attendre le lancement des expériences qu'à améliorer leurs modèles. Exécuter l'infrastructure GPU séparément de leur Lakehouse crée des failles de gouvernance et met en danger les données d'entraînement sensibles. À mesure que les agents de codage réalisent davantage d'expériences d'entraînement, ces goulots d'étranglement et ces risques augmentent, rendant essentielle une infrastructure fiable, rapide et gouvernée.

AIR réunit l'infrastructure GPU, les outils de développement et la gouvernance des données pour permettre aux équipes d'entraîner à grande échelle, d'itérer plus rapidement et de sécuriser chaque workload sans gérer de stack GPU séparée. Des centaines d'entreprises, dont Robinhood, PicPay, Merck, Flo Health, TinyFish et FactSet, utilisent déjà AIR pour entraîner et déployer des modèles de deep learning en production, avec des cas d'usage dans la santé, l'industrie et les agents destinés aux consommateurs. Notre propre équipe Databricks AI Research utilise AIR pour entraîner les modèles derrière KARL et AI Parse.

Avec AIR, les clients peuvent :

• Entraîner à grande échelle avec une infrastructure GPU sans contrainte : Un accès Serverless à la demande à des GPU avancés, appuyé par un entraînement multinoeud fiable, des performances optimisées et éprouvé par plus de 100 000 heures-GPU d'exécution d'entraînement.
• Expérimenter plus rapidement avec une latence de lancement quasi instantanée et un débogage simple : Apportez votre propre code, vos conteneurs et vos workloads Ray, et obtenez une latence de lancement de l'ordre de la seconde sur des GPU compatibles RDMA. Mise en cache de l'environnement et outils de débogage intégrés pour gagner du temps à chaque boucle d'entraînement.
• Sécuriser et gouverner chaque workload GPU : AIR fonctionne au sein du périmètre de gouvernance de Databricks et de Unity Catalog, et s'appuie sur des années d'investissement dans la sécurité Serverless. AIR permet de garantir que les workloads GPU protègent les données d'entraînement précieuses, respectent les politiques d'accès et sont suivis/auditables.

Une infrastructure GPU sans contrainte

La gestion d'une infrastructure GPU nécessite une charge opérationnelle importante, de la planification de la capacité et la maintenance des nœuds à la gestion du réseau et au monitoring. 

Avec AIR, Databricks prend en charge le travail opérationnel de provisionnement des GPU, de maintien de la santé de l'infrastructure et d'optimisation des workloads, pour que votre équipe puisse se concentrer sur l'entraînement :

• Obtenez la capacité GPU dont vous avez besoin, à la demande. Databricks gère l'acquisition de GPU, la configuration des clusters et le réseau afin que votre équipe puisse commencer à entraîner sans construire ni exploiter une plateforme GPU complète.
• Évoluez en toute confiance sur une infrastructure saine. Databricks exécute des dizaines de vérifications de l'état des GPU et du réseau avant et pendant l'entraînement, afin que vos workloads puissent monter à des centaines de GPU de manière fiable.
• Un entraînement efficace par défaut : Des chargeurs de données intégrés diffusent en continu et mettent en cache les données d'entraînement pour réduire le temps d'attente lié aux I/O. Utilisez des outils tels que UCVolumeDataset pour améliorer le débit de données sans construire de pipeline de chargement personnalisé.

En utilisant Databricks AI Runtime, nous sommes passés d'une configuration mono-nœud avec 8 GPU A100 pour notre entraînement à grande échelle à une configuration multi-nœuds avec 16 GPU H100. Cela a réduit le temps d'entraînement d'environ sept jours à 48 heures, soit un accélérateur de 3,5x, permettant à notre équipe d'itérer beaucoup plus facilement sur des expériences avec des modèles plus grands et d'entraîner plus efficacement.—Kostia Omelianchuk, Applied Research Scientist et Area Tech Lead, Superhuman

Utilisez des GPU où que vous travailliez

Accédez aux GPU via l'interface CLI ou de manière interactive au sein de Notebooks ou d'IDE. Votre premier workload ne nécessite qu'une seule commande CLI. Avec Databricks AIR Skills, migrer depuis un cluster K8S ou SLURM ne demande qu'un seul prompt en langage naturel.

 

Orchestrez les workloads GPU en toute confiance avec Lakeflow

AIR s'intègre nativement avec Lakeflow afin que vous puissiez maintenir vos workloads GPU synchronisés avec les pipelines en amont et en aval. Le passage en production ne nécessite que quelques lignes de YAML supplémentaires, avec une gestion intégrée des priorités/préemptions qui minimise le temps d'inactivité des GPU et des outils de monitoring comme Genie ZeroOps qui réduisent la charge opérationnelle.

 

Expérimentez, déboguez et itérez plus rapidement

Les workloads d'entraînement distribué sont fastidieux à configurer et à lancer. Les équipes IA perdent du temps à configurer les environnements d'entraînement, à attendre que les clusters GPU démarrent et à déboguer des problèmes sur l'ensemble de la stack.

AIR vous aide à passer du code à l'entraînement en quelques secondes. Vous pouvez utiliser des environnements préintégrés ou apporter votre propre conteneur, et bénéficier d'une mise en cache d'environnement hautement optimisée afin de n'avoir à créer les environnements qu'une seule fois. AIR est compatible avec tous les frameworks majeurs, y compris Ray, pour vous permettre de réutiliser votre code avec un minimum de configuration.  

Databricks AI Runtime nous permet d'entraîner nos modèles là où nos données résident déjà, avec la fiabilité, la sécurité et les performances dont nous avons besoin pour un entraînement de modèles à grande échelle. Nous pouvons passer moins de temps à gérer l'infrastructure GPU et plus de temps à améliorer les modèles eux-mêmes.—Vladislav Nedosekin, Director of Engineering, Data & AI Platform, Flo Health

Lancez votre prochaine expérience en quelques secondes

Lorsque vous itérez et développez un script d'entraînement, chaque seconde de retard se ressent à répétition. C'est pourquoi nous avons optimisé chaque couche de la stack de provisionnement pour faire démarrer les workloads en quelques secondes, même pour les clusters compatibles RDMA à grande échelle dotés de dizaines de GPU.

 

Déboguez l'entraînement distribué au même endroit

Nous avons créé une toute nouvelle expérience d'observabilité dans MLflow, le premier outil de suivi d'expérimentations du secteur. Grâce à cette nouvelle expérience, déboguer vos journaux d'événements, diffusés quelques secondes après l'envoi, est aussi simple que d'ajouter –watch à votre commande AIR. Pour une analyse plus approfondie, vous pouvez utiliser notre nouvel afficheur de journaux d'événements, spécialement conçu pour l'entraînement multi-nœuds.

AI Runtime de Databricks a considérablement simplifié le processus d'entraînement d'un modèle personnalisé Text To Formula (TTF). Sans délai ni configuration d'infrastructure, il a été facile de choisir la bonne ressource de calcul en fonction de la taille des prompts et de la génération de tokens de sortie. Cela nous a permis d'avancer rapidement, de maintenir nos workflows Lakehouse et de livrer un modèle de haute qualité avec une gouvernance complète, réduisant le temps de configuration, d'entraînement et de déploiement de notre modèle de quelques jours à quelques heures.—Nikhil Sunderraj, Principal Machine Learning Engineer, FactSet

Débogage agentique avec Genie Code intégré

Genie Code est intégré à l'ensemble de l'expérience utilisateur et comprend des compétences d'agent préconçues pour vous aider à déboguer les problèmes et à optimiser les performances d'entraînement sur GPU. Ces compétences incluent des enseignements tirés par nos équipes de recherche et de performance, comme la façon dont nous avons réduit le temps d'entraînement de Qwen par 6 sur AIR.

Chez Robinhood, AI Runtime aide nos équipes à passer plus rapidement de l'expérimentation à l'entraînement, sans le surcoût lié à l'infrastructure. Le fine-tuning se fait en toute simplicité, ce qui nous permet d'entraîner nos modèles là où se trouvent nos données, tout en bénéficiant de contrôles de données et d'une gouvernance intégrés. Nos ingénieurs passent ainsi plus de temps à concevoir de meilleurs modèles et moins de temps à gérer des configurations GPU complexes.—Robert Macy III, Machine Learning Engineer, Robinhood

Databricks AI Runtime nous permet de faire passer à l'échelle l'entraînement distribué sur des GPU serverless sur des millions d'enregistrements, directement au sein de nos workflows de données existants. Alors que de plus en plus de grandes entreprises biopharmaceutiques s'appuient sur nos modèles pour guider leurs décisions de développement, cette rapidité et cette simplicité permettent à notre équipe de continuer à améliorer les modèles plutôt que de gérer l'infrastructure.—Eran Barash, VP of Artificial Intelligence and Machine Learning, QuantHealth

Sécuriser et gouverner chaque charge de travail GPU au sein du Lakehouse

Gérer l'infrastructure GPU indépendamment des données de l'entreprise crée des failles de gouvernance, un contrôle d'accès fragmenté et des copies de données inutiles. Alors que des agents exécutent des centaines d'expérimentations d'entraînement en parallèle, les équipes doivent s'assurer que les données sensibles restent gouvernées et que les charges de travail restent isolées en toute sécurité, sans dépendre d'un contrôle manuel. L'incident d'OpenAI et Hugging Face souligne ce risque. 

AIR étend vos contrôles de données et votre gouvernance de confiance à chaque charge de travail GPU. Unity Catalog applique des autorisations de lecture/écriture cohérentes à tous les aspects d'une charge de travail GPU (accès aux données, checkpoints, journaux d'événements, etc.), afin que votre plateforme GPU et votre couche de gouvernance des données parlent désormais exactement le même langage. 

Isoler les charges de travail et contrôler l'accès au réseau

AIR s'appuie sur des années d' investissements dans la sécurité serverless, l'isolation et les réseaux privés. Contrairement aux mécanismes d'isolation GPU qui exposent le noyau de l'hôte, AIR propose une isolation au niveau de la VM et prend en charge PrivateLink ainsi que les contrôles d'accès sortant serverless. AIR offre ainsi des protections bien plus renforcées pour les charges de travail d'entraînement par rapport aux systèmes conventionnels. 

Comprendre où passe votre budget GPU

Suivez l'utilisation et les coûts d'AIR via les tables système de facturation Databricks, aux côtés de vos autres charges de travail Databricks. Utilisez les enregistrements d'utilisation au niveau des charges de travail pour identifier celles d'entraînement qui consomment votre budget GPU et guider vos décisions concernant les futures exécutions. 

Grâce à Databricks AI Runtime et au Serverless, nous avons pu accélérer la mise à l'échelle de l'entraînement et de l'inférence des LLM, en travaillant avec des modèles plus volumineux, plusieurs GPU H100 et d'importants volumes de données. L'intégration à nos pipelines existants, associée aux capacités d'orchestration et de surveillance de Databricks, a rendu le workflow de bout en bout plus simple et plus efficace, réduisant la complexité de l'infrastructure et la durée du cycle de développement.—Vitor Rolim, Staff Machine Learning Engineer, PicPay

Pour nous, l'entraînement du modèle n'est qu'une partie du problème. Nous devons savoir si une modification améliore réellement la capacité de l'agent à accomplir des tâches réelles, puis être en mesure de déployer rapidement cette amélioration en production. Avec AI Runtime, nous pouvons réaliser l'entraînement sur des GPU, évaluer les résultats avec MLflow et servir notre modèle web-native sans avoir à créer une pile technologique distincte pour chaque étape.—Zach Richardson, Head of AI, TinyFish

Lancez-vous avec votre première charge de travail GPU

Pour vous aider à démarrer, nous avons préparé plusieurs notebooks modèles et guides de démarrage : 

• Veuillez consulter notre guide de démarrage rapide pour commencer et vous connecter à AI Runtime en quelques secondes. 
• Pour en savoir plus sur AI Runtime, regardez notre démonstration de 3 minutes et visitez notre page web.
• Vous souhaitez essayer AIR sur un exemple ? Clonez notre dépôt cookbook pour vous lancer avec une seule commande CLI !

N'hésitez pas à contacter votre équipe de compte pour en savoir plus ou si vous avez des questions !

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original