Un calcul rapide et sans effort pour exécuter des notebooks, des tâches et des pipelines est désormais généralement disponible sur Azure et AWS
par Bilal Aslam et Lucian Popa
Nous avons le plaisir d'annoncer la disponibilité générale (GA) du calcul sans serveur pour les notebooks, les travaux et Spark Declarative Pipelines (SDP) sur AWS et Azure. Les clients de Databricks profitent déjà d'un calcul sans serveur rapide, simple et fiable pour Databricks SQL et Databricks Model Serving. Cette même fonctionnalité est désormais disponible pour toutes les charges de travail ETL sur la plateforme Data + AI Platform, incluant Apache Spark et Spark Declarative Pipelines. Vous écrivez le code et Databricks assure un démarrage rapide des charges de travail, une mise à l'échelle automatique de l'infrastructure et des mises à niveau fluides des versions de Databricks Runtime. Surtout, avec le calcul sans serveur, vous ne payez que pour le travail effectué au lieu du temps passé à acquérir et initialiser des instances auprès des fournisseurs cloud.

Notre offre actuelle de calcul sans serveur est optimisée pour un démarrage, une mise à l'échelle et des performances rapides. Les utilisateurs pourront bientôt exprimer d'autres objectifs, comme la réduction des coûts. Nous proposons actuellement une remise promotionnelle de lancement sur le calcul sans serveur, disponible dès maintenant et jusqu'au 31 janvier 2025. Vous bénéficiez d'une réduction de 50 % sur le calcul sans serveur pour Workflows et SDP, ainsi que d'une réduction de 30 % pour les Notebooks.
"Le démarrage des clusters est une priorité pour nous, et les notebooks et Workflows sans serveur ont fait une énorme différence. Le calcul sans serveur pour les notebooks simplifie tout en un seul clic ; nous obtenons un calcul sans serveur qui s'intègre de manière transparente dans les workflows. De plus, c'est sécurisé. Cette fonctionnalité tant attendue change la donne. Merci, Databricks !" - Chiranjeevi Katta, Data Engineer chez Airbus
Explorons les défis que le calcul sans serveur aide à résoudre et les avantages uniques qu'il offre aux équipes de données.
La configuration et la gestion du calcul, comme les clusters Spark, ont longtemps été un défi pour les ingénieurs et les scientifiques des données. Le temps passé à configurer et à gérer le calcul est du temps perdu pour apporter de la valeur à l'entreprise.
Choisir le bon type et la bonne taille d'instance prend du temps et nécessite des expérimentations pour déterminer le choix optimal pour une charge de travail donnée. Définir les politiques de cluster, la mise à l'échelle automatique et les configurations Spark complexifie encore cette tâche et requiert de l'expertise. Une fois vos clusters configurés et opérationnels, vous devez encore consacrer du temps à la maintenance, à l'optimisation de leurs performances et à la mise à jour des versions de Databricks Runtime pour profiter des nouvelles fonctionnalités.
Le temps d'inactivité — le temps non consacré au traitement de vos charges de travail, mais que vous continuez à payer — est un autre résultat coûteux de la gestion de votre propre infrastructure de calcul. Pendant l'initialisation et la mise à l'échelle du calcul, les instances doivent démarrer, les logiciels, y compris Databricks Runtime, doivent être installés, etc. Vous payez votre fournisseur cloud pour ce temps. De plus, si vous surdimensionnez le calcul en utilisant trop d'instances ou des types d'instances dotés d'une mémoire ou d'un processeur excessifs, le calcul sera sous-utilisé tout en vous coûtant l'intégralité de la capacité provisionnée.
L'observation de ces coûts et complexités à travers des millions de charges de travail clients nous a poussés à innover avec le calcul sans serveur.
Dans le mode de calcul classique, vous donnez à Databricks des autorisations déléguées via des rôles et des politiques cloud complexes pour gérer le cycle de vie des instances nécessaires à vos charges de travail. Le calcul sans serveur élimine cette complexité puisque Databricks gère un parc de calcul vaste et sécurisé pour vous. Vous pouvez simplement commencer à utiliser Databricks sans aucune configuration.

Le calcul sans serveur nous permet de fournir un service qui est rapide, simple et fiable :
"Il est très facile de migrer des workflows du dev vers la prod sans avoir à choisir les types de workers. L'amélioration significative du temps de démarrage, combinée à la réduction de la configuration et de la maintenance DataOps, améliore grandement la productivité et l'efficacité." - Gal Doron, Head of Data chez AnyClip
Nous sommes ravis de présenter un modèle de facturation élastique pour le calcul sans serveur. Vous êtes facturé uniquement lorsque le calcul est assigné à vos charges de travail et non pour le temps nécessaire à l'acquisition et à la configuration des instances de calcul.
L'autoscaler sans serveur intelligent garantit que votre espace de travail disposera toujours de la bonne capacité provisionnée pour répondre à la demande, par exemple lorsqu'un utilisateur exécute une commande dans un notebook. Il augmentera ou réduira automatiquement la capacité de l'espace de travail par étapes progressives pour répondre à vos besoins. Pour garantir une gestion judicieuse des ressources, nous réduirons la capacité provisionnée après quelques minutes lorsque l'autoscaler intelligent estimera qu'elle n'est plus nécessaire.
"Le calcul sans serveur pour SDP a été incroyablement facile à configurer et à lancer, et nous constatons déjà d'importantes améliorations de performance sur nos vues matérialisées. Auparavant, passer des données brutes à la couche silver nous prenait environ 16 minutes, mais après le passage au sans serveur, cela ne prend plus que 7 minutes environ. Les gains de temps et d'argent vont être immenses" - Aaron Jepsen, Director IT Operations chez Jet Linx Aviation
Le calcul sans serveur intègre des outils permettant aux administrateurs de gérer les coûts et les budgets. Après tout, la simplicité ne doit pas rimer avec dépassements de budget et factures surprises !
Les données relatives à l'utilisation et aux coûts du calcul sans serveur sont disponibles dans les tables système. Nous fournissons des tableaux de bord préconfigurés qui vous permettent d'obtenir une vue d'ensemble des coûts et d'analyser en détail des charges de travail spécifiques.

Les administrateurs peuvent utiliser les alertes de budget (en avant-première) pour regrouper les coûts et configurer des alertes. Une interface utilisateur intuitive facilite la gestion des budgets.

Sous le capot, le calcul sans serveur utilise Lakeguard pour isoler le code utilisateur à l'aide de techniques de sandboxing, une nécessité absolue dans un environnement sans serveur. Par conséquent, certaines charges de travail nécessitent des modifications de code pour continuer à fonctionner en mode sans serveur. Le calcul sans serveur requiert Unity Catalog pour un accès sécurisé aux actifs de données, de sorte que les charges de travail accédant aux données sans utiliser Unity Catalog peuvent nécessiter des modifications.
Le moyen le plus simple de tester si votre charge de travail est prête pour le calcul sans serveur est de l'exécuter d'abord sur un cluster classique en utilisant le mode d'accès partagé sur DBR 14.3+.

Nous travaillons d'arrache-pied pour rendre le calcul sans serveur encore meilleur dans les mois à venir :
Pour commencer à utiliser le calcul sans serveur dès aujourd'hui :
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.