Rendre les migrations sans serveur plus rapides, plus sûres et plus simples
par Piyush Singh, Vijay Raja et Feng Lu
Le calcul serverless dans Databricks offre un moyen plus simple et plus rapide d'exécuter vos charges de travail de données et d'IA. Il élimine la charge opérationnelle liée à la gestion de l'infrastructure, en gérant automatiquement le provisionnement, la mise à l'échelle et l'optimisation afin que les équipes puissent se concentrer sur leurs objectifs commerciaux. Avec le serverless, les organisations peuvent progresser plus rapidement, améliorer leur efficacité et profiter des avantages du calcul cloud-native sans avoir à gérer ni entretenir des clusters complexes.
Notre utilisation du serverless a connu une croissance exponentielle rien qu'au cours de l'année passée, et des milliers de clients exécutent aujourd'hui des notebooks et des tâches sur cette infrastructure. La plupart des équipes disposent encore d'un parc classique qu'elles souhaitent migrer vers l'univers serverless pour bénéficier des avantages en matière de coûts et d'opérations sans avoir à gérer l'infrastructure elles-mêmes. Le travail consistant à déplacer chaque charge de travail une par une empêche souvent nos clients de faire profiter leurs charges de travail existantes des avantages du serverless.
Vous avez probablement déjà assisté à cette situation. Vous choisissez une tâche, basculez vers le serverless, puis vous vous retrouvez confronté à une erreur, à une incompatibilité de mode d'accès, à une configuration Spark qui ne s'applique pas, ou à une bibliothèque installée sur le cluster classique mais absente du serverless. Ce qui devrait prendre un après-midi s'étire sur des semaines, et la plus grande partie du temps est consacrée à des opérations de traduction déjà réalisées de nombreuses fois par le passé.
C'est de l'histoire ancienne ! Aujourd'hui, nous avons le plaisir d'annoncer le lancement de Genie Migrate for Serverless (en version bêta), l'agent Databricks qui migre vos tâches et notebooks des clusters classiques vers le calcul serverless, facilement et sans effort. La migration des charges de travail devient ainsi une simple étape de révision et d'approbation plutôt qu'un projet de recherche.
Jusqu'à présent, la migration d'une charge de travail vers le serverless était manuelle. La connaissance de la correspondance entre la configuration d'un cluster classique et le serverless, des bibliothèques à résoudre, des configurations Spark applicables et du mode d'accès requis résidait dans l'esprit du praticien ainsi que dans la méthode empirique consistant à exécuter le notebook ou la tâche et à analyser l'échec.
Genie Migrate for Serverless délègue cette traduction de vos mains vers la plateforme, de la même manière que le serverless a transféré le provisionnement et la mise à l'échelle vers la plateforme. Ce qui vous revient, c'est le pouvoir de décision : déterminer s'il convient de migrer une charge de travail maintenant, si les modifications proposées semblent correctes et si l'exécution migrée se déroule sans encombre. L'agent prend en charge la traduction lui-même, en proposant un diff que vous examinez avant toute modification.
Pour concevoir un outil de migration serverless efficace, nous avons gardé à l'esprit ces principes fondamentaux :
Ces trois besoins façonnent le fonctionnement de l'agent de migration, et le flux de travail ci-dessous définit la manière dont il exécute la migration : évaluer ce qui peut être déplacé, le traduire et appliquer la modification de manière réversible.

L'agent s'exécute à partir de la commande slash /compute migrate dans Genie sur n'importe quelle tâche ou notebook. Entièrement géré, il ne nécessite aucune configuration pour lancer l'analyse. Comme il est géré par Databricks, l'agent lit la configuration de vos tâches et le code de vos charges de travail directement au sein de votre propre espace de travail.
Examinons un peu plus en détail chacun de ces domaines présentés ci-dessus.
Avant de modifier quoi que ce soit, l'agent analyse vos tâches et notebooks et attribue à chaque charge de travail un niveau de préparation pour le serverless. Vous visualisez ainsi les charges de travail qui constituent des candidates idéales pour la migration, ce qui vous évite d'avoir à auditer le parc manuellement et élimine les tâches fastidieuses de découverte et de tri.

Une brève remarque concernant les sources externes : si la source de vérité d'une charge de travail se trouve en dehors de l'espace de travail (par exemple, une tâche gérée par Databricks Asset Bundles ou un notebook situé dans un dossier Git), l'agent ne peut pas encore la migrer. La prise en charge de ces éléments sera bientôt disponible.
Une fois que vous avez sélectionné une charge de travail éligible, l'agent de migration propose les modifications nécessaires pour le serverless et les soumet à votre examen avant toute écriture. Rien n'est appliqué tant que vous ne l'avez pas approuvé.
L'agent de migration traduit efficacement les éléments qui diffèrent entre le mode classique et le mode serverless :
Chaque modification, y compris les réécritures de code, est présentée sous forme de diff révisable. Avant l'application, l'agent affiche une comparaison côte à côte de ce qui va changer et de ce qui ne changera pas, constituant un contrat explicite que vous pouvez présenter à un responsable ou à l'équipe d'astreinte.
Découvrez la dernière démonstration sur la manière de migrer facilement des charges de travail classiques à l'aide de Genie Migrate for Serverless.
Si l'agent a un doute sur un point, par exemple sur la nécessité d'une configuration Spark, il la signale au lieu de la supprimer. Une configuration peut sembler inutilisée lors d'une analyse statique alors qu'un écouteur chargé à l'exécution en dépend. Une suppression silencieuse entraînerait la perte des données de télémétrie sur lesquelles une équipe s'appuie. L'agent vous laisse le soin de prendre cette décision.
L'application d'une migration est l'étape où vous êtes le plus exposé ; c'est pourquoi Genie Migrate for Serverless y fait preuve d'une grande prudence. Il effectue actuellement des contrôles de correction déterministes, et une validation d'exécution plus approfondie sera bientôt disponible.
Si vous décidez de ne pas migrer, les tâches clonées ou les modifications suggérées pour les notebooks ne seront pas appliquées.
Un point de vigilance : cette opération ne permet pas d'annuler les modifications apportées aux tables de production par des exécutions serverless si vous avez effectu é des tests avec les versions modifiées entre-temps.
Actuellement, la validation est statique. Elle confirme que la traduction est correcte sans exécuter la charge de travail, et elle indique clairement ce qu'elle a prouvé ou non. Un contrôle plus approfondi sera bientôt introduit via la validation Sandbox. Grâce à cette fonctionnalité, l'agent pourra exécuter la charge de travail migrée dans un environnement isolé (sandbox) sans affecter vos tables de production, puis comparer son résultat avec la référence classique. Vous disposerez ainsi d'un signal sur le temps d'exécution et l'exactitude d'une tâche critique avant l'application, et non après.
Migrer une charge de travail à la fois dans Genie fonctionne bien pour un petit nombre de tâches. Pour un parc plus important, vous pouvez exécuter Genie Migrate for Serverless en arrière-plan avec l'interface de ligne de commande Databricks CLI. Lancez la migration de plusieurs tâches à partir d'un script en utilisant le groupe de commandes compute-migrations, et l'agent crée une copie de travail sans serveur pour chaque tâche sans session Genie active. Votre tâche d'origine ne change pas tant que vous n'avez pas examiné et approuvé sa migration, et l'approbation conserve l'identifiant, le calendrier et les autorisations de la tâche. La migration en masse prend en charge les tâches dès aujourd'hui (le support pour les notebooks arrive bientôt) et nécessite la version 1.24.0 ou ultérieure de Databricks CLI.
Rassemblons à nouveau les trois fonctionnalités clés de Genie Migrate for Serverless :
Voici un bref résumé des charges de travail qu'il est bon de migrer dès aujourd'hui à l'aide de l'agent, et de ce qui vous attend.

Vous pouvez commencer à déplacer des charges de travail vers serverless dès aujourd'hui à l'aide de Genie Migrate for Serverless. Voici comment procéder :
/compute migrate dans Genie sur une tâche ou un notebook pour analyser ce qui est éligible.Genie Migrate for Serverless est disponible dès aujourd'hui via la commande /compute migrate dans Genie, sur n'importe quelle tâche ou notebook. Nous façonnons activement la fonctionnalité de validation en bac à sable avec les clients participant aux versions préliminaires, et nous continuons à faire évoluer l'agent pour rendre les migrations serverless plus rapides, plus simples et plus aisées.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.