Revenir au contenu principal
Plateforme

Découvrez Genie Migrate for Serverless

Rendre les migrations sans serveur plus rapides, plus sûres et plus simples

par Piyush Singh, Vijay Raja et Feng Lu

  • Genie Migrate for Serverless automatise les aspects les plus complexes du transfert de charges de travail classiques vers le mode sans serveur : analyse de votre parc, traduction des configurations de calcul et des bibliothèques, et application réversible des modifications avec une possibilité de restauration sur 30 jours.
  • Chaque modification proposée s'affiche sous forme de comparatif vérifiable avant toute écriture, transformant ainsi la migration en une simple étape de validation plutôt qu'en semaines d'essais et erreurs manuels.
  • Vous pouvez commencer dès aujourd'hui. L'agent ne touche pas au code de vos charges de travail et signale les configurations Apache Spark incertaines pour que vous puissiez décider, au lieu de les supprimer en silence, ce qui vous permet de garder le contrôle de ce qui s'exécute en production.

Le calcul serverless dans Databricks offre un moyen plus simple et plus rapide d'exécuter vos charges de travail de données et d'IA. Il élimine la charge opérationnelle liée à la gestion de l'infrastructure, en gérant automatiquement le provisionnement, la mise à l'échelle et l'optimisation afin que les équipes puissent se concentrer sur leurs objectifs commerciaux. Avec le serverless, les organisations peuvent progresser plus rapidement, améliorer leur efficacité et profiter des avantages du calcul cloud-native sans avoir à gérer ni entretenir des clusters complexes.

Notre utilisation du serverless a connu une croissance exponentielle rien qu'au cours de l'année passée, et des milliers de clients exécutent aujourd'hui des notebooks et des tâches sur cette infrastructure. La plupart des équipes disposent encore d'un parc classique qu'elles souhaitent migrer vers l'univers serverless pour bénéficier des avantages en matière de coûts et d'opérations sans avoir à gérer l'infrastructure elles-mêmes. Le travail consistant à déplacer chaque charge de travail une par une empêche souvent nos clients de faire profiter leurs charges de travail existantes des avantages du serverless.

Vous avez probablement déjà assisté à cette situation. Vous choisissez une tâche, basculez vers le serverless, puis vous vous retrouvez confronté à une erreur, à une incompatibilité de mode d'accès, à une configuration Spark qui ne s'applique pas, ou à une bibliothèque installée sur le cluster classique mais absente du serverless. Ce qui devrait prendre un après-midi s'étire sur des semaines, et la plus grande partie du temps est consacrée à des opérations de traduction déjà réalisées de nombreuses fois par le passé.

C'est de l'histoire ancienne ! Aujourd'hui, nous avons le plaisir d'annoncer le lancement de Genie Migrate for Serverless (en version bêta), l'agent Databricks qui migre vos tâches et notebooks des clusters classiques vers le calcul serverless, facilement et sans effort. La migration des charges de travail devient ainsi une simple étape de révision et d'approbation plutôt qu'un projet de recherche.

La migration incombait auparavant aux praticiens

Jusqu'à présent, la migration d'une charge de travail vers le serverless était manuelle. La connaissance de la correspondance entre la configuration d'un cluster classique et le serverless, des bibliothèques à résoudre, des configurations Spark applicables et du mode d'accès requis résidait dans l'esprit du praticien ainsi que dans la méthode empirique consistant à exécuter le notebook ou la tâche et à analyser l'échec.

Genie Migrate for Serverless délègue cette traduction de vos mains vers la plateforme, de la même manière que le serverless a transféré le provisionnement et la mise à l'échelle vers la plateforme. Ce qui vous revient, c'est le pouvoir de décision : déterminer s'il convient de migrer une charge de travail maintenant, si les modifications proposées semblent correctes et si l'exécution migrée se déroule sans encombre. L'agent prend en charge la traduction lui-même, en proposant un diff que vous examinez avant toute modification.

Pour concevoir un outil de migration serverless efficace, nous avons gardé à l'esprit ces principes fondamentaux :

  • Pas de perturbation en production : une régression silencieuse sur une charge de travail critique pour l'activité est pire qu'une absence de migration ; c'est pourquoi l'agent évalue d'abord chaque charge de travail et indique ce qu'il est sûr de déplacer.
  • Contrôle de chaque modification : la possibilité de voir ce qui va changer et ce qui ne changera pas, d'accepter ou de rejeter chaque modification proposée, et d'avoir l'assurance que rien ne touche au code que vous n'avez pas approuvé.
  • Un retour en arrière propre : si l'exécution en mode serverless rencontre un problème, un moyen de revenir à l'état pré-migration en quelques clics.

Ces trois besoins façonnent le fonctionnement de l'agent de migration, et le flux de travail ci-dessous définit la manière dont il exécute la migration : évaluer ce qui peut être déplacé, le traduire et appliquer la modification de manière réversible.

Ce que fait Genie Migrate for Serverless

  1. Évaluer : analyser vos tâches et classifier un parc pour identifier ce qui peut être déplacé dès aujourd'hui, ce qui nécessite l'intervention d'un administrateur et ce qui n'est pas encore prêt pour la migration.
  2. Traduire : proposer les modifications d'infrastructure et de code requises par la charge de travail pour le serverless, sous forme de diff étiqueté (une vue côte à côte de ce qui change et de ce qui reste identique) que vous examinez.
  3. Appliquer (de manière réversible) : valider la traduction et l'appliquer sans interrompre une charge de travail en cours d'exécution, tout en conservant votre charge de travail d'origine intacte afin de pouvoir effectuer un retour en arrière si l'exécution serverless n'est pas optimale.

image2.png

L'agent s'exécute à partir de la commande slash /compute migrate dans Genie sur n'importe quelle tâche ou notebook. Entièrement géré, il ne nécessite aucune configuration pour lancer l'analyse. Comme il est géré par Databricks, l'agent lit la configuration de vos tâches et le code de vos charges de travail directement au sein de votre propre espace de travail.

Examinons un peu plus en détail chacun de ces domaines présentés ci-dessus.

Évaluer

Avant de modifier quoi que ce soit, l'agent analyse vos tâches et notebooks et attribue à chaque charge de travail un niveau de préparation pour le serverless. Vous visualisez ainsi les charges de travail qui constituent des candidates idéales pour la migration, ce qui vous évite d'avoir à auditer le parc manuellement et élimine les tâches fastidieuses de découverte et de tri.

image1.png

Une brève remarque concernant les sources externes : si la source de vérité d'une charge de travail se trouve en dehors de l'espace de travail (par exemple, une tâche gérée par Databricks Asset Bundles ou un notebook situé dans un dossier Git), l'agent ne peut pas encore la migrer. La prise en charge de ces éléments sera bientôt disponible.

Traduire

Une fois que vous avez sélectionné une charge de travail éligible, l'agent de migration propose les modifications nécessaires pour le serverless et les soumet à votre examen avant toute écriture. Rien n'est appliqué tant que vous ne l'avez pas approuvé.

L'agent de migration traduit efficacement les éléments qui diffèrent entre le mode classique et le mode serverless :

  • Configuration du calcul : la configuration du cluster classique correspond à une sélection de calcul serverless.
  • Environnement et bibliothèques : la liste des bibliothèques est résolue par rapport au runtime serverless, et la définition de l'environnement est synthétisée pour le serverless.
  • Configurations Spark : les configurations qui s'appliquent toujours sont conservées, tandis que celles qui ne sont plus valides vous sont présentées pour décision au lieu d'être supprimées silencieusement.
  • Code de la charge de travail : lorsque le code utilise des modèles incompatibles avec le serverless, tels que des API non compatibles avec Spark Connect, l'agent les réécrit et présente la modification sous forme de diff.

Chaque modification, y compris les réécritures de code, est présentée sous forme de diff révisable. Avant l'application, l'agent affiche une comparaison côte à côte de ce qui va changer et de ce qui ne changera pas, constituant un contrat explicite que vous pouvez présenter à un responsable ou à l'équipe d'astreinte.

Découvrez la dernière démonstration sur la manière de migrer facilement des charges de travail classiques à l'aide de Genie Migrate for Serverless.

Si l'agent a un doute sur un point, par exemple sur la nécessité d'une configuration Spark, il la signale au lieu de la supprimer. Une configuration peut sembler inutilisée lors d'une analyse statique alors qu'un écouteur chargé à l'exécution en dépend. Une suppression silencieuse entraînerait la perte des données de télémétrie sur lesquelles une équipe s'appuie. L'agent vous laisse le soin de prendre cette décision.

Appliquer

L'application d'une migration est l'étape où vous êtes le plus exposé ; c'est pourquoi Genie Migrate for Serverless y fait preuve d'une grande prudence. Il effectue actuellement des contrôles de correction déterministes, et une validation d'exécution plus approfondie sera bientôt disponible.

  • Validation préalable à l'application : l'agent vérifie que la traduction est cohérente, que les dépendances des bibliothèques se résolvent correctement avec le runtime serverless et que la configuration s'applique proprement, afin que les éventuelles erreurs apparaissent avant l'exécution de la charge de travail plutôt que lors du respect des SLA du lendemain.
  • Une première exécution surveillée : les modifications étant appliquées à une tâche clonée, vous pouvez exécuter ce clone une fois à la demande pour confirmer son bon fonctionnement en mode serverless avant de le promouvoir sur votre tâche d'origine. La première exécution en mode serverless se fait ainsi sous votre supervision et non de manière automatisée.

Si vous décidez de ne pas migrer, les tâches clonées ou les modifications suggérées pour les notebooks ne seront pas appliquées.

Un point de vigilance : cette opération ne permet pas d'annuler les modifications apportées aux tables de production par des exécutions serverless si vous avez effectué des tests avec les versions modifiées entre-temps.

Actuellement, la validation est statique. Elle confirme que la traduction est correcte sans exécuter la charge de travail, et elle indique clairement ce qu'elle a prouvé ou non. Un contrôle plus approfondi sera bientôt introduit via la validation Sandbox. Grâce à cette fonctionnalité, l'agent pourra exécuter la charge de travail migrée dans un environnement isolé (sandbox) sans affecter vos tables de production, puis comparer son résultat avec la référence classique. Vous disposerez ainsi d'un signal sur le temps d'exécution et l'exactitude d'une tâche critique avant l'application, et non après.

Migrer des tâches en masse

Migrer une charge de travail à la fois dans Genie fonctionne bien pour un petit nombre de tâches. Pour un parc plus important, vous pouvez exécuter Genie Migrate for Serverless en arrière-plan avec l'interface de ligne de commande Databricks CLI. Lancez la migration de plusieurs tâches à partir d'un script en utilisant le groupe de commandes compute-migrations, et l'agent crée une copie de travail sans serveur pour chaque tâche sans session Genie active. Votre tâche d'origine ne change pas tant que vous n'avez pas examiné et approuvé sa migration, et l'approbation conserve l'identifiant, le calendrier et les autorisations de la tâche. La migration en masse prend en charge les tâches dès aujourd'hui (le support pour les notebooks arrive bientôt) et nécessite la version 1.24.0 ou ultérieure de Databricks CLI.

Vue d'ensemble

Rassemblons à nouveau les trois fonctionnalités clés de Genie Migrate for Serverless :

  • Évaluer : identifie et classe l'éligibilité des tâches pour la migration serverless dans l'ensemble du parc.
  • Traduire : propose des modifications d'infrastructure et de code sous forme de différences étiquetées et vérifiables.
  • Appliquer de manière réversible : effectue une validation déterministe dès aujourd'hui, la validation en bac à sable (sandbox) étant prévue prochainement.

Voici un bref résumé des charges de travail qu'il est bon de migrer dès aujourd'hui à l'aide de l'agent, et de ce qui vous attend.

image4.png

Commencez dès aujourd'hui

Vous pouvez commencer à déplacer des charges de travail vers serverless dès aujourd'hui à l'aide de Genie Migrate for Serverless. Voici comment procéder :

  1. Activer la version bêta : activez Genie Migrate for Serverless dans les paramètres de prévisualisation de votre espace de travail, puis exécutez /compute migrate dans Genie sur une tâche ou un notebook pour analyser ce qui est éligible.
  2. Choisissez d'abord une charge de travail à faible risque : migrez une tâche ou un notebook non critique pour vous familiariser avec le processus avant de toucher à des éléments critiques pour votre activité.
  3. Vérifiez avant d'appliquer : lisez les panneaux de ce qui va changer et de ce qui ne changera pas, et acceptez ou rejetez chaque modification proposée.
  4. Surveillez la première exécution serverless : confirmez que la charge de travail migrée s'exécute correctement ; votre version d'origine reste intacte afin que vous puissiez faire machine arrière en cas de problème.
  5. Élargissez progressivement : migrez le reste du parc éligible et utilisez les bannières d'action d'administration requises pour débloquer les charges de travail qui nécessitent une configuration.

Genie Migrate for Serverless est disponible dès aujourd'hui via la commande /compute migrate dans Genie, sur n'importe quelle tâche ou notebook. Nous façonnons activement la fonctionnalité de validation en bac à sable avec les clients participant aux versions préliminaires, et nous continuons à faire évoluer l'agent pour rendre les migrations serverless plus rapides, plus simples et plus aisées.

En savoir plus :

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original

Recevez les derniers articles dans votre boîte mail

Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.