Migration de SQL Server vers Databricks : Conseils pour une transition en douceur

L'impératif de modernisation

Les solutions de bases de données traditionnelles comme SQL Server ont eu du mal à répondre aux exigences des charges de travail de données modernes en raison d'un manque de support pour l'IA/ML, les capacités de streaming et les coûts élevés. Les entreprises adoptent de plus en plus de solutions cloud natives comme Databricks pour gagner en flexibilité, en évolutivité et en rentabilité tout en permettant des cas d'utilisation d'analyse avancée.

Avantages clés de Databricks par rapport à SQL Server

• Plateforme unifiée : Combine le traitement des données structurées et non structurées avec les capacités d'IA/ML. De plus, Unity Catalog offre une gouvernance complète des données pour tous les actifs de données.
• Évolutivité : Databricks, grâce à son infrastructure cloud native, peut faire évoluer ses ressources de manière élastique en fonction des demandes de la charge de travail. Cette architecture lui permet de gérer des charges de travail volumineuses et complexes avec des performances de requête améliorées et une latence réduite.
• Rentabilité : Les modèles de tarification cloud à l'usage réduisent les coûts matériels d'infrastructure. Les coûts administratifs inférieurs et l'utilisation améliorée des ressources réduisent également considérablement le TCO global.
• Analyses avancées : Databricks fournit des fonctionnalités intégrées pour les cas d'utilisation d'analyses avancées tels que l'IA/ML, le GenAI et le streaming en temps réel. De plus, avec Databricks SQL, les utilisateurs peuvent intégrer leurs outils de BI de choix, leur permettant ainsi d'effectuer des analyses complexes plus efficacement.

Plongée architecturale

La migration de SQL Server vers Databricks implique de repenser votre architecture de données pour tirer parti des forces du modèle Lakehouse. Comprendre les différences clés entre les deux plateformes est essentiel pour concevoir une stratégie de migration efficace. Différences clés entre SQL Server et Databricks : 

Migration des données d'entreprise

La migration des données d'un SQL Server sur site vers Databricks dans le cloud nécessite de sélectionner les bons outils et stratégies en fonction de la taille et de la complexité de la charge de travail.

Approches recommandées pour la migration des données : 

1. Databricks Lakeflow Connect : Lakeflow Connect offre un connecteur SQL Server entièrement géré pour une ingestion de données transparente de SQL Server vers le lakehouse Databricks. Pour plus d'informations, consultez Ingérer des données depuis SQL Server.
2. Utilisation de Databricks Lakehouse Federation : Databricks Lakehouse Federation permet des requêtes fédérées sur différentes sources de données, y compris SQL Server.
3. Partenaires ISV : Les partenaires ISV de Databricks, tels que Qlik et Fivetran, peuvent répliquer les données de SQL Server vers la table Delta de Databricks.

Migration du code

La migration de T-SQL vers Databricks SQL nécessite de refactoriser les scripts SQL, les procédures stockées et les flux ETL dans des formats compatibles avec Databricks tout en optimisant les performances. Databricks dispose d'outils de conversion et de migration de code matures pour rendre ce processus plus fluide et hautement automatisé.

Databricks Code Converter (acquis auprès de BladeBridge) peut convertir automatiquement la logique en notebooks Databricks SQL ou PySpark. L'outil de conversion BladeBridge prend en charge la conversion de schémas (tables et vues) et les requêtes SQL (instructions SELECT, expressions, fonctions, fonctions définies par l'utilisateur, etc.). De plus, les procédures stockées peuvent être converties en workflows Databricks, scripts SQL, ou pipelines DLT modulaires. 

Modernisation des flux ETL

Databricks offre plusieurs options pour moderniser les pipelines ETL, simplifiant les flux de travail complexes traditionnellement gérés par SSIS ou SQL Agent.

Options d'orchestration ETL sur Databricks :

1. Databricks Workflows : Outil d'orchestration natif prenant en charge les scripts Python, les Notebooks, les transformations dbt, etc.
2. DLT (DLT) : Pipelines déclaratives avec des contrôles de qualité des données intégrés.

Intégration des outils de BI et d'analytique

Databricks SQL permet aux organisations de répondre à leurs besoins en matière d'entreposage de données et de prendre en charge les applications en aval et les tableaux de bord de BI. Repointez les outils de BI comme Power BI ou Tableau après la migration des pipelines de données pour assurer la continuité des activités.

Microsoft Power BI, une application en aval couramment observée dans divers environnements clients, fonctionne généralement au-dessus de la couche de service de SQL Server.

Bonnes pratiques d'intégration Power BI

1. Utilisez le mode DirectQuery pour l'analytique en temps réel sur les tables Delta. DirectQuery est 2 à 5 fois plus rapide avec Databricks par rapport à SQL Server.
2. Tirez parti des vues matérialisées dans Databricks SQL Warehouse pour des tableaux de bord plus rapides grâce aux agrégations.
3. Utilisez SQL Serverless Warehouse pour des performances optimales pour les charges de travail à forte concurrence et à faible latence.

Ci-dessous une architecture future qui fonctionne bien pour optimiser les modèles de BI et les couches sémantiques afin de s'aligner sur les besoins de l'entreprise. Elle comprend une couche bronze, argent et or pour alimenter les tableaux de bord, les applications, l'IA et les cas d'utilisation ML. 

Cadre de validation

La validation garantit que les jeux de données migrés conservent leur exactitude et leur cohérence sur les plateformes. Étapes de validation recommandées :

1. Effectuez des vérifications de schéma entre la source (Netezza) et la cible (Databricks).
2. Comparez les décomptes de lignes et les valeurs agrégées à l'aide d'outils automatisés tels que Remorph Reconcile ou DataCompy.
3. Exécutez des pipelines parallèles pendant une phase de transition pour vérifier les résultats des requêtes

Transfert de connaissances et préparation organisationnelle

La montée en compétence des équipes sur les concepts Databricks, l'architecture Delta Lake, Databricks SQL et l'optimisation des performances est essentielle pour le succès à long terme. Recommandations de formation :

• Formez les analystes aux fonctionnalités de Databricks SQL Warehouse.
• Proposez des laboratoires pratiques aux ingénieurs passant de SSIS aux pipelines DLT.
• Documentez les modèles de migration et les playbooks de dépannage.

Migrations prévisibles et à faible risque

La migration de SQL Server vers Databricks représente un changement significatif non seulement dans la technologie, mais aussi dans l'approche de la gestion des données et de l'analytique. En planifiant minutieusement, en abordant les différences clés entre les plateformes et en tirant parti des capacités uniques de Databricks, les organisations peuvent réussir leur migration et obtenir des performances, une évolutivité et une rentabilité améliorées. 

Le parcours de migration est une opportunité de moderniser l'emplacement de vos données et la façon dont vous travaillez avec elles. En suivant ces conseils et en évitant les pièges courants, votre organisation peut passer en douceur à la plateforme Databricks et débloquer de nouvelles possibilités pour la prise de décision basée sur les données. 

N'oubliez pas que si les aspects techniques de la migration sont importants, une attention égale doit être accordée à la préparation organisationnelle, au transfert de connaissances et aux stratégies d'adoption pour assurer le succès à long terme.

Conseils pratiques de Capgemini

Capgemini a partagé quelques conseils pratiques pour migrer de SQL Server vers Databricks dans ce webinaire. Regardez-le pour découvrir comment la migration s'est déroulée dans une entreprise de sciences de la vie ! Les points forts incluent :

• Commencez petit avec des migrations progressives.
• Automatisez les phases de codage et de test.
• Intégrez les premiers utilisateurs dès le début du processus de migration.
• Optimisation ciblée avec des fonctionnalités telles que le saut de données, Z-order et VACUUM.
• Montez en puissance avec Lakehouse en tirant parti de la plateforme entière.

Prochaines étapes

La migration peut être difficile. Il y aura toujours des compromis à faire et des problèmes et retards inattendus à gérer. Vous avez besoin de partenaires et de solutions éprouvés pour les aspects humains, processus et technologiques de la migration. Nous vous recommandons de faire confiance aux experts de Databricks Professional Services et à nos partenaires de migration certifiés, qui possèdent une vaste expérience dans la fourniture de solutions de migration de haute qualité dans les meilleurs délais. Contactez-nous pour démarrer votre évaluation de migration.

Vous devriez également consulter le livre électronique « Moderniser votre parc de données en migrant vers Azure Databricks ». 

Nous avons également un Guide complet de migration de SQL Server vers Databricks - obtenez votre copie gratuite ici.  

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original