Migration fluide de NBCUniversal : libérer des analyses évolutives avec Databricks

En tant que l'une des principales entreprises de médias et de divertissement au monde, NBCUniversal s'appuie sur les données pour offrir des expériences de divertissement inégalées sur ses réseaux mondiaux de diffusion, de câblodistribution et de streaming. La diffusion de contenu exigeant des analyses en temps réel, des pipelines de données complexes et du machine learning avancé, l'infrastructure de données de l'entreprise est un actif commercial essentiel qui soutient la prise de décision dans l'ensemble du portefeuille.

NBCUniversal est à la pointe de l'innovation depuis 100 ans et a reconnu la nécessité de moderniser son infrastructure de données pour soutenir son écosystème de contenu en pleine croissance tout en maîtrisant ses coûts d'exploitation. À mesure que les volumes de données augmentaient et que les exigences en matière d'analyse évoluaient, l'entreprise a cherché une solution plus évolutive et intégrée. L'infrastructure existante répondait aux besoins d'analyse fondamentaux, mais mettait également en évidence des opportunités pour accroître la flexibilité, améliorer les performances des charges de travail avancées et optimiser les dépenses de calcul afin de renforcer l'efficacité opérationnelle.

« NBCUniversal s'est engagée dans une démarche visant à opérationnaliser et à élargir l'accès aux données pour les équipes de toute l'entreprise, ce qui nécessitait une nouvelle solution nous permettant de travailler plus rapidement », a déclaré Kevin Hill, vice-président principal, Technologie des données et produits, NBCUniversal. « Databricks nous a permis de passer moins de temps à construire et plus de temps à analyser les données. »

Lorsque NBCUniversal a entrepris de moderniser sa plateforme de données, l'objectif était de gagner en agilité pour s'adapter lors des lancements de contenus majeurs, des cérémonies de remise de prix et des événements en direct, sans surprovisionnement. En partenariat avec EXL et Databricks, NBCUniversal a migré vers les ressources de calcul spécifiques aux tâches de Databricks, unifiant l'analyse et le ML sur une plateforme unique et embarquant 300 analystes dans l'aventure.

Les résultats en un coup d'œil

• Réduction de 30 % des coûts d'infrastructure de données grâce aux ressources de calcul spécifiques aux tâches

• Plus de 300 analystes intégrés en douceur sur Databricks SQL

• Mise à l'échelle élastique pour les événements à fort trafic sans gaspillage de créneaux réservés à l'avance

• ML et analyses unifiés grâce à MLflow et Lakeflow Jobs

Le défi : équilibrer coût et performance

Alors que NBCUniversal continuait d'innover, les données sont devenues encore plus cruciales pour la prise de décision au sein des organisations, à travers des équipes comme le marketing, le produit et le contenu. L'architecture existante ne pouvait plus gérer de manière satisfaisante la quantité de données ou de requêtes nécessaires pour soutenir l'évolution rapide de l'organisation. Un modèle de réservation basé sur des créneaux permettait à l'organisation de réserver de nombreux créneaux pour prendre en charge ces charges de travail parallèles, mais entraînait des coûts de calcul importants et des conflits de ressources.

« Alors que l'écosystème de contenu actuel évolue rapidement, nos partenaires au sein de l'entreprise doivent prendre des décisions éclairées plus rapidement », a déclaré Louie Kuznia, Vice President, Data Engineering, NBCUniversal. « Databricks a fourni une solution qui a pu nous aider à moderniser l'infrastructure de données de NBCUniversal sans compromettre l'agilité ni la rapidité. »

L'évolution des considérations de coûts, ainsi que le souhait d'une plus grande flexibilité pour des cas d'usage avancés tels que le machine learning et une gouvernance améliorée autour du lignage des données, ont motivé NBCUniversal à explorer d'autres plateformes.

La solution : l'architecture Lakehouse de Databricks

NBCUniversal s'est associée à Databricks et à EXL, un cabinet de conseil mondial, pour mener à bien une migration stratégique vers la Databricks Data Intelligence Platform. Ce partenariat a combiné l'expertise approfondie d'EXL en matière de migration avec les solutions de données de pointe de Databricks pour créer une infrastructure de données modernisée prenant en charge l'ingénierie des données, le machine learning et les analyses avancées.

La décision de travailler avec Databricks a offert plusieurs avantages, notamment une flexibilité accrue et une efficacité globale pour les charges de travail de données :

• Plateforme d'analyse unifiée : Databricks fournit une plateforme unique pour les charges de travail d'ingénierie des données, de science des données, de machine learning et de business intelligence, ce qui élimine le besoin de maintenir plusieurs outils spécialisés.

• Architecture lakehouse flexible : Databricks s'appuie sur Delta Lake et Apache Iceberg™ avec Apache Spark™ open source et Lakehouse (Databricks SQL), permettant une gestion flexible des données structurées et non structurées dans divers formats.

• Capacités d'analyse avancées : Databricks excelle dans la prise en charge d'analyses complexes, y compris les charges de travail de machine learning, avec une intégration native de MLflow pour le suivi des expériences et le versioning des modèles.

• Contrôle granulaire du calcul : l'architecture de Databricks permet un contrôle plus granulaire des ressources de calcul, chaque pipeline de données s'exécutant sur un calcul dédié plutôt que de rivaliser pour des créneaux partagés.

La stratégie de migration : une approche progressive menée par un partenaire

La migration vers Databricks nécessite des transformations des structures de données, des modifications du code, des ajustements des formats de données et une orchestration minutieuse des dépendances en amont et en aval. EXL et Databricks ont développé ensemble une approche globale et progressive qui a minimisé les perturbations opérationnelles tout en accélérant la transition.

Phase 1 : Évaluation du paysage existant

L'équipe a commencé par une phase de découverte complète, en créant un inventaire des charges de travail, des tables et des bases de code existantes tout en analysant minutieusement leurs dépendances. Cette phase d'évaluation a permis d'identifier les artefacts nécessitant une migration, de les organiser par priorité et d'établir des critères de réussite.

Phase 2 : Conception de l'architecture cible

La phase de conception s'est concentrée sur la mise en correspondance des structures existantes avec leurs équivalents Databricks tout en optimisant les coûts et les performances.

Les principales décisions de conception comprenaient :

• Architecture des espaces de travail : structurer les espaces de travail conformément au Well-Architected Framework de Databricks, en associant ses piliers de bonnes pratiques à la structure organisationnelle et aux exigences de sécurité de NBCUniversal afin de garantir un environnement évolutif, sécurisé et pérenne.

• Stratégie de gouvernance des données : implémenter Unity Catalog comme couche de gouvernance centrale.

• Stratégie de calcul : définir les configurations de clusters de tâches, les types d'instances et les politiques de mise à l'échelle automatique adaptées aux exigences de chaque charge de travail.

• Structure de stockage : concevoir des structures de tables Delta Lake avec un partitionnement, un clustering et une optimisation prédictive appropriés pour maintenir automatiquement des dispositions de fichiers, des statistiques et un stockage efficaces pour des performances durables à grande échelle

Phase 3 : Validation du concept avec des outils de migration personnalisés

Avant de s'engager dans une migration à grande échelle, EXL a réalisé un MVP ciblé en utilisant un sous-ensemble représentatif des charges de travail de NBCU. Cette phase pilote avait un double objectif : valider l'approche de migration et développer des outils d'automatisation personnalisés pour accélérer l'effort global.

Au cours du MVP, EXL a développé quatre accélérateurs propriétaires spécifiquement pour l'environnement de NBCU :

• Moteur de traduction SQL : un convertisseur de code intelligent qui analyse la syntaxe SQL et la transforme automatiquement en Spark SQL optimisé, en gérant les différences de dialectes, les mappages de fonctions et l'optimisation des performances.

• Outil de migration d'orchestration : un outil qui a analysé les DAG existants et les a régénérés sous forme de Lakeflow Jobs, en préservant les dépendances et la logique de planification.

• Orchestrateur de transfert de données : un pipeline automatisé qui a déplacé les données vers Delta Lake, en sélectionnant les méthodes de transfert optimales en fonction de la taille des tables et de la fréquence de mise à jour.

• Framework de validation : Une suite de tests complète qui a comparé les résultats des requêtes, le nombre de lignes et les statistiques agrégées entre les systèmes sources et cibles.

Ces accélérateurs ont transformé ce qui aurait nécessité des mois de travail manuel en processus automatisés et reproductibles, avec des contrôles de qualité intégrés.

Phase 4 : Migration par vagues stratégiques

Une fois les accélérateurs validés et l'architecture cible finalisée, l'équipe a exécuté la migration par vagues soigneusement planifiées. Plutôt que de migrer toutes les charges de travail simultanément, elle a adopté une approche basée sur le risque, en donnant la priorité aux pipelines à forte valeur ajoutée et de moindre complexité.

Chaque vague de migration a suivi un modèle cohérent :

1. Sélection des charges de travail : Identifier un groupe cohérent de tables et de pipelines associés à migrer.
2. Génération de code automatisée : Utiliser le SQL Translation Engine pour convertir les requêtes et l'Orchestration Migrator pour reconstruire les workflows.
3. Synchronisation des données : Transférer les données historiques tout en maintenant les mises à jour incrémentielles depuis l'infrastructure existante.
4. Assurance qualité : Exécuter le Framework de validation pour garantir l'exactitude et l'exhaustivité des données.

Cette approche itérative a permis à l'équipe de maintenir la continuité des activités et d'affiner ses processus à chaque vague, en appliquant les leçons apprises aux migrations suivantes.

Phase 5 : Validation par double fonctionnement

La phase finale avant la transition vers Databricks a consisté à faire fonctionner les deux plateformes en parallèle pendant une période de validation prolongée. Pendant plusieurs semaines, NBCUniversal a exploité des pipelines doubles, exécutant les mêmes transformations à la fois sur la plateforme existante et sur Databricks tout en comparant les résultats.

Ce fonctionnement en parallèle a rempli plusieurs fonctions critiques :

1. Validation en production : Garantir la parité avec les résultats générés par Databricks dans des conditions réelles avec des volumes de données de production.
2. Analyse comparative des performances : Mesurer les temps d'exécution et les coûts réels dans l'environnement Databricks par rapport aux performances historiques.
3. Confiance des parties prenantes : Fournir aux utilisateurs métier et aux consommateurs en aval des preuves empiriques que la migration a préservé la qualité et la disponibilité des données.
4. Planification de la transition : Identifier tous les cas limites ou scénarios particuliers qui nécessitent une attention supplémentaire avant de décommissionner complètement les plateformes existantes.

Ce n'est qu'après avoir obtenu des résultats cohérents pour l'ensemble des indicateurs de validation que NBCUniversal a procédé à la transition finale, retirant les charges de travail existantes pipeline par pipeline, en toute confiance dans la nouvelle plateforme.

Impact sur l'activité : 30 % de réduction des coûts et gains stratégiques

Les résultats de la migration de NBCUniversal ont été substantiels et mesurables :

• Réduction des coûts de calcul : « En passant aux ressources de calcul spécifiques aux tâches de Databricks, NBCUniversal a obtenu une réduction de 30 % des coûts globaux d'infrastructure de données. Chaque pipeline s'exécute désormais sur ses propres ressources de calcul dédiées, ce qui permet une mise à l'échelle indépendante lors des pics de charge avec une réduction automatique de la capacité pendant les périodes de faible demande. » — Ludwig Kuznia, vice-président de l'ingénierie des données chez NBCUniversal

• Flexibilité opérationnelle améliorée : Le modèle d'exécution parallèle offre une plus grande agilité pour répondre aux exigences de l'activité. Lors d'événements à fort trafic connus (tels que les lancements de contenus majeurs ou les cérémonies de remise de prix), NBCUniversal peut adapter dynamiquement la capacité des clusters de tâches sans affecter les autres charges de travail ni gaspiller de ressources pré-réservées mais sous-utilisées.

• Capacités d'analyse unifiées : Au-delà des coûts, la migration a débloqué de nouvelles capacités. Les équipes d'ingénierie des données de NBCUniversal ont désormais accès à des opérations de ML unifiées grâce à MLflow, permettant :

  • Le suivi des expériences et le versionnage des modèles

  • Un cycle de vie du ML simplifié, de l'entraînement à la production

  • La standardisation automatisée des workflows grâce à Lakeflow Jobs

• Culture des données renforcée : La migration a catalysé un changement organisationnel plus large. En simplifiant la gestion des infrastructures et en réduisant les frais opérationnels, NBCUniversal a créé les conditions d'une culture plus agile, collaborative et axée sur les données entre les équipes d'ingénierie des données et d'analystes. Les équipes ont pu se concentrer sur les problématiques métier plutôt que sur les contraintes d'infrastructure.

• Facilité d'intégration des analystes : La migration a permis à environ 300 analystes de passer rapidement et facilement à Databricks, grâce à la conformité totale de Databricks SQL avec la norme ANSI SQL et à une plateforme intuitive qui simplifie l'écriture de requêtes, la création de tableaux de bord et l'analyse au sein d'un espace de travail unifié.

Conclusion : d'un centre de coûts à un actif stratégique

La migration de NBCUniversal vers Databricks démontre comment des décisions technologiques stratégiques peuvent transformer l'infrastructure de données, libérant ainsi une plus grande efficacité et un avantage concurrentiel. En s'associant à EXL et en adoptant l'architecture lakehouse de Databricks, NBCUniversal a non seulement réduit ses coûts de fonctionnement, mais a également débloqué une plateforme plus agile et unifiée qui permet aux équipes d'expérimenter plus rapidement, de commercialiser de nouveaux produits de données plus tôt et de répondre plus vite aux besoins changeants du public et des annonceurs.

La nouvelle plateforme permet à NBCUniversal d'itérer rapidement sur les insights d'audience, d'optimiser les produits publicitaires presque en temps réel et de prendre en charge de nouveaux modèles de monétisation qui étaient auparavant difficiles ou trop coûteux à mettre en œuvre. Cette combinaison de coûts réduits, de cycles de décision plus rapides et d'un environnement unique pour les données, l'analyse et le ML transforme la plateforme de données en un facteur de différenciation, ce qui permet à NBCUniversal de devancer ses concurrents dans sa façon de comprendre, de servir et de développer ses audiences.

Pour commencer

Prêt à moderniser votre infrastructure de données et à réaliser des économies et des capacités d'analyse similaires ?

Contactez Databricks :

• Échangez sur votre cas d'usage avec les Delivery Solutions Architects (DSA).

  • Tout au long de cette migration, le DSA de NBCUniversal a travaillé main dans la main avec EXL pour élaborer une stratégie alignée sur les priorités du client. Les DSA accélèrent la mise en œuvre, identifient les obstacles dès le départ et coordonnent les efforts entre les équipes — de l'évaluation et de l'architecture jusqu'à l'exécution et la validation — offrant ainsi la supervision technique nécessaire pour réduire les risques et accélérer la livraison. Contactez votre équipe de compte Databricks pour découvrir comment un DSA peut renforcer votre équipe de migration.

• Visitez le site web d'EXL pour en savoir plus sur leur suite de solutions, y compris EXLdata.ai.

• Explorez les options de migration gérées par des partenaires pour accélérer votre transition

• Commencez par une évaluation de votre environnement actuel

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original