Migrazione senza interruzioni di NBCUniversal: sbloccare analytics scalabili con Databricks

Come una delle principali aziende di media e intrattenimento al mondo, NBCUniversal si affida ai dati per offrire esperienze di intrattenimento senza pari attraverso le sue reti globali di trasmissione, via cavo e in streaming. Con la distribuzione dei contenuti che richiede analisi in tempo reale, pipeline di dati complesse e machine learning avanzato, l'infrastruttura dati dell'azienda è una risorsa aziendale fondamentale che supporta il processo decisionale in tutto il portafoglio.

NBCUniversal è all'avanguardia nell'innovazione da 100 anni e ha riconosciuto la necessità di modernizzare la propria infrastruttura dati per supportare il suo ecosistema di contenuti in crescita, mantenendo al contempo controllati i costi operativi. Con la crescita dei volumi di dati e l'evoluzione delle esigenze di analisi, l'azienda ha cercato una soluzione più scalabile e integrata. L'infrastruttura esistente supportava le esigenze di analisi principali, ma evidenziava anche opportunità per aumentare la flessibilità, migliorare le prestazioni per i carichi di lavoro avanzati e ottimizzare le spese di calcolo per rafforzare l'efficienza operativa.

“NBCUniversal ha intrapreso un percorso per rendere operativi i dati e ampliarne l'accesso ai team di tutta l'azienda; questo ha richiesto una nuova soluzione che ci consentisse di lavorare più velocemente”, ha dichiarato Kevin Hill, Senior Vice President, Data Technology and Product di NBCUniversal. “Databricks ci ha offerto un modo per dedicare meno tempo alla creazione e più tempo all'analisi dei dati”.

Quando NBCUniversal ha deciso di modernizzare la propria piattaforma dati, l'obiettivo era sbloccare l'agilità necessaria per scalare in occasione di importanti lanci di contenuti, premiazioni ed eventi dal vivo senza sovradimensionare le risorse. In collaborazione con EXL e Databricks, NBCUniversal è passata alla computazione specifica per i job di Databricks, unificando analisi e ML su un'unica piattaforma e coinvolgendo 300 analisti in questo percorso.

I risultati in sintesi

• Riduzione del 30% dei costi dell'infrastruttura dati tramite calcolo specifico per i job

• Oltre 300 analisti integrati senza problemi su Databricks SQL

• Scalabilità elastica per eventi ad alto traffico senza sprechi di slot riservati in anticipo

• ML e analisi unificati tramite MLflow e Lakeflow Jobs

La sfida: bilanciare costi e prestazioni

Mentre NBCUniversal continuava a innovare, i dati sono diventati ancora più fondamentali per il processo decisionale all'interno dell'organizzazione, in team come marketing, prodotto e contenuti. L'architettura esistente non era più in grado di gestire a sufficienza la quantità di dati o di query necessarie per supportare un'organizzazione in rapida evoluzione. Un modello di prenotazione basato su slot consentiva all'organizzazione di riservare numerosi slot per supportare questi carichi di lavoro paralleli, ma comportava costi di calcolo significativi e conflitti di risorse.

“Con la rapida evoluzione dell'odierno ecosistema di contenuti, i nostri partner in tutta l'azienda devono prendere decisioni informate più rapidamente”, ha affermato Louie Kuznia, Vice President, Data Engineering di NBCUniversal. “Databricks ha fornito una soluzione in grado di supportarci nella modernizzazione dell'infrastruttura dati di NBCUniversal senza compromettere l'agilità o la velocità”.

L'evoluzione delle considerazioni sui costi, insieme al desiderio di una maggiore flessibilità per casi d'uso avanzati come il machine learning e una governance migliorata sulla lineage dei dati, hanno spinto NBCUniversal a esplorare piattaforme alternative.

La soluzione: l'architettura Lakehouse di Databricks

NBCUniversal ha collaborato con Databricks e EXL, una società di consulenza globale, per eseguire una migrazione strategica verso la Databricks Data Intelligence Platform. Questa partnership ha unito la profonda esperienza di migrazione di EXL con le soluzioni di dati leader di Databricks per creare un'infrastruttura dati modernizzata che supporta il data engineering, il machine learning e l'analisi avanzata.

La decisione di lavorare con Databricks ha offerto diversi vantaggi, tra cui una maggiore flessibilità e un'efficienza complessiva per i carichi di lavoro dei dati:

• Piattaforma di analisi unificata: Databricks fornisce un'unica piattaforma per i carichi di lavoro di data engineering, data science, machine learning e business intelligence, eliminando la necessità di mantenere molteplici strumenti specializzati.

• Architettura lakehouse flessibile: Databricks sfrutta Delta Lake e Apache Iceberg™ con Apache Spark™ open source e Lakehouse (Databricks SQL), consentendo una gestione flessibile di dati sia strutturati che non strutturati in diversi formati.

• Funzionalità di analisi avanzate: Databricks eccelle nel supportare analisi complesse, inclusi i carichi di lavoro di machine learning, con l'integrazione nativa di MLflow per il tracciamento degli esperimenti e il controllo delle versioni dei modelli.

• Controllo granulare del calcolo: l'architettura di Databricks consente un controllo più granulare sulle risorse di calcolo, con ogni pipeline di dati eseguita su risorse di calcolo dedicate anziché competere per slot condivisi.

La strategia di migrazione: un approccio graduale guidato da un partner

La migrazione a Databricks richiede trasformazioni delle strutture dati, modifiche al codice, adattamenti dei formati dei dati e un'attenta orchestrazione delle dipendenze a monte e a valle. EXL e Databricks hanno sviluppato insieme un approccio completo e graduale che ha ridotto al minimo le interruzioni operative accelerando al contempo la transizione.

Fase 1: Valutazione del panorama esistente

Il team ha iniziato con una fase di discovery completa, creando un inventario dei carichi di lavoro, delle tabelle e delle codebase esistenti e analizzandone a fondo le dipendenze. Questa fase di valutazione ha identificato gli elementi che richiedevano la migrazione, li ha organizzati per priorità e ha stabilito i criteri di successo.

Fase 2: Progettazione dell'architettura dello stato di destinazione

La fase di progettazione si è concentrata sulla mappatura dei costrutti esistenti con i loro equivalenti Databricks, ottimizzando al contempo costi e prestazioni.

Le decisioni chiave di progettazione hanno incluso:

• Architettura del workspace: strutturazione dei workspace in base al Databricks Well-Architected Framework, mappando i suoi pilastri di best practice sulla struttura organizzativa e sui requisiti di sicurezza di NBCUniversal per garantire un ambiente scalabile, sicuro e a prova di futuro.

• Strategia di data governance: implementazione di Unity Catalog come livello di governance centrale.

• Strategia di calcolo: definizione delle configurazioni dei cluster di job, dei tipi di istanza e delle policy di scalabilità automatica su misura per i requisiti di ciascun carico di lavoro.

• Layout di archiviazione: progettazione di strutture di tabelle Delta Lake con partizionamento, clustering e ottimizzazione predittiva appropriati per mantenere automaticamente layout di file, statistiche e archiviazione efficienti per prestazioni costanti su scala

Fase 3: Proof of concept con strumenti di migrazione personalizzati

Prima di impegnarsi in una migrazione su vasta scala, EXL ha eseguito un MVP mirato utilizzando un sottoinsieme rappresentativo dei carichi di lavoro di NBCU. Questa fase pilota ha avuto un duplice scopo: convalidare l'approccio di migrazione e sviluppare strumenti di automazione personalizzati che avrebbero accelerato lo sforzo complessivo.

Durante l'MVP, EXL ha creato quattro acceleratori proprietari specificamente per l'ambiente di NBCU:

• Motore di traduzione SQL: un convertitore di codice intelligente che analizza la sintassi SQL e la trasforma automaticamente in Spark SQL ottimizzato, gestendo le differenze di dialetto, le mappature delle funzioni e il tuning delle prestazioni.

• Migratore di orchestrazione: uno strumento che ha analizzato i DAG esistenti e li ha rigenerati come Lakeflow Jobs, preservando le dipendenze e la logica di pianificazione.

• Orchestratore di trasferimento dati: una pipeline automatizzata che ha spostato i dati su Delta Lake, selezionando i metodi di trasferimento ottimali in base alle dimensioni della tabella e alla frequenza di aggiornamento.

• Framework di validazione: Una suite di test completa che ha confrontato i risultati delle query, il conteggio delle righe e le statistiche aggregate tra i sistemi di origine e di destinazione.

Questi acceleratori hanno trasformato quello che sarebbe stato un lavoro manuale di mesi in processi automatizzati e ripetibili con controlli di qualità integrati.

Fase 4: Migrazione a ondate strategiche

Una volta validati gli acceleratori e finalizzata l'architettura di destinazione, il team ha eseguito la migrazione in ondate accuratamente sequenziate. Invece di migrare tutti i carichi di lavoro contemporaneamente, ha adottato un approccio basato sul rischio che ha dato priorità alle pipeline ad alto valore e minore complessità.

Ogni ondata di migrazione ha seguito un modello coerente:

1. Selezione del carico di lavoro: Identificare un gruppo coeso di tabelle e pipeline correlate per la migrazione.
2. Generazione automatica del codice: Utilizzare il SQL Translation Engine per convertire le query e l'Orchestration Migrator per ricostruire i workflow.
3. Sincronizzazione dei dati: Trasferire i dati storici mantenendo gli aggiornamenti incrementali dall'infrastruttura esistente.
4. Controllo qualità: Eseguire il Validation Framework per garantire l'accuratezza e la completezza dei dati.

Questo approccio iterativo ha consentito al team di mantenere la continuità aziendale e di perfezionare i processi a ogni ondata, applicando le lezioni apprese alle migrazioni successive.

Fase 5: Validazione tramite operazioni duali

L'ultima fase prima del passaggio definitivo a Databricks ha comportato l'esecuzione in parallelo di entrambe le piattaforme per un periodo di validazione prolungato. Per diverse settimane, NBCUniversal ha gestito pipeline duali, eseguendo le stesse trasformazioni sia nella piattaforma esistente sia in Databricks e confrontando i risultati.

Questa operazione in parallelo ha svolto diverse funzioni critiche:

1. Validazione in produzione: Garantire la parità con i risultati generati da Databricks in condizioni reali con volumi di dati di produzione.
2. Benchmarking delle prestazioni: Misurare i tempi di esecuzione e i costi effettivi nell'ambiente Databricks rispetto alle prestazioni storiche.
3. Fiducia degli stakeholder: Fornire agli utenti aziendali e ai consumatori a valle prove empiriche del fatto che la migrazione ha preservato la qualità e la disponibilità dei dati.
4. Pianificazione del cutover: Identificare eventuali casi limite o scenari particolari che richiedono ulteriore attenzione prima di dismettere completamente le piattaforme legacy.

Solo dopo aver ottenuto risultati coerenti in tutte le metriche di validazione, NBCUniversal ha proceduto al cutover finale, ritirando i carichi di lavoro esistenti pipeline per pipeline con la massima fiducia nella nuova piattaforma.

Impatto sul business: riduzione dei costi del 30% e vantaggi strategici

I risultati della migrazione di NBCUniversal sono stati significativi e misurabili:

• Riduzione dei costi di calcolo: “Passando alle risorse di calcolo specifiche per i job di Databricks, NBCUniversal ha ottenuto una riduzione del 30% dei costi complessivi dell'infrastruttura dati. Ogni pipeline ora viene eseguita sulle proprie risorse di calcolo dedicate, consentendo la scalabilità indipendente durante i picchi di lavoro con riduzione automatica della capacità nei periodi di bassa domanda”.--Ludwig Kuznia, Vice President, Data Engineering presso NBCUniversal

• Maggiore flessibilità operativa: Il modello di esecuzione in parallelo offre una maggiore agilità nel rispondere alle esigenze aziendali. Durante eventi noti ad alto traffico (come il lancio di contenuti importanti o cerimonie di premiazione), NBCUniversal può scalare dinamicamente la capacità dei cluster di job senza influire su altri carichi di lavoro o sprecare slot prenotati ma sottoutilizzati.

• Funzionalità di analytics unificate: Oltre ai costi, la migrazione ha sbloccato nuove funzionalità. I team di data engineering di NBCUniversal hanno ottenuto l'accesso a operazioni ML unificate tramite MLflow, consentendo:

  • Tracciamento degli esperimenti e versionamento dei modelli

  • Ciclo di vita ML semplificato, dall'addestramento alla produzione

  • Standardizzazione automatizzata dei workflow tramite Lakeflow Jobs

• Cultura dei dati migliorata: La migrazione ha catalizzato un cambiamento organizzativo più ampio. Semplificando la gestione dell'infrastruttura e riducendo l'overhead operativo, NBCUniversal ha creato le condizioni per una cultura più agile, collaborativa e data-driven tra i team di data engineering e di analisti. I team hanno potuto concentrarsi sui problemi di business anziché sui vincoli infrastrutturali.

• Semplicità di onboarding degli analisti: La migrazione ha consentito a circa 300 analisti di passare rapidamente e facilmente a Databricks, grazie alla totale conformità di Databricks SQL allo standard ANSI SQL e a una piattaforma intuitiva che semplifica la scrittura di query, la creazione di dashboard e l'analisi all'interno di un workspace unificato.

Conclusione: da centro di costo ad asset strategico

La migrazione di NBCUniversal a Databricks dimostra come le decisioni tecnologiche strategiche possano trasformare l'infrastruttura dati, sbloccando una maggiore efficienza e un vantaggio competitivo. Collaborando con EXL e adottando l'architettura lakehouse di Databricks, NBCUniversal non solo ha ridotto i costi di gestione, ma ha anche sbloccato una piattaforma più agile e unificata che consente ai team di sperimentare più velocemente, lanciare sul mercato nuovi prodotti di dati in tempi più brevi e rispondere più rapidamente alle mutevoli esigenze del pubblico e degli inserzionisti.

La nuova piattaforma offre a NBCUniversal la capacità di iterare rapidamente sugli insight del pubblico, ottimizzare i prodotti pubblicitari quasi in tempo reale e supportare nuovi modelli di monetizzazione che prima erano difficili o troppo costosi da gestire. Questa combinazione di costi inferiori, cicli decisionali più rapidi e un unico ambiente per dati, analytics e ML trasforma la piattaforma dati in un elemento di differenziazione, che consente a NBCUniversal di muoversi più velocemente dei concorrenti nel modo in cui comprende, serve e fa crescere il proprio pubblico.

Inizia subito

Sei pronto a modernizzare la tua infrastruttura dati e a sbloccare risparmi sui costi e funzionalità di analytics simili?

Contatta Databricks:

• Parla del tuo caso d'uso con i Databricks Delivery Solutions Architects (DSA).

  • Durante tutta questa migrazione, il DSA di NBCUniversal ha lavorato a stretto contatto con EXL per elaborare una strategia allineata alle priorità del cliente. I DSA accelerano l'implementazione, fanno emergere tempestivamente gli ostacoli e coordinano le attività tra i vari team (dalla valutazione e architettura fino all'esecuzione e validazione), fornendo la supervisione tecnica necessaria per ridurre i rischi e accelerare il rilascio. Contatta il team del tuo account Databricks per scoprire come un DSA può ampliare il tuo team di migrazione.

• Visita il sito web di EXL per saperne di più sulla loro suite di soluzioni, tra cui EXLdata.ai.

• Esplora le opzioni di migrazione guidate dai partner per accelerare il tuo percorso

• Inizia con una valutazione del tuo ambiente attuale

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale