NBCUniversals nahtlose Migration: Skalierbare Analysen mit Databricks erschließen

Als eines der weltweit führenden Medien- und Unterhaltungsunternehmen verlässt sich NBCUniversal auf Daten, um unvergleichliche Unterhaltungserlebnisse über seine globalen Rundfunk-, Kabel- und Streaming-Netzwerke hinweg bereitzustellen. Da die Bereitstellung von Inhalten Echtzeit-Analysen, komplexe Datenpipelines und fortschrittliches Machine Learning erfordert, ist die Dateninfrastruktur des Unternehmens ein geschäftskritisches Gut, das die Entscheidungsfindung im gesamten Portfolio unterstützt.

NBCUniversal ist seit 100 Jahren führend bei Innovationen und hat die Notwendigkeit erkannt, seine Dateninfrastruktur zu modernisieren, um sein wachsendes Content-Ökosystem zu unterstützen und gleichzeitig die Betriebskosten im Griff zu behalten. Da das Datenvolumen wuchs und sich die Anforderungen an die Analytik weiterentwickelten, suchte das Unternehmen nach einer skalierbareren und integrierteren Lösung. Die bestehende Infrastruktur deckte die grundlegenden Analyseanforderungen ab, verdeutlichte jedoch auch Möglichkeiten zur Erhöhung der Flexibilität, zur Verbesserung der Performance für anspruchsvolle Workloads und zur Optimierung der Rechenkosten (Compute-Ausgaben), um die betriebliche Effizienz zu steigern.

„NBCUniversal ist bestrebt, Daten zu operationalisieren und den Zugriff darauf für Teams im gesamten Unternehmen zu erweitern. Dies erforderte eine neue Lösung, mit der wir schneller arbeiten können“, so Kevin Hill, Senior Vice President, Data Technology and Product bei NBCUniversal. „Databricks hat uns eine Möglichkeit geboten, weniger Zeit mit dem Aufbau und mehr Zeit mit der Analyse der Daten zu verbringen.“

Als NBCUniversal mit der Modernisierung seiner Datenplattform begann, bestand das Ziel darin, die nötige Agilität zu gewinnen, um bei wichtigen Content-Launches, Preisverleihungen und Live-Events ohne Überbereitstellung (Overprovisioning) zu skalieren. In Partnerschaft mit EXL und Databricks migrierte NBCUniversal auf die job-spezifischen Compute-Ressourcen von Databricks, wodurch Analytik und ML auf einer einzigen Plattform zusammengeführt und 300 Analysten erfolgreich mitgenommen wurden.

Ergebnisse auf einen Blick

• 30 % Reduzierung der Dateninfrastrukturkosten durch job-spezifisches Compute

• Über 300 Analysten reibungslos auf Databricks SQL eingearbeitet

• Elastische Skalierung für Events mit hohem Traffic ohne Verschwendung vorab reservierter Slots

• Einheitliches ML + Analytik durch MLflow und Lakeflow Jobs

Die Herausforderung: Kosten und Performance im Gleichgewicht halten

Da NBCUniversal kontinuierlich Innovationen vorantrieb, wurden Daten für die Entscheidungsfindung in Teams wie Marketing, Produkt und Content noch wichtiger. Die bestehende Architektur konnte die Datenmenge oder die Abfragen, die zur Unterstützung des sich schnell entwickelnden Unternehmens erforderlich waren, nicht mehr ausreichend bewältigen. Ein Slot-basiertes Reservierungsmodell ermöglichte es dem Unternehmen zwar, zahlreiche Slots zur Unterstützung dieser parallelen Workloads zu reservieren, führte jedoch zu erheblichen Compute-Kosten und Ressourcenkonflikten.

„Da sich das heutige Content-Ökosystem rasant weiterentwickelt, müssen unsere Partner im gesamten Unternehmen fundierte Entscheidungen schneller treffen“, so Louie Kuznia, Vice President, Data Engineering bei NBCUniversal. „Databricks bot eine Lösung, die uns bei der Modernisierung der Dateninfrastruktur von NBCUniversal unterstützen konnte, ohne Kompromisse bei der Agilität oder Geschwindigkeit einzugehen.“

Sich verändernde Kostenüberlegungen sowie der Wunsch nach größerer Flexibilität für fortgeschrittene Anwendungsfälle wie Machine Learning und eine verbesserte Governance rund um die Data Lineage motivierten NBCUniversal, alternative Plattformen zu prüfen.

Die Lösung: Databricks Lakehouse-Architektur

NBCUniversal ging eine Partnerschaft mit Databricks und EXL, einem globalen Beratungsunternehmen, ein, um eine strategische Migration auf die Databricks Data Intelligence Platform durchzuführen. Diese Partnerschaft kombinierte die fundierte Migrationskompetenz von EXL mit den führenden Datenlösungen von Databricks, um eine modernisierte Dateninfrastruktur zu schaffen, die Data Engineering, Machine Learning und fortschrittliche Analysen unterstützt.

Die Entscheidung für die Zusammenarbeit mit Databricks bot mehrere Vorteile, darunter eine höhere Flexibilität und Gesamteffizienz für Daten-Workloads:

• Einheitliche Analyseplattform: Databricks bietet eine einzige Plattform für Data Engineering, Data Science, Machine Learning und Business-Intelligence-Workloads, wodurch die Wartung mehrerer spezialisierter Tools überflüssig wird.

• Flexible Lakehouse-Architektur: Databricks nutzt Delta Lake und Apache Iceberg™ mit Open-Source Apache Spark™ und Lakehouse (Databricks SQL), was eine flexible Handhabung sowohl strukturierter als auch unstrukturierter Daten in verschiedenen Formaten ermöglicht.

• Fortschrittliche Analysefunktionen: Databricks zeichnet sich durch die Unterstützung komplexer Analysen aus, einschließlich Machine-Learning-Workloads, mit nativer Integration von MLflow für das Experiment-Tracking und die Modellversionierung.

• Granulare Compute-Steuerung: Die Architektur von Databricks ermöglicht eine granularere Steuerung der Compute-Ressourcen, wobei jede Datenpipeline auf dedizierten Compute-Ressourcen ausgeführt wird, anstatt um gemeinsam genutzte Slots zu konkurrieren.

Die Migrationsstrategie: Ein phasenweiser, partnergeführter Ansatz

Die Migration zu Databricks erfordert Transformationen von Datenstrukturen, Code-Modifikationen, Anpassungen von Datenformaten und eine sorgfältige Orchestrierung von Upstream- und Downstream-Abhängigkeiten. EXL und Databricks haben gemeinsam einen umfassenden, phasenweisen Ansatz entwickelt, der betriebliche Unterbrechungen minimiert und gleichzeitig den Übergang beschleunigt.

Phase 1: Bewertung der bestehenden Landschaft

Das Team begann mit einer umfassenden Bestandsaufnahme (Discovery) und erstellte ein Inventar der vorhandenen Workloads, Tabellen und Codebasen, während es deren Abhängigkeiten gründlich analysierte. In dieser Bewertungsphase wurden die zu migrierenden Artefakte identifiziert, nach Priorität geordnet und Erfolgskriterien festgelegt.

Phase 2: Entwurf der Zielarchitektur

Die Designphase konzentrierte sich auf die Abbildung bestehender Konstrukte auf ihre Databricks-Entsprechungen bei gleichzeitiger Optimierung von Kosten und Performance.

Zu den wichtigsten Designentscheidungen gehörten:

• Workspace-Architektur: Strukturierung von Workspaces gemäß dem Databricks Well-Architected Framework, wobei dessen Best-Practice-Säulen auf die Organisationsstruktur und die Sicherheitsanforderungen von NBCUniversal abgebildet werden, um eine skalierbare, sichere und zukunftsfähige Umgebung zu gewährleisten.

• Data-Governance-Strategie: Implementierung von Unity Catalog als zentrale Governance-Ebene.

• Compute-Strategie: Definition von Job-Cluster-Konfigurationen, Instanztypen und Autoscaling-Richtlinien, die auf die Anforderungen der jeweiligen Workloads zugeschnitten sind.

• Speicher-Layout: Entwurf von Delta Lake-Tabellenstrukturen mit geeigneter Partitionierung, Clustering und prädiktiver Optimierung (Predictive Optimization), um automatisch effiziente Dateilayouts, Statistiken und Speicher für eine dauerhafte Performance im großen Stil aufrechtzuerhalten.

Phase 3: Validierung des Konzepts mit maßgeschneiderten Migrationstools

Vor der Durchführung einer vollständigen Migration führte EXL ein gezieltes MVP mit einer repräsentativen Teilmenge der Workloads von NBCU durch. Diese Pilotphase diente zwei Zwecken: der Validierung des Migrationsansatzes und der Entwicklung maßgeschneiderter Automatisierungstools, die den weiteren Aufwand beschleunigen sollten.

Während des MVP entwickelte EXL vier proprietäre Accelerators speziell für die Umgebung von NBCU:

• SQL-Übersetzungs-Engine: Ein intelligenter Code-Konverter, der die SQL-Syntax analysiert und automatisch in optimiertes Spark SQL umwandelt, wobei er Dialektunterschiede, Funktionszuordnungen und Performance-Tuning berücksichtigt.

• Orchestrations-Migrator: Ein Tool, das bestehende DAGs analysierte und sie als Lakeflow Jobs neu generierte, wobei Abhängigkeiten und die Scheduling-Logik beibehalten wurden.

• Datenübertragungs-Orchestrator: Eine automatisierte Pipeline, die Daten nach Delta Lake verschob und dabei basierend auf Tabellengröße und Aktualisierungshäufigkeit optimale Übertragungsmethoden auswählte.

• Validierungs-Framework: Eine umfassende Test-Suite, die Abfrageergebnisse, Zeilenanzahlen und aggregierte Statistiken zwischen Quell- und Zielsystemen verglich.

Diese Accelerators verwandelten eine monatelange manuelle Arbeit in automatisierte, wiederholbare Prozesse mit integrierten Qualitätsprüfungen.

Phase 4: Migration in strategischen Wellen

Nachdem die Accelerators validiert und die Zielarchitektur finalisiert waren, führte das Team die Migration in sorgfältig abgestuften Wellen durch. Anstatt alle Workloads gleichzeitig zu migrieren, wählten sie einen risikobasierten Ansatz, bei dem Pipelines mit hohem Wert und geringerer Komplexität Priorität erhielten.

Jede Migrationswelle folgte einem einheitlichen Muster:

1. Workload-Auswahl: Identifizieren einer zusammenhängenden Gruppe von verwandten Tabellen und Pipelines für die Migration.
2. Automatisierte Codegenerierung: Verwendung der SQL Translation Engine zur Konvertierung von Abfragen und des Orchestration Migrators zum Neuaufbau von Workflows.
3. Datensynchronisation: Übertragung historischer Daten bei gleichzeitiger Beibehaltung inkrementeller Updates aus der bestehenden Infrastruktur.
4. Qualitätssicherung: Ausführen des Validation Frameworks, um Datengenauigkeit und -vollständigkeit zu gewährleisten.

Dieser iterative Ansatz ermöglichte es dem Team, die Geschäftskontinuität aufrechtzuerhalten und seine Prozesse mit jeder Welle zu verfeinern, wobei die gewonnenen Erkenntnisse auf nachfolgende Migrationen angewendet wurden.

Phase 5: Validierung durch Parallelbetrieb

Die letzte Phase vor dem endgültigen Wechsel zu Databricks beinhaltete den parallelen Betrieb beider Plattformen über einen längeren Validierungszeitraum. Mehrere Wochen lang betrieb NBCUniversal parallele Pipelines und führte dieselben Transformationen sowohl auf der bestehenden Plattform als auch in Databricks aus, während die Ergebnisse verglichen wurden.

Dieser Parallelbetrieb erfüllte mehrere wichtige Funktionen:

1. Produktionsvalidierung: Sicherstellung der Gleichwertigkeit mit den von Databricks generierten Ergebnissen unter realen Bedingungen mit Produktionsdatenvolumen.
2. Performance-Benchmarking: Messung der tatsächlichen Ausführungszeiten und -kosten in der Databricks-Umgebung im Vergleich zur historischen Performance.
3. Vertrauen der Stakeholder: Bereitstellung empirischer Belege für Geschäftsanwender und nachgelagerte Verbraucher, dass die Migration die Datenqualität und -verfügbarkeit bewahrt hat.
4. Cutover-Planung: Identifizieren von Grenzfällen oder Spezialszenarien, die vor der vollständigen Stilllegung von Altsystemen zusätzliche Aufmerksamkeit erfordern.

Erst nach dem Erreichen konsistenter Ergebnisse über alle Validierungsmetriken hinweg vollzog NBCUniversal den endgültigen Cutover und nahm bestehende Workloads Pipeline für Pipeline mit vollem Vertrauen in die neue Plattform außer Betrieb.

Geschäftlicher Nutzen: 30 % Kostensenkung und strategische Vorteile

Die Ergebnisse der Migration von NBCUniversal waren beträchtlich und messbar:

• Senkung der Compute-Kosten: „Durch den Übergang zu den job-spezifischen Compute-Ressourcen von Databricks konnte NBCUniversal die Gesamtkosten für die Dateninfrastruktur um 30 % senken. Jede Pipeline läuft nun auf eigenen, dedizierten Compute-Ressourcen, was eine unabhängige Skalierung bei Spitzenlasten und ein automatisches Herunterskalieren in Zeiten geringer Nachfrage ermöglicht.“ – Ludwig Kuznia, Vice President, Data Engineering bei NBCUniversal

• Verbesserte operative Flexibilität: Das parallele Ausführungsmodell bietet eine größere Agilität bei der Reaktion auf geschäftliche Anforderungen. Bei bekannten Ereignissen mit hohem Datenverkehr (wie großen Content-Launches oder Preisverleihungen) kann NBCUniversal die Kapazität von Job-Clustern dynamisch hochskalieren, ohne andere Workloads zu beeinträchtigen oder Ressourcen für vorab reservierte, aber ungenutzte Slots zu verschwenden.

• Einheitliche Analysefunktionen: Über die Kosten hinaus eröffnete die Migration neue Möglichkeiten. Die Data-Engineering-Teams von NBCUniversal erhielten über MLflow Zugriff auf einheitliche ML-Operations, was Folgendes ermöglicht:

  • Experiment-Tracking und Modellversionierung

  • Optimierter ML-Lebenszyklus vom Training bis zur Produktion

  • Automatisierte Workflow-Standardisierung durch Lakeflow Jobs

• Verbesserte Datenkultur: Die Migration stieß einen umfassenderen organisatorischen Wandel an. Durch die Vereinfachung des Infrastrukturmanagements und die Reduzierung des operativen Aufwands schuf NBCUniversal die Voraussetzungen für eine agilere, kollaborativere und datengesteuerte Kultur zwischen den Data-Engineering- und den Analysten-Teams. Die Teams konnten sich auf geschäftliche Probleme statt auf Einschränkungen der Infrastruktur konzentrieren.

• Einfaches Onboarding von Analysten: Die Migration ermöglichte rund 300 Analysten einen schnellen und komfortablen Wechsel zu Databricks, dank der vollständigen ANSI-SQL-Kompatibilität von Databricks SQL und einer intuitiven Plattform, die das Schreiben von Abfragen, das Erstellen von Dashboards und Analysen in einem einheitlichen Workspace optimiert.

Fazit: Vom Kostenfaktor zum strategischen Asset

Die Migration von NBCUniversal zu Databricks zeigt, wie strategische Technologieentscheidungen die Dateninfrastruktur transformieren und so für mehr Effizienz und Wettbewerbsvorteile sorgen können. Durch die Partnerschaft mit EXL und die Nutzung der Lakehouse-Architektur von Databricks konnte NBCUniversal nicht nur die laufenden Kosten senken, sondern auch eine agilere, einheitliche Plattform schaffen, mit der Teams schneller experimentieren, neue Datenprodukte früher auf den Markt bringen und rascher auf sich ändernde Anforderungen von Zuschauern und Werbepartnern reagieren können.

Die neue Plattform gibt NBCUniversal die Möglichkeit, Erkenntnisse über die Zielgruppe schnell zu iterieren, Werbeprodukte nahezu in Echtzeit zu optimieren und neue Monetarisierungsmodelle zu unterstützen, deren Betrieb zuvor schwierig oder zu teuer war. Diese Kombination aus geringeren Kosten, schnelleren Entscheidungszyklen und einer einzigen Umgebung für Daten, Analysen und ML macht die Datenplattform zu einem Differenzierungsmerkmal, das es NBCUniversal ermöglicht, schneller als die Konkurrenz zu agieren, wenn es darum geht, seine Zielgruppen zu verstehen, zu bedienen und zu vergrößern.

Erste Schritte

Sind Sie bereit, Ihre Dateninfrastruktur zu modernisieren und ähnliche Kosteneinsparungen sowie Analysefunktionen freizusetzen?

Setzen Sie sich mit Databricks in Verbindung:

• Sprechen Sie über Ihren Anwendungsfall mit den Delivery Solutions Architects (DSAs).

  • Während dieser Migration arbeitete der DSA für NBCUniversal Hand in Hand mit EXL zusammen, um eine Strategie zu entwickeln, die auf die Prioritäten des Kunden abgestimmt war. DSAs beschleunigen die Implementierung, decken Hindernisse frühzeitig auf und koordinieren die Teams – von der Bewertung und Architektur bis hin zur Ausführung und Validierung. Sie bieten die technische Aufsicht, die erforderlich ist, um Risiken zu reduzieren und die Bereitstellung zu beschleunigen. Wenden Sie sich an Ihr Databricks-Account-Team, um zu erfahren, wie ein DSA Ihr Migrationsteam erweitern kann.

• Besuchen Sie die Website von EXL, um mehr über deren Lösungssuite zu erfahren, einschließlich EXLdata.ai.

• Entdecken Sie partnergeführte Migrationsoptionen, um Ihren Weg zu beschleunigen

• Beginnen Sie mit einer Bewertung Ihrer aktuellen Umgebung

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag