Migración fluida de NBCUniversal: desbloquear la analítica escalable con Databricks

Como una de las compañías de medios y entretenimiento líderes en el mundo, NBCUniversal confía en los datos para ofrecer experiencias de entretenimiento inigualables en sus redes globales de transmisión, cable y streaming. Dado que la entrega de contenido exige analítica en tiempo real, pipelines de datos complejos y machine learning avanzado, la infraestructura de datos de la compañía es un activo empresarial crítico que respalda la toma de decisiones en todo su portafolio.

NBCUniversal ha estado a la vanguardia de la innovación durante 100 años y reconoció la necesidad de modernizar su infraestructura de datos para dar soporte a su creciente ecosistema de contenido, manteniendo al mismo tiempo los costos operativos. A medida que los volúmenes de datos crecían y las demandas de analítica evolucionaban, la compañía buscó una solución más escalable e integrada. La infraestructura existente cubría las necesidades analíticas principales, pero también evidenció oportunidades para aumentar la flexibilidad, mejorar el rendimiento de las cargas de trabajo avanzadas y optimizar los gastos de cómputo para fortalecer la eficiencia operativa.

“NBCUniversal ha estado en un proceso para poner en producción y ampliar el acceso a los datos para los equipos de toda la empresa, lo que requería una nueva solución que nos permitiera trabajar más rápido”, señaló Kevin Hill, vicepresidente sénior de Tecnología de Datos y Producto de NBCUniversal. “Databricks nos brindó una manera de dedicar menos tiempo a la construcción y más tiempo al análisis de los datos”.

Cuando NBCUniversal se propuso modernizar su plataforma de datos, el objetivo era liberar la agilidad necesaria para escalar durante los principales lanzamientos de contenido, entregas de premios y eventos en vivo sin un sobredimensionamiento de recursos. En colaboración con EXL y Databricks, NBCUniversal realizó la migración al cómputo específico para tareas de Databricks, unificando la analítica y el ML en una sola plataforma e incorporando a 300 analistas en el proceso.

Resultados de un vistazo

• Reducción del 30% en los costos de infraestructura de datos mediante cómputo específico para tareas

• Más de 300 analistas incorporados sin problemas a Databricks SQL

• Escalamiento elástico para eventos de alto tráfico sin desperdicio de slots prereservados

• ML y analítica unificados a través de MLflow y Lakeflow Jobs

El desafío: equilibrar el costo y el rendimiento

A medida que NBCUniversal continuaba innovando, los datos se volvieron aún más críticos para la toma de decisiones dentro de la organización en equipos como marketing, producto y contenido. La arquitectura existente ya no podía gestionar de manera suficiente la cantidad de datos o consultas necesarias para respaldar a una organización en rápida evolución. Un modelo de reserva basado en slots permitía a la organización reservar numerosos slots para soportar estas cargas de trabajo paralelas, pero generaba costos de cómputo significativos y conflictos de recursos.

“A medida que el ecosistema de contenido actual evoluciona rápidamente, nuestros socios en toda la empresa necesitan tomar decisiones informadas más rápido”, afirmó Louie Kuznia, vicepresidente de Ingeniería de Datos de NBCUniversal. “Databricks proporcionó una solución que podía ayudarnos a modernizar la infraestructura de datos de NBCUniversal sin comprometer la agilidad ni la velocidad”.

La evolución de las consideraciones de costos, junto con el deseo de una mayor flexibilidad para casos de uso avanzados como el machine learning y un gobierno mejorado en torno al linaje de datos, motivaron a NBCUniversal a explorar plataformas alternativas.

La solución: la arquitectura Lakehouse de Databricks

NBCUniversal se asoció con Databricks y EXL, una consultora global, para ejecutar una migración estratégica a la Databricks Data Intelligence Platform. Esta asociación combinó la profunda experiencia en migración de EXL con las soluciones de datos líderes de Databricks para crear una infraestructura de datos modernizada que respalda la ingeniería de datos, el machine learning y la analítica avanzada.

La decisión de trabajar con Databricks ofreció varias ventajas, incluyendo una mayor flexibilidad y eficiencia general para las cargas de trabajo de datos:

• Plataforma de analítica unificada: Databricks proporciona una única plataforma para cargas de trabajo de ingeniería de datos, ciencia de datos, machine learning e inteligencia de negocios, lo que elimina la necesidad de mantener múltiples herramientas especializadas.

• Arquitectura de lakehouse flexible: Databricks aprovecha Delta Lake y Apache Iceberg™ con Apache Spark™ de código abierto y Lakehouse (Databricks SQL), lo que permite un manejo flexible de datos tanto estructurados como no estructurados en diversos formatos.

• Capacidades de analítica avanzada: Databricks se destaca en el soporte de analítica compleja, incluidas las cargas de trabajo de machine learning, con la integración nativa de MLflow para el seguimiento de experimentos y el control de versiones de modelos.

• Control de cómputo granular: La arquitectura de Databricks permite un control más granular sobre los recursos de cómputo, ya que cada pipeline de datos se ejecuta en un cómputo dedicado en lugar de competir por slots compartidos.

La estrategia de migración: un enfoque por fases liderado por socios

La migración a Databricks requiere transformaciones en las estructuras de datos, modificaciones en el código, ajustes en los formatos de datos y una orquestación cuidadosa de las dependencias upstream y downstream. EXL y Databricks desarrollaron conjuntamente un enfoque integral por fases que minimizó la interrupción operativa al tiempo que aceleró la transición.

Fase 1: Evaluación del panorama existente

El equipo comenzó con una etapa de descubrimiento integral, creando un inventario de las cargas de trabajo, tablas y bases de código existentes, al tiempo que analizaba a fondo sus dependencias. Esta fase de evaluación identificó los artefactos que requerían migración, los organizó por prioridad y estableció los criterios de éxito.

Fase 2: Diseño de la arquitectura del estado objetivo

La fase de diseño se centró en mapear las estructuras existentes a sus equivalentes en Databricks, optimizando al mismo tiempo los costos y el rendimiento.

Las decisiones clave de diseño incluyeron:

• Arquitectura de espacios de trabajo: Estructurar los espacios de trabajo de acuerdo con el Well-Architected Framework de Databricks, mapeando sus pilares de mejores prácticas con la estructura organizacional y los requisitos de seguridad de NBCUniversal para garantizar un entorno escalable, seguro y preparado para el futuro.

• Estrategia de gobierno de datos: Implementar Unity Catalog como la capa de gobierno central.

• Estrategia de cómputo: Definir las configuraciones de clústeres de jobs, los tipos de instancias y las políticas de escalamiento automático adaptadas a los requisitos de cada carga de trabajo.

• Diseño de almacenamiento: Diseñar estructuras de tablas de Delta Lake con particionamiento, clustering y optimización predictiva adecuados para mantener automáticamente diseños de archivos, estadísticas y almacenamiento eficientes para un rendimiento sostenido a escala

Fase 3: Prueba de concepto con herramientas de migración personalizadas

Antes de comprometerse con una migración a gran escala, EXL ejecutó un MVP enfocado utilizando un subconjunto representativo de las cargas de trabajo de NBCU. Esta fase piloto sirvió para dos propósitos: validar el enfoque de migración y desarrollar herramientas de automatización personalizadas que acelerarían el esfuerzo general.

Durante el MVP, EXL creó cuatro aceleradores propios específicamente para el entorno de NBCU:

• Motor de traducción de SQL: Un convertidor de código inteligente que analiza la sintaxis SQL y la transforma automáticamente en Spark SQL optimizado, gestionando las diferencias de dialectos, los mapeos de funciones y el ajuste de rendimiento.

• Migrador de orquestación: Una herramienta que analizó los DAG existentes y los regeneró como Lakeflow Jobs, preservando las dependencias y la lógica de programación.

• Orquestador de transferencia de datos: Un pipeline automatizado que trasladó datos a Delta Lake, seleccionando métodos de transferencia óptimos según el tamaño de la tabla y la frecuencia de actualización.

• Marco de validación: Un conjunto de pruebas integral que comparó los resultados de las consultas, el recuento de filas y las estadísticas agregadas entre los sistemas de origen y de destino.

Estos aceleradores transformaron lo que habrían sido meses de trabajo manual en procesos automatizados y repetibles con controles de calidad integrados.

Fase 4: Migración en oleadas estratégicas

Con los aceleradores validados y la arquitectura de destino finalizada, el equipo ejecutó la migración en oleadas cuidadosamente secuenciadas. En lugar de migrar todas las cargas de trabajo simultáneamente, adoptaron un enfoque basado en el riesgo que priorizó primero los pipelines de alto valor y menor complejidad.

Cada oleada de migración siguió un patrón constante:

1. Selección de cargas de trabajo: Identificar un grupo cohesivo de tablas y pipelines relacionados para la migración.
2. Generación automática de código: Usar el SQL Translation Engine para convertir consultas y el Orchestration Migrator para reconstruir flujos de trabajo.
3. Sincronización de datos: Transferir datos históricos manteniendo las actualizaciones incrementales de la infraestructura existente.
4. Garantía de calidad: Ejecutar el marco de validación para garantizar la precisión e integridad de los datos.

Este enfoque iterativo permitió al equipo mantener la continuidad del negocio y perfeccionar sus procesos con cada oleada, aplicando las lecciones aprendidas a las migraciones posteriores.

Fase 5: Validación mediante operaciones duales

La fase final antes de la transición a Databricks consistió en ejecutar ambas plataformas en paralelo durante un período de validación prolongado. Durante varias semanas, NBCUniversal operó pipelines duales, ejecutando las mismas transformaciones tanto en la plataforma existente como en Databricks mientras comparaba los resultados.

Esta operación en paralelo cumplió múltiples funciones críticas:

1. Validación de producción: Garantizar la paridad con los resultados generados por Databricks en condiciones del mundo real con volúmenes de datos de producción.
2. Evaluación comparativa de rendimiento: Medir los tiempos y costos de ejecución reales en el entorno de Databricks en comparación con el rendimiento histórico.
3. Confianza de las partes interesadas: Proporcionar a los usuarios comerciales y consumidores de datos evidencia empírica de que la migración preservó la calidad y disponibilidad de los datos.
4. Planificación de la transición: Identificar cualquier caso límite o escenario excepcional que requiera atención adicional antes de retirar por completo las plataformas heredadas.

Solo después de lograr resultados constantes en todas las métricas de validación, NBCUniversal procedió con la transición final, retirando las cargas de trabajo existentes pipeline por pipeline con total confianza en la nueva plataforma.

Impacto comercial: 30% de reducción de costos y ganancias estratégicas

Los resultados de la migración de NBCUniversal fueron sustanciales y medibles:

• Reducción de costos de cómputo: “Al realizar la transición al cómputo específico para trabajos de Databricks, NBCUniversal logró una reducción del 30% en los costos generales de la infraestructura de datos. Cada pipeline ahora se ejecuta en sus propios recursos de cómputo dedicados, lo que permite un escalado independiente durante las cargas de trabajo pico con una reducción automática durante los períodos de baja demanda”.--Ludwig Kuznia, vicepresidente de Ingeniería de Datos en NBCUniversal

• Mayor flexibilidad operativa: El modelo de ejecución en paralelo proporciona una mayor agilidad para responder a las demandas comerciales. Durante eventos conocidos de alto tráfico (como lanzamientos de contenido importantes o entregas de premios), NBCUniversal puede escalar dinámicamente la capacidad de los clústeres de trabajos sin afectar otras cargas de trabajo ni incurrir en el desperdicio de slots prereservados pero subutilizados.

• Capacidades de analítica unificadas: Más allá del costo, la migración desbloqueó nuevas capacidades. Los equipos de ingeniería de datos de NBCUniversal obtuvieron acceso a operaciones de ML unificadas a través de MLflow, lo que permite:

  • Seguimiento de experimentos y control de versiones de modelos

  • Ciclo de vida de ML optimizado desde el entrenamiento hasta la producción

  • Estandarización automatizada de flujos de trabajo a través de Lakeflow Jobs

• Cultura de datos mejorada: La migración catalizó un cambio organizacional más amplio. Al simplificar la gestión de la infraestructura y reducir los gastos operativos generales, NBCUniversal creó las condiciones para una cultura más ágil, colaborativa y basada en datos entre los equipos de ingeniería de datos y de analistas. Los equipos pudieron centrarse en los problemas comerciales en lugar de en las limitaciones de la infraestructura.

• Facilidad de incorporación de analistas: La migración permitió que aproximadamente 300 analistas realizaran la transición de manera rápida y cómoda a Databricks, gracias a la total conformidad con ANSI SQL de Databricks SQL y a una plataforma intuitiva que optimiza la escritura de consultas, la creación de paneles y el análisis dentro de un espacio de trabajo unificado.

Conclusión: de centro de costos a activo estratégico

La migración de NBCUniversal a Databricks demuestra cómo las decisiones tecnológicas estratégicas pueden transformar la infraestructura de datos, desbloqueando una mayor eficiencia y ventaja competitiva. Al asociarse con EXL y adoptar la arquitectura de lakehouse de Databricks, NBCUniversal no solo redujo sus costos de ejecución, sino que también desbloqueó una plataforma más ágil y unificada que permite a los equipos experimentar más rápido, lanzar nuevos productos de datos al mercado antes y responder con mayor rapidez a las necesidades cambiantes de la audiencia y los anunciantes.

La nueva plataforma le brinda a NBCUniversal la capacidad de iterar rápidamente sobre la información de la audiencia, optimizar los productos publicitarios casi en tiempo real y admitir nuevos modelos de monetización que antes eran difíciles o demasiado costosos de ejecutar. Esta combinación de costos más bajos, ciclos de decisión más rápidos y un único entorno para datos, analítica y ML convierte a la plataforma de datos en un diferenciador, lo que permite a NBCUniversal avanzar más rápido que sus competidores en la forma en que comprende, atiende y hace crecer a sus audiencias.

Comenzar

¿Listo para modernizar su infraestructura de datos y desbloquear ahorros de costos y capacidades de analítica similares?

Conéctese con Databricks:

• Hable sobre su caso de uso con los Delivery Solutions Architects (DSA) de Databricks.

  • A lo largo de esta migración, el DSA de NBCUniversal trabajó mano a mano con EXL para diseñar una estrategia alineada con las prioridades del cliente. Los DSA aceleran la implementación, identifican los obstáculos de manera temprana y coordinan a los equipos, desde la evaluación y la arquitectura hasta la ejecución y la validación, brindando la supervisión técnica necesaria para reducir el riesgo y acelerar la entrega. Póngase en contacto con el equipo de su cuenta de Databricks para conocer cómo un DSA puede ampliar su equipo de migración.

• Visite el sitio web de EXL para obtener más información sobre su conjunto de soluciones, incluido EXLdata.ai.

• Explore las opciones de migración dirigidas por socios para acelerar su proceso

• Comience con una evaluación de su entorno actual

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original