Migração sem interrupções da NBCUniversal: liberando analytics escalonável com a Databricks

Como uma das principais empresas de mídia e entretenimento do mundo, a NBCUniversal conta com dados para oferecer experiências de entretenimento incomparáveis em suas redes globais de transmissão, cabo e streaming. Com a entrega de conteúdo exigindo análises em tempo real, pipelines de dados complexos e machine learning avançado, a infraestrutura de dados da empresa é um ativo de negócios crítico que apoia a tomada de decisões em todo o portfólio.

A NBCUniversal está na vanguarda da inovação há 100 anos e reconheceu a necessidade de modernizar sua infraestrutura de dados para apoiar seu ecossistema de conteúdo em crescimento, mantendo os custos operacionais sob controle. À medida que os volumes de dados cresciam e as demandas de análise evoluíam, a empresa buscou uma solução mais escalável e integrada. A infraestrutura existente atendia às necessidades básicas de análise, mas também destacava oportunidades para aumentar a flexibilidade, melhorar o desempenho de cargas de trabalho avançadas e otimizar as despesas de computação para fortalecer a eficiência operacional.

“A NBCUniversal está em uma jornada para operacionalizar e ampliar o acesso aos dados para as equipes de toda a empresa, e isso exigia uma nova solução que nos permitisse trabalhar mais rápido”, disse Kevin Hill, vice-presidente sênior de tecnologia de dados e produtos da NBCUniversal. “O Databricks nos proporcionou uma maneira de gastar menos tempo construindo e mais tempo analisando os dados.”

Quando a NBCUniversal decidiu modernizar sua plataforma de dados, o objetivo era liberar a agilidade necessária para escalar durante grandes lançamentos de conteúdo, premiações e eventos ao vivo sem provisionamento excessivo. Em parceria com a EXL e o Databricks, a NBCUniversal migrou para a computação específica para tarefas do Databricks, unificando análises e ML em uma única plataforma e trazendo 300 analistas junto nessa jornada.

Visão geral dos resultados

• Redução de 30% nos custos de infraestrutura de dados por meio de computação específica para tarefas

• Mais de 300 analistas integrados sem problemas ao Databricks SQL

• Escalonamento elástico para eventos de alto tráfego sem desperdício de slots pré-reservados

• ML e análises unificados por meio do MLflow e Lakeflow Jobs

O desafio: equilibrar custo e desempenho

À medida que a NBCUniversal continuava a inovar, os dados se tornaram ainda mais críticos para a tomada de decisões em organizações de equipes como marketing, produto e conteúdo. A arquitetura existente já não conseguia gerenciar de forma suficiente a quantidade de dados ou consultas necessárias para apoiar a organização em rápida evolução. Um modelo de reserva baseado em slots permitia que a organização reservasse vários slots para suportar essas cargas de trabalho paralelas, mas resultava em custos de computação significativos e disputa de recursos.

“Com a rápida evolução do ecossistema de conteúdo atual, nossos parceiros em toda a empresa precisam tomar decisões informadas com mais rapidez”, disse Louie Kuznia, vice-presidente de engenharia de dados da NBCUniversal. “O Databricks forneceu uma solução que pôde nos apoiar na modernização da infraestrutura de dados da NBCUniversal sem comprometer a agilidade ou a velocidade.”

A evolução das considerações de custo, juntamente com o desejo de maior flexibilidade para casos de uso avançados, como machine learning, e uma governança aprimorada sobre a linhagem de dados, motivaram a NBCUniversal a explorar plataformas alternativas.

A solução: Arquitetura Databricks Lakehouse

A NBCUniversal fez uma parceria com o Databricks e a EXL, uma consultoria global, para executar uma migração estratégica para a Databricks Data Intelligence Platform. Essa parceria combinou a profunda experiência em migração da EXL com as soluções de dados líderes do Databricks para criar uma infraestrutura de dados modernizada que apoia a engenharia de dados, o machine learning e as análises avançadas.

A decisão de trabalhar com o Databricks ofereceu várias vantagens, incluindo maior flexibilidade e eficiência geral para cargas de trabalho de dados:

• Plataforma de análise unificada: O Databricks oferece uma única plataforma para cargas de trabalho de engenharia de dados, ciência de dados, machine learning e business intelligence, o que elimina a necessidade de manter várias ferramentas especializadas.

• Arquitetura lakehouse flexível: O Databricks aproveita o Delta Lake e o Apache Iceberg™ com o Apache Spark™ de código aberto e o Lakehouse (Databricks SQL), permitindo a manipulação flexível de dados estruturados e não estruturados em diversos formatos.

• Recursos avançados de análise: O Databricks se destaca no suporte a análises complexas, incluindo cargas de trabalho de machine learning, com integração nativa do MLflow para rastreamento de experimentos e versionamento de modelos.

• Controle granular de computação: A arquitetura do Databricks permite um controle mais granular sobre os recursos de computação, com cada pipeline de dados sendo executado em computação dedicada em vez de competir por slots compartilhados.

A estratégia de migração: uma abordagem em fases liderada por parceiros

A migração para o Databricks exige transformações nas estruturas de dados, modificações no código, ajustes nos formatos de dados e uma orquestração cuidadosa das dependências upstream e downstream. A EXL e o Databricks desenvolveram juntos uma abordagem abrangente e em fases que minimizou a interrupção operacional e, ao mesmo tempo, acelerou a transição.

Fase 1: Avaliação do cenário existente

A equipe começou com uma descoberta abrangente, criando um inventário das cargas de trabalho, tabelas e bases de código existentes, enquanto analisava minuciosamente suas dependências. Essa fase de avaliação identificou os artefatos que precisavam de migração, organizou-os por prioridade e estabeleceu os critérios de sucesso.

Fase 2: Desenho da arquitetura do estado de destino

A fase de design focou no mapeamento das estruturas existentes para seus equivalentes no Databricks, otimizando o custo e o desempenho.

As principais decisões de design incluíram:

• Arquitetura do workspace: Estruturar os workspaces de acordo com o Databricks Well-Architected Framework, mapeando seus pilares de melhores práticas para a estrutura organizacional e os requisitos de segurança da NBCUniversal para garantir um ambiente escalável, seguro e preparado para o futuro.

• Estratégia de governança de dados: Implementar o Unity Catalog como a camada de governança central.

• Estratégia de computação: Definir configurações de cluster de tarefas, tipos de instância e políticas de escalonamento automático adaptadas aos requisitos de cada carga de trabalho.

• Layout de armazenamento: Projetar estruturas de tabela do Delta Lake com particionamento, clustering e otimização preditiva adequados para manter automaticamente layouts de arquivo, estatísticas e armazenamento eficientes para um desempenho sustentado em escala

Fase 3: Comprovação do conceito com ferramentas de migração personalizadas

Antes de se comprometer com uma migração em grande escala, a EXL executou um MVP direcionado usando um subconjunto representativo das cargas de trabalho da NBCU. Essa fase piloto serviu a dois propósitos: validar a abordagem de migração e desenvolver ferramentas de automação personalizadas que acelerariam o esforço mais amplo.

Durante o MVP, a EXL criou quatro aceleradores proprietários especificamente para o ambiente da NBCU:

• Mecanismo de tradução de SQL: Um conversor de código inteligente que analisa a sintaxe SQL e a transforma automaticamente em Spark SQL otimizado, lidando com diferenças de dialeto, mapeamentos de funções e ajuste de desempenho.

• Migrador de orquestração: Uma ferramenta que analisou as DAGs existentes e as regenerou como Lakeflow Jobs, preservando as dependências e a lógica de agendamento.

• Orquestrador de transferência de dados: Um pipeline automatizado que moveu dados para o Delta Lake, selecionando os métodos de transferência ideais com base no tamanho da tabela e na frequência de atualização.

• Framework de validação: Uma suíte de testes abrangente que comparou resultados de consultas, contagens de linhas e estatísticas agregadas entre os sistemas de origem e destino.

Esses aceleradores transformaram o que seriam meses de trabalho manual em processos automatizados e repetíveis, com verificações de qualidade integradas.

Fase 4: Migração em ondas estratégicas

Com os aceleradores validados e a arquitetura de destino finalizada, a equipe executou a migração em ondas cuidadosamente sequenciadas. Em vez de migrar todas as cargas de trabalho simultaneamente, eles adotaram uma abordagem baseada em riscos que priorizou primeiro os pipelines de alto valor e menor complexidade.

Cada onda de migração seguiu um padrão consistente:

1. Seleção de carga de trabalho: Identificar um grupo coeso de tabelas e pipelines relacionados para migração.
2. Geração automatizada de código: Usar o SQL Translation Engine para converter consultas e o Orchestration Migrator para reconstruir fluxos de trabalho.
3. Sincronização de dados: Transferir dados históricos mantendo atualizações incrementais da infraestrutura existente.
4. Garantia de qualidade: Executar o Validation Framework para garantir a precisão e a integridade dos dados.

Essa abordagem iterativa permitiu que a equipe mantivesse a continuidade dos negócios e refinasse seus processos a cada onda, aplicando as lições aprendidas nas migrações subsequentes.

Fase 5: Validação por meio de operações duplas

A fase final antes da transição para o Databricks envolveu a execução de ambas as plataformas em paralelo por um período de validação estendido. Por várias semanas, a NBCUniversal operou pipelines duplos, executando as mesmas transformações tanto na plataforma existente quanto no Databricks, enquanto comparava os resultados.

Essa operação paralela desempenhou várias funções críticas:

1. Validação de produção: Garantir a paridade com os resultados gerados pelo Databricks sob condições do mundo real com volumes de dados de produção.
2. Benchmarking de desempenho: Medir os tempos de execução e custos reais no ambiente Databricks em comparação com o desempenho histórico.
3. Confiança das partes interessadas: Fornecer aos usuários de negócios e consumidores downstream evidências empíricas de que a migração preservou a qualidade e a disponibilidade dos dados.
4. Planejamento de transição: Identificar quaisquer casos extremos ou cenários atípicos que exijam atenção adicional antes de desativar completamente as plataformas legadas.

Somente após alcançar resultados consistentes em todas as métricas de validação a NBCUniversal prosseguiu com a transição final, desativando as cargas de trabalho existentes pipeline por pipeline com total confiança na nova plataforma.

Impacto nos negócios: redução de 30% nos custos e ganhos estratégicos

Os resultados da migração da NBCUniversal foram substanciais e mensuráveis:

• Redução de custos de computação: “Ao fazer a transição para a computação específica para jobs do Databricks, a NBCUniversal alcançou uma redução de 30% nos custos gerais de infraestrutura de dados. Cada pipeline agora é executado em seus próprios recursos de computação dedicados, permitindo o dimensionamento independente durante cargas de trabalho de pico com redução automática durante períodos de baixa demanda.” — Ludwig Kuznia, vice-presidente de engenharia de dados da NBCUniversal

• Maior flexibilidade operacional: O modelo de execução paralela oferece maior agilidade na resposta às demandas de negócios. Durante eventos conhecidos de alto tráfego (como grandes lançamentos de conteúdo ou premiações), a NBCUniversal pode dimensionar dinamicamente a capacidade do cluster de jobs sem afetar outras cargas de trabalho ou incorrer no desperdício de slots pré-reservados, mas subutilizados.

• Recursos unificados de análise: Além do custo, a migração desbloqueou novos recursos. As equipes de engenharia de dados da NBCUniversal ganharam acesso a operações unificadas de ML por meio do MLflow, permitindo:

  • Rastreamento de experimentos e versionamento de modelos

  • Ciclo de vida de ML simplificado, do treinamento à produção

  • Padronização automatizada de fluxos de trabalho por meio do Lakeflow Jobs

• Cultura de dados aprimorada: A migração catalisou uma mudança organizacional mais ampla. Ao simplificar o gerenciamento da infraestrutura e reduzir a sobrecarga operacional, a NBCUniversal criou condições para uma cultura mais ágil, colaborativa e orientada a dados entre as equipes de engenharia de dados e de analistas. As equipes puderam se concentrar em problemas de negócios em vez de restrições de infraestrutura.

• Facilidade de integração de analistas: A migração permitiu que aproximadamente 300 analistas fizessem a transição rápida e confortável para o Databricks, graças à total conformidade do Databricks SQL com o padrão ANSI SQL e a uma plataforma intuitiva que simplifica a gravação de consultas, a criação de painéis e a análise em um espaço de trabalho unificado.

Conclusão: de centro de custo a ativo estratégico

A migração da NBCUniversal para o Databricks demonstra como decisões tecnológicas estratégicas podem transformar a infraestrutura de dados, liberando maior eficiência e vantagem competitiva. Ao fazer uma parceria com a EXL e adotar a arquitetura lakehouse do Databricks, a NBCUniversal não apenas reduziu seus custos de execução, mas também desbloqueou uma plataforma mais ágil e unificada que permite às equipes experimentar mais rápido, lançar novos produtos de dados no mercado mais cedo e responder mais rapidamente às mudanças nas necessidades do público e dos anunciantes.

A nova plataforma dá à NBCUniversal a capacidade de iterar rapidamente sobre insights de público, otimizar produtos de anúncios quase em tempo real e oferecer suporte a novos modelos de monetização que antes eram difíceis ou caros demais para executar. Essa combinação de custos mais baixos, ciclos de decisão mais rápidos e um único ambiente para dados, análise e ML transforma a plataforma de dados em um diferencial, o que permite à NBCUniversal mover-se mais rapidamente do que os concorrentes na forma como entende, atende e expande seus públicos.

Primeiros passos

Pronto para modernizar sua infraestrutura de dados e obter economias de custo e recursos de análise semelhantes?

Conecte-se com o Databricks:

• Fale sobre seu caso de uso com os Delivery Solutions Architects (DSAs) do Databricks.

  • Durante toda essa migração, o DSA da NBCUniversal trabalhou lado a lado com a EXL para criar uma estratégia alinhada às prioridades do cliente. Os DSAs aceleram a implementação, identificam obstáculos logo no início e coordenam as equipes — desde a avaliação e arquitetura até a execução e validação —, fornecendo a supervisão técnica necessária para reduzir riscos e acelerar a entrega. Entre em contato com a equipe de conta do Databricks para saber como um DSA pode expandir sua equipe de migração.

• Visite o site da EXL para saber mais sobre seu conjunto de soluções, incluindo o EXLdata.ai.

• Explore as opções de migração lideradas por parceiros para acelerar sua jornada

• Comece com uma avaliação do seu ambiente atual

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original