Transformação do entretenimento doméstico com voz, dados e IA

Como uma empresa global de tecnologia e mídia que conecta milhões de clientes com experiências personalizadas, a Comcast encontrou um desafio com enormes quantidades de dados, pipelines de dados frágeis e colaboração deficiente de data science. Com a Databricks, incluindo Delta Lake e MLflow, a empresa pode criar pipelines de alto desempenho para petabytes de dados e gerenciar facilmente o ciclo de vida de centenas de modelos, criando assim experiências de altamente inovadoras, exclusivas e premiadas para os espectadores usando reconhecimento de fala e machine learning.

Infraestrutura incapaz de suportar solicitações de dados e ML

Responder instantaneamente à solicitação de voz de um cliente para um programa específico e converter bilhões de interações individuais em insights acionáveis sobrecarregou a infraestrutura de TI da Comcast e as equipes de análise e data science. Para complicar ainda mais as coisas, a Comcast teve que implantar os modelos em um conjunto desconectado e díspar de ambientes: nuvem, on-premises e até mesmo diretamente em dispositivos em alguns casos.

• Dados massivos: bilhões de eventos gerados por nosso sistema de entretenimento e mais de 20 milhões de controles remotos de voz resultam em petabytes de dados que precisam ser segmentados em sessões para análise.

• Pipelines frágeis: pipelines de dados complicados que falhavam com frequência e eram difíceis de recuperar. Arquivos pequenos eram difíceis de gerenciar e retardavam a ingestão de dados para machine learning downstream.

• Colaboração deficiente: data scientists distribuídos no mundo todo trabalhando em diferentes linguagens de script tinham dificuldade para compartilhar e reutilizar o código.

• Gerenciamento de modelos de ML: desenvolver, treinar e implantar centenas de modelos era um processo muito manual, lento e difícil de replicar, dificultando o dimensionamento.

• Atrito entre desenvolvimento e implantação: as equipes de desenvolvimento queriam usar as ferramentas e os modelos mais recentes, enquanto as equipes de operações queriam implantar em uma infraestrutura comprovada.

Infraestrutura automatizada, pipelines de dados mais rápidos com Delta Lake

A Comcast percebeu que precisava modernizar toda a sua abordagem de análise, desde a ingestão de dados até o fornecimento de modelos de machine learning que oferecem novos recursos que encantam seus clientes. Hoje, a Databricks Lakehouse Platform permite que a Comcast crie conjuntos de dados avançados e otimize o machine learning em escala, simplifique fluxos de trabalho em diversas equipes, promova a colaboração, reduza a complexidade da infraestrutura e ofereça experiências superiores aos clientes.

• Gerenciamento simplificado da infraestrutura: recursos automatizados de gerenciamento de clusters e custos, como escalonamento automático e instâncias pontuais, reduzem os custos operacionais.

• Pipelines de dados de alto desempenho com Delta Lake: o Delta Lake é usado para ingestão, enriquecimento de dados e processamento inicial de telemetria bruta de aplicativos e dispositivos de vídeo e voz.

• Gerenciamento confiável de arquivos pequenos: o Delta Lake permitiu que a empresa otimizasse arquivos para ingestão rápida e confiável em grande escala.

• Workspaces colaborativos: os notebooks interativos melhoram a colaboração entre equipes e a criatividade na data science, permitindo que a Comcast acelere significativamente a criação de protótipos de modelos para iterações mais rápidas.

• Ciclo de vida de ML simplificado: o MLflow gerenciado simplifica o ciclo de vida do machine learning e da implantação de modelos por meio do ambiente Kubeflow, permitindo rastrear e gerenciar centenas de modelos com facilidade.

• ETL confiável em escala: o Delta Lake fornece pipelines de análise eficientes que podem mesclar dados históricos e de streaming de forma confiável para revelar insights mais ricos.

• A Comcast também usa o Tableau para fornecer dados aos analistas, acelerando conjuntos de dados mais amplos para análises de clientes.

Delivering personalized experiences with ML

In the intensely competitive entertainment industry, there is no time to press the pause button. Armed with a unified approach to analytics, Comcast can now fast forward into the future of AI-powered entertainment – keeping viewers engaged and delighted with competition-beating customer experiences.

• Emmy winning viewer experience: Databricks helps enable Comcast to create a highly innovative and award winning viewer experience with intelligent voice commands that boosts engagement

• Reduced compute costs by 10X: Delta Lake has enabled Comcast to optimize data ingestion, replacing 640 machines with 64 while improving performance. Teams can spend more time on analytics and less time on infrastructure management.

• Less devops: Reduced number of devops full-time employees required for onboarding 200 users from 5 to 0.5.

• Higher data science productivity: Fostered collaboration between global data scientists by enabling different programming languages through a single interactive workspace. Also, Delta Lake has enabled the data team to use data at any point within the data pipeline, allowing them to act more quickly in building and training new models.

• Faster model deployment: reduced deployment times from weeks to minutes as operations teams deployed models on disparate platforms