Mercedes-Benz Cria Malha de Dados Cross-Cloud com Delta Sharing e Replicação Inteligente, Reduzindo Custos em 66%

A Mercedes-Benz, uma das marcas automotivas de luxo mais reconhecidas do mundo, está atualmente navegando por duas grandes transformações no setor: a digitalização e a transição para veículos elétricos. Esta era é definida pelo conceito de "veículo definido por dados".

• De Hardware para Dados: No passado, os veículos eram definidos por hardware, depois por software, mas agora o setor está entrando na era dos veículos definidos por dados. Essa mudança significa que os dados — incluindo telemetria do veículo e informações do cliente — são o ativo principal que impulsiona a melhoria do produto e a experiência do cliente.
• A Necessidade de Compartilhamento de Dados: Para construir este veículo definido por dados, várias unidades de negócios, como Pesquisa e Desenvolvimento (P&D), Pós-Venda e Marketing, precisam ser capazes de compartilhar dados de forma integrada, segura e econômica. A Mercedes-Benz visava substituir métodos anteriores, inseguros ou ineficientes, como servidores FTP e e-mail para transferência de dados, por um marketplace de compartilhamento de dados central e robusto.

O desafio crítico surgiu da arquitetura multi-cloud da empresa (AWS e Azure). Os consumidores de dados no Azure precisavam de acesso a grandes conjuntos de dados de pós-venda, frequentemente atualizados, armazenados principalmente na AWS. Esse acesso entre nuvens gerou altos custos de saída de dados (egress) e representou obstáculos técnicos significativos para garantir a atualidade dos dados.

O Desafio de Negócios: Altos Custos de Saída de Dados e Silos de Dados

A Mercedes-Benz opera uma configuração multi-cloud, utilizando AWS e Azure, juntamente com uma configuração multi-região dentro dessas nuvens. Essa abordagem permite que eles selecionem os serviços de hiperescalabilidade que melhor se adequam aos requisitos técnicos específicos.

Um exemplo crucial envolve seus dados de pós-venda, que incluem informações de eventos over-the-air do veículo e visitas à oficina. Esses dados são vitais para melhorar componentes em pesquisa e desenvolvimento (P&D) e analisar casos de garantia.

• Volume de Dados: Os dados centrais de pós-venda são substanciais, com um subconjunto de aproximadamente 60 TB necessário para atender dezenas de casos de uso em execução no Azure. Esse volume está em constante crescimento.
• Barreira de Custo: Quando os consumidores baseados no Azure consultavam diretamente esse grande conjunto de dados residindo na AWS, os custos de saída de dados (egress) se tornavam uma consideração para casos de uso sensíveis a custos. Embora o acesso direto fosse adequado para certas necessidades de análise em tempo real, a equipe buscava uma abordagem mais econômica para cargas de trabalho menos sensíveis ao tempo.
• Latência e Atualidade dos Dados: Antes da nova solução, o conjunto de dados completo era frequentemente copiado como uma carga completa semanal. Os consumidores de dados solicitavam atualizações mais frequentes, mas cargas completas diárias eram muito caras. Um atraso de sete dias poderia ser crítico ao reagir a casos de garantia.
• Compatibilidade de Formato de Dados: Os dados originais na AWS estavam no formato Iceberg, enquanto muitos consumidores de dados no lado do Azure esperavam um formato compatível com Delta.

A Solução: Uma Estratégia Híbrida de Delta Sharing e Replicação

A Mercedes-Benz implementou uma solução técnica que combinou a capacidade de troca segura de dados do Databricks Delta Sharing com um mecanismo de replicação local controlada (Delta Deep Clone) para lidar com os custos recorrentes de saída de dados associados ao compartilhamento de conjuntos de dados grandes e altamente demandados.

Unity Catalog e Delta Sharing: A Base

A solução está ancorada na Databricks Data Intelligence Platform, construída sobre o Unity Catalog (UC) e o Delta Sharing.

• Unity Catalog (UC): O UC funciona como o catálogo global para todos os produtos de dados em toda a empresa. Ele centraliza metadados, gerencia o acesso e permite um modelo de governança "hub-and-spoke", permitindo que os dados se tornem transparentes para outros, mantendo o controle. O UC também simplificou o processo ao federar tabelas do AWS Glue, registrando-as diretamente no Unity para acionar o compartilhamento de dados.
• Delta Sharing: O Delta Sharing serve como o protocolo aberto para troca segura de dados entre diferentes Metastores UC, em várias regiões e entre hiperescaladores (AWS para Azure). Foi escolhido porque é uma tecnologia de código aberto e suporta atualizações incrementais de dados.

O Delta Sharing é usado em três configurações principais dentro da malha de dados da Mercedes-Benz:

1. Compartilhamento Cross-Cloud/Cross-Hyperscaler: Este é o caso de uso principal, preenchendo a lacuna entre AWS e Azure. Ele aproveita a plataforma Databricks unificada em ambos os lados para usar a mesma tecnologia entre nuvens.
2. Compartilhamento Cross-Region/Cross-Metastore: O Delta Sharing é utilizado internamente entre diferentes regiões na mesma nuvem.
3. Compartilhamento Externo: A solução permite o compartilhamento de dados com parceiros externos, como fornecedores, que também podem estar usando Databricks ou Delta Sharing. Esta é uma maneira mais segura de receber dados do que enviar segredos ou usar FTP.

Abordagem Híbrida: Replicação Local para Minimizar Saída de Dados

Reconhecendo que nem todos os casos de uso exigem atualidade de dados em tempo real, a Mercedes-Benz projetou uma abordagem controlada e incremental de replicação para conjuntos de dados grandes e muito acessados, onde a eficiência de custo era priorizada em relação à atualidade de dados inferior a uma hora.

1. Compartilhamento Cross-Cloud: O Delta Sharing é configurado entre o Metastore do Provedor (AWS) e o Metastore do Destinatário (Azure).
2. Trabalho de Sincronização Periódico: Trabalhos de Sincronização automatizados são executados periodicamente, utilizando Delta Deep Clone para persistir réplicas das tabelas compartilhadas no armazenamento de objetos da nuvem do destinatário (ADLS/S3).
3. Atualizações Incrementais: O Deep Clone permite que o processo atualize os dados incrementalmente, para que o conjunto de dados completo não seja copiado constantemente, economizando custos.
4. Consumo Local: Os consumidores de dados no Azure consultam os dados replicados localmente no Azure, reduzindo drasticamente o movimento de dados entre nuvens e os altos custos de saída de dados associados.

Essa arquitetura reflete a força principal do Delta Sharing: flexibilidade os usuários podem escolher entre alta atualidade de dados com custo mais alto (Delta Shares diretos) ou baixa atualidade de dados com custo e latência mínimos (dados replicados localmente). Essa abordagem em camadas permite que a Mercedes-Benz atenda a diversos casos de uso de forma eficiente.

Implementação Técnica e Melhores Práticas

A equipe teve a solução de ponta a ponta pronta em apenas algumas semanas. Para garantir escalabilidade, segurança e gerenciamento preciso de custos, a Mercedes-Benz incorporou várias práticas operacionais e arquiteturais:

• Orquestrador de Dynamic Data eXchange (DDX): O DDX desempenha um papel central como um meta-catálogo de autoatendimento. O DDX automatiza o gerenciamento de permissões (concedendo permissões via microsserviços e APIs Databricks), o gerenciamento de Trabalhos de Sincronização e os fluxos de trabalho de compartilhamento/replicação de dados.
• Automação com Databricks Asset Bundles (DABs): A implantação de Trabalhos de Sincronização e configuração é totalmente automatizada usando DABs e implantações baseadas em YAML via Azure DevOps. Isso garante uma abordagem robusta e completa de DevOps.
• Rastreamento e Atribuição de Custos: Os Trabalhos de Sincronização registram a quantidade exata de dados transferidos. Um Trabalho de Relatório separado agrega esses dados diariamente para calcular o custo aproximado de saída de dados por Produto de Dados, que é então usado para cobrar os produtores de dados a montante. Este painel de custos também rastreia os custos de computação para os Trabalhos de Sincronização.
• GDPR e Governança: A solução aborda preocupações com o GDPR usando a funcionalidade VACUUM do Delta Lake nas tabelas replicadas, garantindo que as exclusões de dados no lado da origem sejam refletidas no lado do destinatário.

Benefícios Quantitativos e ROI

A solução de malha de dados cross-cloud gerou resultados de negócios significativos e mensuráveis, transformando o modelo econômico para compartilhamento de dados na Mercedes-Benz.

1. Redução de OPEX / Custos de Saída de Dados

Ao alavancar as capacidades de atualização incremental do Delta Sharing e a replicação inteligente via Deep Clone, a Mercedes-Benz otimizou a atualidade dos dados enquanto reduzia os custos de saída de dados.

• Redução de Custo de Saída de Dados: Os custos de saída de dados para os 10 produtos de dados iniciais caíram 66%.
• ROI em Egress: Isso representa uma redução de aproximadamente dois terços nos custos semanais de egress. Considerando o mesmo exemplo de cálculo para 50 casos de uso acima para consumo direto de dados da AWS, o custo anual aproximado de egress foi reduzido em 93%.

2. Aumento da Atualidade dos Dados e Agilidade de Negócios

A capacidade de sincronizar dados incrementalmente permitiu que a frequência de atualizações para consumidores Azure fosse dramaticamente aumentada.

• Atualidade Aprimorada: Os consumidores de dados agora recebem dados atualizados com mais frequência (por exemplo, a cada dois dias), em vez de esperar sete dias completos. Isso evita atrasos críticos na reação a problemas como casos de garantia.

3. Redução do Custo de Operações de TI

O uso de Jobs Databricks totalmente Serverless para o processo de sincronização reduziu as despesas de computação e a sobrecarga operacional.

• Estabilidade Operacional: Os jobs estão rodando "mais ou menos sem nenhum problema e sem nenhuma intervenção", minimizando o custo de operações de TI.

Impacto Estratégico: O Veículo Definido por Dados

A estrutura centralizada e econômica de compartilhamento de dados é essencial para a visão da Mercedes-Benz do "veículo definido por dados".

Delta Sharing e a malha de dados resultante ajudam a conectar fontes de dados anteriormente isoladas, como dados de pós-venda, com colegas de pesquisa e desenvolvimento, marketing e vendas. Isso cria uma visão holística do veículo e do cliente, acelerando a missão da empresa em direção à digitalização e à eletrificação de sua linha de produtos.

Quer aprender como a Mercedes-Benz aproveitou a flexibilidade do Delta Sharing para otimizar sua malha de dados cross-cloud? Assista à apresentação de Alexander Summa do Data + AI Summit:

Assista à apresentação no YouTube

Nesta sessão, você aprenderá mais sobre a arquitetura técnica, os desafios de implementação e as lições aprendidas com a implantação dessa solução em escala.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original