Transformando dados para elevar as entregas e experiências de delivery
O iFood usa DLT para reduzir custos e manutenção de pipeline
Redução de custos de processamento e armazenamento
Redução nos esforços de manutenção
Menos tempo de codificação
O iFood, a maior plataforma de delivery do Brasil, opera em uma escala impressionante: são 300 mil entregadores, 55 milhões de usuários e 350 mil restaurantes parceiros. Esse ecossistema gera um enorme volume de dados em tempo real todos os dias, abrangendo pedidos de clientes, logística de entrega e interações no app. Com diversos produtos e plataformas coletando dados em toda a empresa, o iFood processa bilhões de registros diariamente para análise e modelagem, garantindo suporte a decisões estratégicas de negócios. Para sustentar sua expansão e aprimorar seus serviços, a empresa precisava de uma plataforma de dados mais confiável, escalável e eficiente, capaz de atender à crescente demanda por insights em tempo real e inovação.
Arquitetura fragmentada e silos de dados comprometiam agilidade e precisão
Antes de adotar a Databricks Platform, o iFood enfrentava desafios significativos devido a uma arquitetura de dados fragmentada, que dificultava a escalabilidade e a eficiência operacional. A empresa dependia de uma infraestrutura complexa, com múltiplos sistemas para gerenciar um volume massivo de dados sobre a jornada dos usuários — bilhões de registros provenientes de diversas fontes, como o sistema de gestão de pedidos, o aplicativo do consumidor e o app dos entregadores. Com o crescimento do ecossistema e a diversificação dos modelos de negócio, o volume e a variedade de dados aumentaram exponencialmente, tornando o processamento de informações ainda mais desafiador.
Com esses dados dispersos em sistemas distintos, consolidar e acessar informações críticas de forma rápida e confiável tornou-se uma tarefa árdua. A fragmentação gerava ineficiências operacionais significativas, dificultando o rastreamento de eventos e tornando a governança de dados um processo demorado e suscetível a erros. A equipe de engenharia de dados do iFood precisava dedicar um grande esforço para codificar, otimizar e manter fluxos de dados complexos manualmente. Além disso, a resolução de problemas exigia inúmeras horas, demandando alinhamento com múltiplas equipes até mesmo para implementar pequenas mudanças.
Essa realidade consumia recursos, limitava a inovação e deixava pouco espaço para iniciativas estratégicas. O desafio se agravava com o crescimento exponencial da base de dados. O que antes era uma arquitetura legada capaz de processar 100 milhões de eventos por dia tornou-se insuficiente diante do salto para um volume diário de 8 a 10 bilhões de eventos. Com a necessidade de treinar modelos em tempo real para analisar a jornada dos usuários e fornecer insights acionáveis, a baixa latência em grande escala tornou-se um requisito essencial.
Otimização de pipelines, redução de manutenção e insights em tempo real
A implementação do DLT revolucionou a maneira como o iFood gerencia seus pipelines de dados. Com a abordagem declarativa do DLT, os engenheiros passaram a descrever as transformações desejadas em um código simplificado, enquanto a plataforma lida automaticamente com toda a complexidade operacional, incluindo execução, escalabilidade e monitoramento. “Até agora, reduzimos o tempo de codificação em aproximadamente 30% com essa abordagem, permitindo construir pipelines muito mais rápido do que antes”, afirma Thiago Julião, Especialista em Arquitetura de Dados no iFood. Além de acelerar o desenvolvimento, essa transição simplificou e consolidou a arquitetura de dados da empresa, reduzindo o número de tabelas de quase 4.000 para apenas 100 — um avanço que melhorou significativamente a governança e elevou a qualidade dos dados.
Antes do DLT, os pipelines do iFood enfrentavam erros frequentes de falta de memória ao processar grandes volumes de eventos, resultando em falhas nos drivers e interrupções operacionais constantes, exigindo atenção contínua da equipe de engenharia de dados. Com a adoção do DLT em produção, essa realidade mudou drasticamente.
“O DLT nos proporcionou mais facilidade para rastrear a jornada do usuário no aplicativo, garantindo alto desempenho no uso dos dados pelas equipes de consumo — isso transformou completamente nossos processos”, destaca Maristela Albuquerque, Gerente de Dados no iFood.
A arquitetura de dados unificada do iFood
A arquitetura técnica do iFood foi projetada para processar dados em tempo real em uma escala massiva, garantindo eficiência, governança e escalabilidade. Aqui está um detalhamento da estrutura e como seus componentes trabalham juntos para lidar com 10 bilhões de eventos diários, fornecendo insights em tempo real.
O pipeline de dados começa com a ingestão de eventos em tempo real do ecossistema do iFood, incluindo o aplicativo do consumidor, o app dos entregadores e o portal dos parceiros. Esses eventos fluem para filas do Amazon Kinesis, onde aproximadamente 10 bilhões de registros são processados diariamente.
Com o suporte do Delta Live Tables (DLT), o pipeline de ingestão garante escalabilidade, resiliência e qualidade, reduzindo a latência de horas para apenas alguns segundos. Isso assegura a disponibilidade imediata dos dados para análise em tempo real, como o treinamento de modelos e a extração de insights durante a jornada do usuário. “Agora, nossos pipelines rodam sem erros, garantindo um desempenho confiável mesmo sob as cargas de trabalho mais intensas”, afirma Thiago Julião. “A transição de falhas frequentes para quase zero problemas com o DLT não apenas melhorou a eficiência operacional, mas também liberou nossa equipe para focar em iniciativas estratégicas, em vez de apagar incêndios. Consolidamos todos os pipelines no DLT, reduzindo em 70% o esforço de manutenção.”
A arquitetura do iFood segue o modelo de camadas medallion para gerenciar grandes volumes de dados de forma eficiente. A Camada Bronze consolida dados de diversas plataformas em uma única tabela por produto, utilizando um esquema predefinido e particionado por data de processamento. Funciona como uma zona de staging, permitindo uma retenção de dados mais longa em comparação com as filas de mensagens.
Na Camada Silver há a aplicação de regras de validação e qualidade com DLT Expectations, garantindo integridade e consistência. A substituição da partição tradicional pelo Liquid Clustering consolidou todos os eventos de um produto em uma única tabela, melhorando significativamente a performance e a usabilidade. Com essa otimização, o iFood gerencia grandes conjuntos de dados, incluindo sua maior tabela, que contém 210TB e 800 bilhões de registros, mantendo alta governança e qualidade. “Antes, manter dois ambientes separados exigia comunicação constante entre as equipes, tornando até pequenas mudanças desafiadoras. Agora, com tudo centralizado, o processo se tornou muito mais eficiente”, explica Gabriel Campos, Head de Dados e IA do iFood.
A nova arquitetura permitiu ao iFood centralizar a governança dos dados, aprimorar a qualidade das informações e reduzir os custos de processamento e armazenamento em 67% — diminuindo despesas de dezenas de milhares para apenas alguns milhares de dólares por mês.
Com a automação e a otimização da gestão de pipelines de dados pelo Delta Live Tables (DLT), os analistas de negócios das equipes de crescimento e produto do iFood agora podem acessar facilmente os dados na camada Silver para criar tabelas Gold analíticas. Isso permite gerar insights estratégicos com mais agilidade, impulsionando análises detalhadas da jornada do usuário e testes A/B para entender o comportamento do consumidor em diferentes etapas. Esses insights orientam a criação de estratégias baseadas em dados para aprimorar a experiência dos clientes em todo o ecossistema do iFood.
Um exemplo prático é o aplicativo dos entregadores, que fornece dados críticos para a equipe de logística. A análise dessas interações permite entender como os motoristas utilizam o app e otimizar sua usabilidade. Com isso, o iFood pode aprimorar tanto a experiência do consumidor quanto os processos operacionais, garantindo eficiência para os entregadores e um serviço mais ágil para os clientes.
O iFood planeja expandir ainda mais sua implementação de Databricks, adotando Databricks Asset Bundles (DABs) para um desenvolvimento mais ágil e computação serverless para maior flexibilidade. Entre as próximas iniciativas, estão a implementação de mascaramento de colunas para dados sensíveis na camada de consumo e a otimização do desempenho das tabelas com o uso de estruturas complexas, como structs e maps.
A transformação do iFood para uma arquitetura de dados moderna e unificada redefiniu a forma como a empresa processa e utiliza seu vasto ecossistema de dados. Com a adoção do DLT, o iFood eliminou ineficiências, simplificou operações e estabeleceu uma base sólida para insights em tempo real e governança aprimorada. Essa mudança não apenas aumentou a confiabilidade e a agilidade dos pipelines de dados, mas também liberou as equipes para focar em inovação e criação de valor para o negócio. Agora, com uma arquitetura escalável, eficiente e preparada para o futuro, o iFood está pronto para responder às demandas de um mercado dinâmico, ao mesmo tempo em que continua elevando a experiência de seus clientes.