A Joby Aviation está reimaginando as viagens aéreas com aeronaves elétricas construídas do zero — fabricando componentes de precisão, analisando a telemetria de voo e otimizando o desempenho em cada etapa da produção. Mas, com várias unidades fabris e um grande volume de dados de telemetria, a arquitetura legada de ingestão deles não conseguia acompanhar. Atrasos, dados duplicados e complexidade operacional desaceleraram a inovação e dificultaram transformar sinais em tempo real em ações em tempo real. Com o Zerobus Ingest, parte do Lakeflow Connect, a Joby transformou sua infraestrutura de dados — transmitindo gigabytes por minuto de milhares de dispositivos diretamente para o lakehouse, tudo com entrega em menos de cinco segundos. O que antes exigia fluxos frágeis e múltiplas etapas agora acontece em segundos, permitindo decisões mais rápidas, ciclos de feedback mais curtos e um caminho mais inteligente da fábrica ao voo.
Vários saltos de dados atrasaram a inovação
A Joby Aviation é uma empresa de aviação verticalmente integrada, pioneira em aeronaves elétricas de decolagem e pouso vertical (eVTOL) para uma mobilidade urbana rápida, silenciosa e limpa. Da fabricação de componentes de precisão à análise da telemetria de voo, o controle de ponta a ponta da plataforma tecnológica da Joby permite iteração rápida e melhoria contínua. Mas ter controle total traz um grande desafio de dados — que exige uma abordagem escalável e inteligente para a engenharia de dados.
A Joby precisava de uma forma confiável de ingerir e operacionalizar telemetria e dados de fábrica em grande volume, em vários locais. “Estamos fabricando nossas próprias aeronaves, coletando análises de voo e operando uma cadeia de produção completa. "Tudo isso gera dados, e precisamos capturá-los e conectá-los — entre diferentes fábricas, máquinas e casos de uso — para tomar melhores decisões e acelerar a inovação", explicou Dominik Müller, líder de sistemas de fábrica na Joby Aviation. O objetivo era tornar esses dados acessíveis a agentes de AI, painéis de negócios e fluxos analíticos quase em tempo real. Tudo isso sem sobrecarregar suas equipes de engenharia.
Os casos de uso da Joby cobrem todo o ciclo de vida dos dados. Na fábrica, eles ingerem telemetria de máquinas conectadas para monitorar o desempenho dos equipamentos, melhorar a rastreabilidade e alimentar agentes de AI com sinais de alta fidelidade vindos do chão de fábrica. Os dados de voo das aeronaves são analisados para acompanhar métricas críticas e orientar melhorias contínuas. Esses dados operacionais também alimentam painéis em tempo real que dão à liderança visibilidade sobre processos-chave e tendências de desempenho. Enquanto isso, os dados históricos são arquivados para apoiar o treinamento de modelos de aprendizado de máquina, a análise de segurança e o cumprimento regulatório.
Cada um desses casos de uso depende da ingestão de dados de unidades fabris geograficamente distribuídas, onde as condições variam bastante. Isso tornou a consistência dos dados e a disponibilidade em tempo real um grande desafio. “Cada fábrica é diferente. As máquinas são diferentes, as conexões de internet são diferentes e o mesmo vale para as dependências”, disse Müller. “Essa variabilidade significava que precisávamos de uma forma de transferir a telemetria com rapidez e confiabilidade, em qualquer local. Essas conexões costumam ser temporárias, então é preciso incorporar resiliência em terra e na nuvem.”
Antes do Databricks, a Joby dependia de uma arquitetura com vários saltos, usando um barramento de mensagens e tarefas do Spark de ingestão para mover dados de agentes locais nas fábricas para a nuvem. Embora essa abordagem garantisse durabilidade, ela adicionou complexidade significativa à infraestrutura de ingestão. Segundo Müller, “Essa arquitetura em dois saltos introduziu sobrecarga operacional, duplicou dados e exigiu ferramentas e conhecimento adicionais para gerenciar.”
Com o aumento contínuo do volume e da velocidade dos dados, essa arquitetura ficou cada vez mais difícil de manter. Eles precisavam de uma solução mais enxuta que pudesse lidar com telemetria de alta vazão, escalar para milhares de conexões e reduzir o atrito operacional. Esses desafios levaram a Joby a adotar o Databricks Lakeflow Connect, com o objetivo de simplificar a ingestão de dados, reduzir a carga de infraestrutura e acelerar o tempo para obter insights em todo o pipeline de dados.
Ingestão de telemetria em escala com Lakeflow Connect
Para simplificar e escalar sua arquitetura de ingestão, a Joby recorreu ao Databricks Lakeflow Connect. Essa solução de ingestão unificada e de baixa manutenção permite que os dados fluam diretamente dos sistemas de origem para o lakehouse.
O ponto central dessa transformação foi o Zerobus Ingest, uma nova API de gravação direta que simplifica a ingestão de telemetria. Em vez de depender de tarefas do Spark para buscar em filas semelhantes ao Kafka, os agentes locais da Joby agora enviam dados de telemetria diretamente para tabelas Delta com apenas um salto. “Eliminamos o barramento de mensagens, as tarefas de ingestão e a duplicação de dados. Agora, enviamos direto para o Databricks. Não há infraestrutura extra para manter, nem latência causada por camadas intermediárias”, disse Müller.
O Zerobus Ingest é um serviço de ingestão de alto desempenho, sem servidor, criado para fontes de dados operacionais como IoT, telemetria e fluxos de cliques. Para a Joby, isso significou que cada unidade fabril poderia usar um agente local personalizado para transmitir gigabytes de dados de sensores e de máquinas por minuto, com visibilidade quase em tempo real. “Cada unidade é diferente, então precisávamos de algo personalizável, mas fácil de implementar”, explicou Müller. “Com o Zerobus Ingest SDK, criamos agentes plug-and-play que se integram perfeitamente aos nossos fluxos de dados existentes. Isso nos deu controle total.”
A arquitetura é simplificada e inteligente. Assim que os dados são gravados em tabelas Delta via Zerobus Ingest, eles ficam imediatamente acessíveis em toda a plataforma de análises e AI da Joby. Lakeflow Declarative Pipelines transformam telemetria bruta em insights estruturados. Equipes em toda a empresa podem agir com dados atualizados quase instantaneamente, apoiando desde a rastreabilidade de fábrica até a análise de desempenho de voo. Como disse Müller: “Com apenas alguns segundos de latência, estamos impulsionando painéis, acionando alertas e alimentando modelos posteriores.”
O mais importante: o Zerobus Ingest se integra de forma estreita à Databricks Data Intelligence Platform. Usa o Delta Lake como base de armazenamento — garantindo desempenho e validação de esquema — e o Unity Catalog para governança e segurança unificadas. Desde o momento em que um registro é gravado, ele já está sob governança, é fácil de encontrar e está pronto para uso em análises, machine learning e fluxos de conformidade.
O Zerobus Ingest mudou a forma como a Joby aborda a telemetria operacional. Müller explicou: “Podemos gravar, a partir de milhares de dispositivos, na mesma tabela, simultaneamente, o que ajuda a entregar insights no tempo certo.” Em vez de contornar limitações de arquitetura, os dados agora fluem de forma nativa (da fábrica para o lakehouse), com a simplicidade e a confiabilidade necessárias para sustentar inovações de alto impacto.
Insights mais rápidos, menos peças em movimento
Ao adotar o Zerobus Ingest, a Joby reduziu drasticamente a complexidade e o custo de sua infraestrutura de ingestão de telemetria, liberando a velocidade e a escala necessárias para impulsionar seu ciclo de inovação.
Antes do Databricks, a telemetria de cada fábrica precisava passar por um barramento de mensagens e ser processada por tarefas de ingestão separadas, gerando atrasos, risco operacional e dados duplicados. Com o Zerobus Ingest, esses saltos foram eliminados. Os dados agora fluem diretamente dos agentes on-premises da Joby para suas Delta tables, com latência mínima e sem infraestrutura extra para gerenciar. Segundo Müller: “Com o Zerobus Ingest, estamos enviando gigabytes de telemetria por minuto para o lakehouse a partir de nossas unidades de manufatura. Não nos preocupamos mais com filas de mensagens ou fluxos de dados frágeis.”
O impacto é claro. Cada registro de dados se torna consultável em até cinco segundos, rápido o suficiente para alimentar painéis em tempo real, destacar alertas urgentes e apoiar decisões sensíveis ao tempo. Os engenheiros e analistas de negócios da Joby agora podem trabalhar com dados quase em tempo real, permitindo um ciclo de feedback mais curto entre as operações da fábrica e a otimização de desempenho. “Agora, a telemetria é um ativo em tempo real. Em questão de segundos, sabemos se algo está indo na direção errada e podemos agir”, explicou Müller.
Tão importante quanto, o Zerobus Ingest permitiu que a Joby crescesse sem reinventar sua arquitetura. Cada conexão suporta até 100 MB/s de taxa de transferência, e o sistema lida com milhares de fluxos simultâneos — algo essencial para uma empresa em crescimento, com múltiplos andares de fábrica e um parque de sensores em r ápida expansão. “Não é só que o Zerobus Ingest é rápido; ele escala conosco. Não tivemos que reprojetar nada para dar suporte a mais locais, mais dispositivos ou mais dados”, explicou Müller.
À medida que continuam inovando, a Joby vê sua plataforma como uma vantagem estratégica. Como disse Müller: “Tirar os dados do chão de fábrica e colocá-los nas mãos dos tomadores de decisão agora acontece em segundos.” Isso muda o que é possível.”