Joby Aviation réinvente le voyage aérien avec des aéronefs électriques conçus de bout en bout — fabrication de composants de précision, analyse de la télémétrie de vol et optimisation des performances à chaque étape de la production. Mais avec plusieurs sites industriels et un afflux massif de données de télémétrie, leur architecture d’ingestion héritée ne suivait plus le rythme. Les retards, les doublons de données et la complexité opérationnelle freinaient l’innovation et rendaient difficile la conversion de signaux en temps réel en actions en temps réel. Avec Zerobus Ingest, qui fait partie de Lakeflow Connect, Joby a transformé son infrastructure de données — en diffusant des gigaoctets par minute depuis des milliers d’appareils directement vers le lakehouse, le tout avec une livraison en moins de cinq secondes. Ce qui nécessitait autrefois des chaînes de traitement fragiles et de multiples étapes se fait désormais en quelques secondes, permettant des décisions plus rapides, des boucles de rétroaction plus courtes et un parcours plus intelligent de l’usine au vol.
Des sauts de données multiples ont cloué l’innovation au sol
Joby Aviation est une entreprise aéronautique intégrée verticalement, pionnière des aéronefs à décollage et atterrissage verticaux électriques (eVTOL) pour une mobilité urbaine rapide, silencieuse et propre. De la fabrication de composants de précision à l’analyse de la télémétrie de vol, la maîtrise de bout en bout de sa chaîne technologique permet des itérations rapides et une amélioration continue. Mais cette maîtrise de bout en bout s’accompagne d’un défi massif lié aux données — qui exige une approche évolutive et intelligente de l’ingénierie des données.
Joby avait besoin d’un moyen fiable pour ingérer et exploiter des volumes élevés de télémétrie et de données d’usine sur plusieurs sites. « Nous fabriquons nos propres avions, collectons des analyses de vol et faisons tourner une chaîne de production complète. « Tout cela génère des données, et nous devons les capturer et les relier — entre différentes usines, machines et cas d’usage — pour prendre de meilleures décisions et accélérer l’innovation », a expliqué Dominik Müller, responsable des systèmes d’usine chez Joby Aviation. Leur objectif était de rendre ces données accessibles aux agents AI, aux tableaux de bord métier et aux flux d’analyse quasi en temps réel. Le tout sans submerger leurs équipes d’ingénierie.
Les cas d’usage de Joby couvrent tout le cycle de vie des données. À l’usine, ils ingèrent la télémétrie des machines connectées pour surveiller la performance des équipements, améliorer la traçabilité et alimenter des agents AI avec des signaux haute fidélité issus de l’atelier. Les données de vol de leurs appareils sont analysées pour suivre des indicateurs clés et orienter des améliorations continues. Ces données opérationnelles alimentent aussi des tableaux de bord en temps réel qui offrent à la direction de la visibilité sur les processus clés et les tendances de performance. Parallèlement, les données historiques sont archivées pour l’entraînement de modèles d’apprentissage automatique, l’analyse de sécurité et la conformité réglementaire.
Chacun de ces cas d’usage dépend de l’ingestion de données depuis des sites industriels géographiquement dispersés, où les conditions varient fortement. Cela faisait de la cohérence des données et de leur disponibilité en temps réel un défi majeur. « Chaque usine est différente. Les machines sont différentes, les connexions internet aussi, et il en va de même pour les dépendances », a déclaré Müller. « Cette variabilité signifiait que nous avions besoin d’un moyen de décharger la télémétrie rapidement et de façon fiable, quel que soit le site. Ces connexions sont souvent éphémères, il faut donc intégrer de la résilience sur site et dans le cloud. »
Avant Databricks, Joby s’appuyait sur une architecture en plusieurs étapes (multi-hop) utilisant un bus de messages et des tâches Spark d’ingestion pour déplacer les données des agents locaux de l’usine vers le cloud. Si cette approche garantissait la durabilité, elle ajoutait une complexité importante à leur infrastructure d’ingestion. Selon Müller, « Cette architecture en deux étapes a alourdi les opérations, dupliqué les données et nécessité des outils et des compétences supplémentaires pour la gérer. »
À mesure que le volume et la vélocité des données augmentaient, cette architecture devenait de plus en plus difficile à maintenir. Ils avaient besoin d’une solution plus simple, capable de gérer une télémétrie à haut débit, de passer à l’échelle sur des milliers de connexions et de réduire la friction opérationnelle. Ces défis ont conduit Joby à adopter Databricks Lakeflow Connect, afin de simplifier l’ingestion, réduire la charge d’infrastructure et accélérer l’accès à des informations exploitables sur l’ensemble de leur pipeline de données.
Ingérer la télémétrie à grande échelle avec Lakeflow Connect
Pour simplifier et faire évoluer leur architecture d’ingestion, Joby s’est tourné vers Databricks Lakeflow Connect. Cette solution d’ingestion unifiée et peu coûteuse en maintenance permet aux données de circuler directement des systèmes sources vers le lakehouse.
L’élément central de cette transformation était Zerobus Ingest, une nouvelle API d’écriture directe qui simplifie l’ingestion de télémétrie. Plutôt que de s’appuyer sur des jobs Spark pour tirer depuis des files de type Kafka, les agents sur site de Joby poussent désormais les données de télémétrie directement vers des tables Delta en un seul saut. « Nous avons supprimé le bus de messages, les tâches d’ingestion et la duplication des données. Désormais, nous envoyons directement vers Databricks. Il n’y a plus d’infrastructure supplémentaire à maintenir, et plus de latence due aux couches intermédiaires », a déclaré Müller.
Zerobus Ingest est un service d’ingestion serverless haute performance, conçu spécialement pour des sources de données opérationnelles comme l’IoT, la télémétrie et les flux de clics. Pour Joby, cela signifiait que chaque site industriel pouvait utiliser un agent sur site personnalisé pour diffuser des gigaoctets de données de capteurs et de machines par minute, avec une visibilité quasi en temps réel. « Chaque site est différent, nous avions donc besoin d’une solution personnalisable mais facile à déployer », a expliqué Müller. « Avec le Zerobus Ingest SDK, nous avons construit des agents plug‑and‑play qui s’intègrent parfaitement à nos pipelines existants. Cela nous a donné un contrôle total. »
L’architecture est à la fois simplifiée et intelligente. Une fois les données écrites dans des tables Delta via Zerobus Ingest, elles sont immédiatement accessibles dans l’ensemble de la plateforme d’analytique et d’AI de Joby. Lakeflow Declarative Pipelines transforment la télémétrie brute en informations structurées. Les équipes de toute l’entreprise peuvent agir sur des données à jour presque instantanément, couvrant tout, de la traçabilité en usine à l’analyse des performances de vol. Comme l’a dit Müller : « Avec seulement quelques secondes de latence, nous alimentons des tableaux de bord, déclenchons des alertes et nourrissons des modèles en aval. »
Point essentiel : Zerobus Ingest s’intègre étroitement à la Databricks Data Intelligence Platform. Elle utilise Delta Lake comme fondation de stockage — garantissant performances et respect des schémas — et Unity Catalog pour une gouvernance et une sécurité unifiées. Dès qu’un enregistrement est écrit, il est gouverné, découvrable et prêt à être utilisé pour l’analytics, le machine learning et les workflows de conformité.
Zerobus Ingest a redéfini la façon dont Joby aborde la télémétrie opérationnelle. Müller a expliqué : « Nous pouvons écrire depuis des milliers d’appareils vers la même table, simultanément, ce qui aide à fournir des informations exploitables en temps voulu. » Au lieu de contourner des limites d’architecture, leurs données circulent désormais de façon native (de l’usine au lakehouse), avec la simplicité et la fiabilité nécessaires pour soutenir une innovation à forts enjeux.
Des analyses plus rapides, moins de complexité
En adoptant Zerobus Ingest, Joby a considérablement réduit la complexité et le coût de son infrastructure d’ingestion de télémétrie, tout en libérant la vitesse et l ’échelle nécessaires pour alimenter son cycle d’innovation.
Avant Databricks, la télémétrie de chaque usine devait passer par un bus de messages et être traitée par des tâches d’ingestion distinctes, ce qui créait des retards, des risques opérationnels et des doublons de données. Avec Zerobus Ingest, ces étapes intermédiaires disparaissent. Les données circulent désormais directement des agents sur site de Joby vers leurs tables Delta, avec une latence minimale et sans infrastructure supplémentaire à gérer. Selon Müller : « Avec Zerobus Ingest, nous envoyons des gigaoctets de télémétrie par minute vers le lakehouse depuis nos sites de production. Nous ne nous soucions plus des files de messages ni des pipelines fragiles.”
L’impact est clair. Chaque enregistrement devient interrogeable en moins de cinq secondes, assez rapidement pour alimenter des tableaux de bord en temps réel, faire remonter des alertes urgentes et soutenir des décisions sensibles au temps. Les ingénieurs et analystes métiers de Joby peuvent désormais travailler avec des données quasi temps réel, ce qui permet une boucle de rétroaction plus serrée entre les opérations en usine et l’optimisation des performances. « Désormais, la télémétrie est un atout en temps réel. En quelques secondes, nous savons si quelque chose évolue dans la mauvaise direction et pouvons agir », a expliqué Müller.
Tout aussi important, Zerobus Ingest a permis à Joby de passer à l’échelle sans réinventer son architecture. Chaque connexion prend en charge jusqu’à 100 MB/sec de débit, et le système gère des milliers de flux simultanés — essentiel pour une entreprise en croissance, avec plusieurs ateliers et une empreinte de capteurs qui s’étend rapidement. « Zerobus Ingest n’est pas seulement rapide ; il passe à l’échelle avec nous. « Nous n’avons rien eu à repenser pour prendre en charge plus de sites, plus d’appareils et plus de données », a expliqué Müller.
En poursuivant leur innovation, Joby voit sa plateforme comme un avantage stratégique. Comme l’explique Müller : « Faire sortir les données de l’atelier de production et les mettre entre les mains des décideurs se fait désormais en quelques secondes. Cela change ce qui est possible. »