Joby Aviation sta ripensando i viaggi aerei con aeromobili elettrici costruiti da zero: produce componenti di precisione, analizza la telemetria di volo e ottimizza le prestazioni in ogni fase della produzione. Ma con più siti produttivi e un enorme afflusso di dati di telemetria, la loro architettura di ingestione esistente non riusciva a stare al passo. Ritardi, la duplicazione dei dati e la complessità operativa rallentavano l’innovazione e rendevano difficile trasformare segnali in tempo reale in azioni in tempo reale. Con Zerobus Ingest, parte di Lakeflow Connect, Joby ha trasformato la propria infrastruttura dati—trasmettendo gigabyte al minuto da migliaia di dispositivi direttamente al lakehouse, il tutto con consegna in meno di cinque secondi. Ciò che prima richiedeva flussi di dati fragili e più passaggi ora avviene in pochi secondi, abilitando decisioni più rapide, cicli di feedback più stretti e un percorso più intelligente dalla fabbrica al volo.
Più passaggi di dati hanno lasciato l’innovazione a terra
Joby Aviation è un’azienda aeronautica verticalmente integrata che sta aprendo la strada agli aeromobili a decollo e atterraggio verticale elettrici (eVTOL) per una mobilità urbana veloce, silenziosa e pulita. Dalla produzione di componenti di precisione all’analisi della telemetria di volo, il controllo end‑to‑end dello stack tecnologico consente iterazioni rapide e miglioramento continuo. Ma con la piena proprietà arriva anche una grande sfida sui dati — che richiede un approccio scalabile e intelligente all’ingegneria dei dati.
Joby aveva bisogno di un modo affidabile per acquisire e utilizzare operativamente telemetria e dati di fabbrica ad alto volume su più siti. “Stiamo costruendo i nostri aeromobili, raccogliendo analisi di volo e gestendo un’intera pipeline di produzione. “Tutto questo genera dati, e dobbiamo raccoglierli e collegarli — tra diversi stabilimenti, macchine e casi d’uso — per prendere decisioni migliori e accelerare l’innovazione”, ha spiegato Dominik Müller, Responsabile dei sistemi di fabbrica di Joby Aviation. L’obiettivo era rendere questi dati accessibili ad agenti AI, dashboard aziendali e workflow analitici quasi in tempo reale. Il tutto senza sovraccaricare i team di ingegneria.
I casi d’uso di Joby coprono l’intero ciclo di vita dei dati. In fabbrica, acquisiscono telemetria dalle macchine connesse per monitorare le prestazioni delle apparecchiature, migliorare la tracciabilità e alimentare gli agenti AI con segnali ad alta fedeltà direttamente dal reparto produttivo. I dati di volo dei loro aeromobili vengono analizzati per monitorare metriche critiche e guidare miglioramenti iterativi. Questi dati operativi alimentano anche dashboard in tempo reale che offrono alla leadership visibilità sui processi chiave e sui trend delle prestazioni. Nel frattempo, i dati storici vengono archiviati per supportare l’addestramento di modelli di machine learning, l’analisi della sicurezza e la conformità normativa.
Ciascuno di questi casi d’uso dipende dall’ingestione di dati da siti produttivi geograficamente distribuiti, dove le condizioni variano molto. Questo ha reso la coerenza dei dati e la disponibilità in tempo reale una grande sfida. «Ogni fabbrica è diversa. "Le macchine sono diverse, le connessioni Internet sono diverse e così anche le dipendenze", ha detto Müller. «Quella variabilità significava che ci serviva un modo per trasferire la telemetria in modo rapido e affidabile, indipendentemente dallo stabilimento. Queste connessioni sono spesso temporanee, quindi è necessario integrare resilienza a terra e nel cloud.”
Prima di Databricks, Joby si affidava a un’architettura a più passaggi utilizzando un bus di messaggistica e processi di ingestione Spark per spostare i dati dagli agenti locali di fabbrica al cloud. Sebbene questo approccio garantisse durabilità, aggiungeva una notevole complessità all’infrastruttura di ingestione. Secondo Müller, «Quell’architettura a due passaggi introdusse sovraccarico operativo, dati duplicati e richiese ulteriori strumenti e competenze per la gestione.»
Con l’aumentare del volume e della velocità dei dati, questa architettura è diventata sempre più difficile da mantenere. Serviva una soluzione più snella in grado di gestire telemetria ad alto throughput, scalare su migliaia di connessioni e ridurre l’attrito operativo. Queste sfide hanno portato Joby ad adottare Databricks Lakeflow Connect, con l’obiettivo di semplificare l’ingestione, ridurre l’onere infrastrutturale e accelerare il tempo per ottenere insight lungo la loro pipeline dei dati.
Acquisire telemetria su larga scala con Lakeflow Connect
Per semplificare e scalare la loro architettura di ingestione, Joby si è rivolta a Databricks Lakeflow Connect. Questa soluzione di ingestione unificata e a bassa manutenzione consente ai dati di fluire direttamente dai sistemi sorgente al lakehouse.
Il fulcro di questa trasformazione è stato Zerobus Ingest, una nuova API di direct write che semplifica l’ingestione della telemetria. Invece di affidarci a job di Spark per leggere da code tipo Kafka, gli agenti on-premise di Joby ora inviano i dati di telemetria direttamente alle tabelle Delta con un solo passaggio. "Abbiamo eliminato il bus dei messaggi, i processi di ingestione e la duplicazione dei dati. Ora inviamo direttamente a Databricks. Non c’è infrastruttura extra da mantenere e non c’è latenza causata da strati intermedi”, ha detto Müller.
Zerobus Ingest è un servizio di ingestione serverless ad alte prestazioni, progettato appositamente per fonti di dati operative come IoT, telemetria e flussi di clic. Per Joby, questo ha significato che ogni sito produttivo poteva usare un agente locale personalizzato per trasmettere in streaming gigabyte di dati di sensori e macchine al minuto, con visibilità quasi in tempo reale. “Ogni sito è diverso, quindi ci serviva qualcosa di personalizzabile ma facile da distribuire”, ha spiegato Müller. «Con lo Zerobus Ingest SDK abbiamo creato agenti plug-and-play che si integrano perfettamente nelle pipeline esistenti. Ci ha dato il pieno controllo.”
L’architettura è al tempo stesso semplificata e intelligente. Una volta che i dati sono scritti nelle tabelle Delta tramite Zerobus Ingest, sono subito accessibili in tutto lo stack di analytics e AI di Joby. Lakeflow Declarative Pipelines trasformano la telemetria grezza in insight strutturati. I team in tutta l’azienda possono agire su dati aggiornati quasi all’istante, supportando tutto, dalla tracciabilità in fabbrica all’analisi delle prestazioni di volo. Come ha detto Müller, «Con pochi secondi di latenza alimentiamo dashboard, attiviamo avvisi e alimentiamo i modelli a valle.»
Elemento chiave: Zerobus Ingest si integra strettamente con la Databricks Data Intelligence Platform. Usa Delta Lake come base di archiviazione—garantendo prestazioni e il rispetto dello schema—e Unity Catalog per una governance e sicurezza unificate. Dal momento in cui un record viene scritto, è governato, facilmente individuabile e pronto per l’uso in analytics, machine learning e nei workflow di conformità.
Zerobus Ingest ha cambiato il modo in cui Joby affronta la telemetria operativa. Müller ha spiegato: «Possiamo scrivere da migliaia di dispositivi sulla stessa tabella, in simultanea, il che aiuta a fornire insight tempestivi.» Invece di progettare attorno a limitazioni architetturali, ora i loro dati scorrono in modo nativo (dalla fabbrica al lakehouse), con la semplicità e l’affidabilità necessarie a sostenere un’innovazione ad alto impatto.
Insight più rapidi, meno componenti da gestire
Adottando Zerobus Ingest, Joby ha ridotto drasticamente la complessità e i costi della propria infrastruttura di ingestione della telemetria, sbloccando al contempo la velocità e la scalabilità necessarie ad alimentare il proprio ciclo di innovazione.
Prima di Databricks, la telemetria di ogni stabilimento doveva passare da un bus di messaggistica ed essere elaborata da processi di ingestione separati, creando ritardi, rischi operativi e dati duplicati. Con Zerobus Ingest, quei passaggi sono spariti. Ora i dati fluiscono direttamente dagli agenti on-premises di Joby alle loro tabelle Delta con latenza minima e senza infrastrutture aggiuntive da gestire. Secondo Müller, “Con Zerobus Ingest inviamo gigabyte di telemetria al minuto al lakehouse dai nostri siti produttivi. Non ci preoccupiamo più di code di messaggi o di flussi di dati fragili."
L’impatto è chiaro. Ogni record di dati diventa interrogabile entro cinque secondi, abbastanza veloce per alimentare dashboard in tempo reale, far emergere avvisi urgenti e supportare decisioni che richiedono tempestività. Gli ingegneri e gli analisti di business di Joby ora possono lavorare con dati quasi in tempo reale, abilitando un ciclo di feedback più stretto tra le operazioni di fabbrica e l’ottimizzazione delle prestazioni. “Ora, la telemetria è una risorsa in tempo reale. "Nel giro di pochi secondi sappiamo se qualcosa sta andando nella direzione sbagliata e possiamo intervenire", ha spiegato Müller.
Altrettanto importante, Zerobus Ingest ha permesso a Joby di scalare senza reinventare la propria architettura. Ogni connessione supporta fino a 100 MB/sec di throughput e il sistema gestisce migliaia di flussi concorrenti, fondamentale per un’azienda in crescita con più reparti produttivi e un parco sensori in rapida espansione. “Non è solo che Zerobus Ingest è veloce; cresce con noi. "Non abbiamo dovuto riprogettare nulla per supportare più siti, più dispositivi o più dati", ha spiegato Müller.
Continuando a innovare, Joby considera il proprio stack tecnologico un vantaggio strategico. Come ha detto Müller: "Portare i dati dal piano di fabbrica nelle mani di chi decide ora avviene in pochi secondi. Questo cambia ciò che è possibile.”