Joby Aviation denkt die Luftfahrt mit elektrisch betriebenen Flugzeugen von Grund auf neu – fertigt Präzisionskomponenten, analysiert Flugtelemetrie und optimiert die Leistung in jeder Produktionsphase. Doch bei mehreren Werksstandorten und einem massiven Zustrom an Telemetriedaten kam die bestehende Datenaufnahme-Architektur nicht mehr mit. Verzögerungen, doppelte Daten und operative Komplexität bremsten die Innovation und erschwerten es, Echtzeitsignale in sofortiges Handeln zu verwandeln. Mit Zerobus Ingest, einem Teil von Lakeflow Connect, hat Joby seine Dateninfrastruktur grundlegend erneuert – es streamt Gigabyte pro Minute von Tausenden Geräten direkt ins Lakehouse, und das mit unter fünf Sekunden Verzögerung. Was früher fragile Datenpipelines und viele Zwischenschritte brauchte, geschieht jetzt in Sekunden – mit schnelleren Entscheidungen, engeren Feedback-Schleifen und einem effizienteren Weg von der Fabrik bis zum Flug.
Mehrere Daten‑Zwischenschritte ließen die Innovation auf dem Rollfeld stehen
Joby Aviation ist ein vertikal integriertes Luftfahrtunternehmen und ein Pionier für elektrische Senkrechtstart- und -landeflugzeuge (eVTOL) für schnelle, leise und saubere urbane Mobilität. Von der Fertigung präziser Komponenten bis zur Analyse von Flugtelemetrie ermöglicht Jobys End-to-End-Verantwortung für den Technologie-Stack schnelle Iterationen und kontinuierliche Verbesserungen. Vollständige Eigenverantwortung bringt jedoch eine enorme Datenherausforderung mit sich — eine, die einen skalierbaren und intelligenten Ansatz für Data Engineering erfordert.
Joby brauchte eine zuverlässige Möglichkeit, umfangreiche Telemetrie- und Fertigungsdaten standortübergreifend aufzunehmen und für den Betrieb nutzbar zu machen. “Wir fertigen unsere eigenen Flugzeuge, erfassen Flugdatenanalysen und betreiben einen vollständigen Produktionsprozess. „All das erzeugt Daten, und wir müssen sie erfassen und verknüpfen — über verschiedene Fabriken, Maschinen und Anwendungsfälle hinweg — um bessere Entscheidungen zu treffen und Innovation zu beschleunigen“, erklärte Dominik Müller, Leiter Fabriksysteme bei Joby Aviation. Ziel war, diese Daten nahezu in Echtzeit für AI-Agenten, Business-Dashboards und analytische Workflows verfügbar zu machen. Und das, ohne ihre Ingenieurteams zu überlasten.
Die Anwendungsfälle von Joby umfassen den gesamten Datenlebenszyklus. In der Fabrik nehmen sie Telemetriedaten von vernetzten Maschinen auf, um die Anlagenleistung zu überwachen, die Rückverfolgbarkeit zu verbessern und AI-Agenten mit hochgenauen Signalen von der Fertigung zu versorgen. Flugdaten ihrer Luftfahrzeuge werden analysiert, um kritische Kennzahlen zu verfolgen und iterative Verbesserungen zu steuern. Diese Betriebsdaten treiben zudem Echtzeit-Dashboards an, die Führungskräften Einblick in wichtige Prozesse und Leistungstrends geben. Gleichzeitig werden historische Daten archiviert, um das Training von Modellen für Maschinelles Lernen, Sicherheitsanalysen und die Einhaltung gesetzlicher Vorgaben zu unterstützen.
Jeder dieser Anwendungsfälle ist darauf angewiesen, Daten von geografisch verteilten Produktionsstandorten zu erfassen, wo die Bedingungen stark variieren. Das machte Datenkonsistenz und Echtzeitverfügbarkeit zu einer großen Hürde. “Jede Fabrik ist anders. Die Maschinen sind unterschiedlich, die Internetverbindungen sind unterschiedlich, und ebenso die Abhängigkeiten“, sagte Müller. “Diese Unterschiede bedeuteten, dass wir Telemetrie an jedem Standort schnell und zuverlässig übertragen mussten. Diese Verbindungen sind oft kurzlebig, daher müssen sie Robustheit vor Ort und in der Cloud einbauen.”
Vor Databricks setzte Joby auf eine Multi-Hop-Architektur mit einem Nachrichtenbus und Spark-Ingestion-Jobs, um Daten von lokalen Fabrikagenten in die Cloud zu bringen. Dieser Ansatz sicherte zwar die Datenspeicherung ab, erhöhte aber die Komplexität ihrer Datenaufnahme-Infrastruktur deutlich. Laut Müller: „Diese Two-Hop-Architektur verursachte betrieblichen Mehraufwand, duplizierte Daten und erforderte zusätzliche Tools und Fachwissen für den Betrieb.”
Mit dem weiter wachsenden Datenvolumen und -tempo wurde diese Architektur immer schwieriger zu warten. Sie brauchten eine schlankere Lösung, die Telemetrie mit hohem Durchsatz verarbeiten kann, über Tausende von Verbindungen skaliert und den Betriebsaufwand reduziert. Diese Herausforderungen führten Joby dazu, Databricks Lakeflow Connect einzusetzen – mit dem Ziel, die Datenaufnahme zu vereinfachen, die Infrastruktur zu entlasten und die Zeit bis zur Erkenntnis in ihrer Datenpipeline zu verkürzen.
Telemetrie in großem Maßstab mit Lakeflow Connect erfassen
Um ihre Architektur für die Datenaufnahme zu vereinfachen und zu skalieren, wandte sich Joby an Databricks Lakeflow Connect. Diese einheitliche, wartungsarme Lösung für die Datenaufnahme ermöglicht es, Daten direkt aus den Quellsystemen ins Lakehouse zu leiten.
Das Herzstück dieser Transformation war Zerobus Ingest, eine neue direkte Schreib-API, die die Aufnahme von Telemetriedaten vereinfacht. Anstatt sich auf Spark-Jobs zu verlassen, die aus Kafka-ähnlichen Warteschlangen ziehen, senden Jobys lokale Agenten Telemetriedaten jetzt in nur einem Schritt direkt an Delta-Tabellen. „Wir haben den Message-Bus, Ingestion-Jobs und die Datenduplizierung abgeschafft. Jetzt senden wir einfach direkt an Databricks. „Es gibt keine zusätzliche Infrastruktur, die gewartet werden muss, und keine Latenz durch Zwischenebenen“, sagte Müller.
Zerobus Ingest ist ein leistungsstarker, serverloser Erfassungsdienst, der speziell für operative Datenquellen wie IoT, Telemetrie und Klickstreams entwickelt wurde. Für Joby bedeutete das: Jeder Werksstandort kann einen angepassten On-Premises-Agenten nutzen, um pro Minute Gigabyte an Sensor- und Maschinendaten zu streamen – mit Transparenz in nahezu Echtzeit. “Jeder Standort ist anders, also brauchten wir etwas Anpassbares, das sich leicht bereitstellen lässt”, erklärte Müller. “Mit dem Zerobus Ingest SDK haben wir Plug-and-Play-Agenten gebaut, die sich nahtlos in unsere bestehenden Pipelines integrieren. Das gab uns die volle Kontrolle.”
Die Architektur ist zugleich vereinfacht und intelligent. Sobald Daten über Zerobus Ingest in Delta-Tabellen gespeichert sind, sind sie in der gesamten Analytics- und AI-Umgebung von Joby sofort verfügbar. Lakeflow Declarative Pipelines verwandeln Roh-Telemetrie in strukturierte Einblicke. Teams im gesamten Unternehmen können nahezu sofort auf frische Daten reagieren — von Rückverfolgbarkeit in der Fertigung bis zur Analyse der Flugleistung. Wie Müller es ausdrückte: “Mit nur wenigen Sekunden Latenz betreiben wir Dashboards, lösen Alarme aus und versorgen nachgelagerte Modelle.”
Wichtig ist, dass sich Zerobus Ingest eng in die übergreifende Databricks Data Intelligence Platform integriert. Es nutzt Delta Lake als Speicherbasis – für Leistung und Schema-Validierung – und Unity Catalog für einheitliche Governance und Sicherheit. Ab dem Moment, in dem ein Datensatz geschrieben wird, ist er verwaltet, auffindbar und bereit für Analysen, maschinelles Lernen und Compliance-Workflows.
Zerobus Ingest hat verändert, wie Joby betriebliche Telemetrie angeht. Müller erklärte: „Wir können gleichzeitig von Tausenden Geräten in dieselbe Tabelle schreiben — das hilft, rechtzeitig Erkenntnisse zu liefern.“ Anstatt um architektonische Einschränkungen herum zu entwickeln, fließen ihre Daten nun direkt (von der Fabrik ins Lakehouse) — mit der Einfachheit und Zuverlässigkeit, die für Innovationen mit hohen Anforderungen nötig sind.
Schnellere Einblicke, weniger Komponenten
Durch die Einführung von Zerobus Ingest hat Joby die Komplexität und Kosten seiner Infrastruktur zur Telemetrie-Datenaufnahme deutlich reduziert – und zugleich Tempo und Skalierung freigesetzt, die den Innovationszyklus antreiben.
Vor Databricks musste die Telemetrie jeder Fabrik durch einen Nachrichtenbus laufen und von separaten Ingestion-Jobs verarbeitet werden — das führte zu Verzögerungen, Betriebsrisiken und doppelten Daten. Mit Zerobus Ingest entfallen diese Umwege. Jetzt fließen die Daten direkt von Jobys On-Premises-Agenten in ihre Delta-Tabellen — mit minimaler Latenz und ohne zusätzliche Infrastruktur zum Verwalten. Laut Müller: “Mit Zerobus Ingest übertragen wir Gigabytes an Telemetrie pro Minute von unseren Produktionsstandorten ins Lakehouse. Wir müssen uns nicht mehr um Nachrichtenwarteschlangen oder fragile Pipelines sorgen.“
Die Wirkung ist deutlich. Jeder Datensatz ist innerhalb von fünf Sekunden abfragbar — schnell genug, um Echtzeit-Dashboards zu betreiben, dringende Alarme anzuzeigen und zeitkritische Entscheidungen zu unterstützen. Die Ingenieurinnen und Ingenieure sowie die Business-Analysten von Joby können nun mit Daten in nahezu Echtzeit arbeiten – das ermöglicht einen engeren Feedback-Kreislauf zwischen Werkbetrieb und Leistungsoptimierung. „Jetzt ist Telemetrie eine Echtzeit-Ressource. „Binnen Sekunden wissen wir, ob sich etwas in die falsche Richtung entwickelt, und können handeln“, erklärte Müller.
Genauso wichtig: Zerobus Ingest hat Joby ermöglicht, zu skalieren, ohne die Architektur neu zu erfinden. Jede Verbindung unterstützt bis zu 100 MB/s Durchsatz, und das System verarbeitet Tausende gleichzeitiger Streams — entscheidend für ein wachsendes Unternehmen mit mehreren Fertigungshallen und einem schnell wachsenden Sensorbestand. „Zerobus Ingest ist nicht nur schnell; es skaliert mit uns. Wir mussten nichts neu entwerfen, um weitere Standorte, mehr Geräte oder mehr Daten zu unterstützen“, erklärte Müller.
Während sie weiter innovieren, sieht Joby ihren Stack als strategischen Vorteil. Wie Müller es ausdrückt: “Daten aus der Fertigung in die Hände der Entscheidungsträger zu bringen, dauert jetzt nur Sekunden. Das verändert, was möglich ist.”