Ankündigung der allgemeinen Verfügbarkeit von Zerobus Ingest

Da Unternehmen ihre operative Intelligenz in Echtzeit skalieren, sind herkömmliche Streaming-Architekturen zu kostspieligen Engpässen geworden. Die Verwaltung von Message-Bussen wie Kafka und der Umgang mit Schema-Registries und Connector-Frameworks erzeugen eine erhebliche „Komplexitätssteuer“, die hochwertige Engineering-Ressourcen von strategischen Geschäftsinitiativen ablenkt. Gleichzeitig treibt doppelter Speicher die Cloud-Rechnungen in die Höhe und Multi-Hop-Architekturen verzögern kritische Einblicke. Zudem befinden sich Daten bei der Übertragung oft außerhalb zentraler Governance-Frameworks, was zu Compliance-Risiken und blinden Flecken bei der Datenherkunft (Lineage) führt. 

Wir stellen Zerobus Ingest vor: Streaming in das Lakehouse in nahezu Echtzeit

Heute freuen wir uns, die allgemeine Verfügbarkeit von Zerobus Ingest als Teil von Lakeflow Connect bekannt zu geben. Zerobus Ingest ist ein vollständig verwalteter, serverloser Dienst, der Daten direkt in verwaltete Delta-Tabellen streamt und Zwischenschichten für eine vereinfachte Performance-Architektur entfernt. 

Indem es den direkten Datenfluss von Produzenten zum Lakehouse ermöglicht, senkt Zerobus Ingest die Kosten drastisch und beseitigt den Tool-Wildwuchs. Er bietet außerdem hohe Leistung bei Skalierung, unterstützt Tausende von gleichzeitigen Verbindungen und erreicht einen Gesamt-Throughput von über 10 GB/Sekunde zu einer Tabelle in weniger als 5 Sekunden. 

Der Single-Sink-Vorteil: Vereinfachte Architektur für eine erhebliche Kostenreduzierung

Herkömmliche Message-Busse wie Kafka wurden als Multi-Sink-Architekturen konzipiert: universelle Hubs, die Daten an Dutzende unabhängiger Konsumenten weiterleiten. Diese Flexibilität kann jedoch mit hohen Kosten verbunden sein, wenn Ihr einziges Ziel das Lakehouse ist. Zerobus Ingest verfolgt einen grundlegend anderen Ansatz mit einer Single-Sink-Architektur, die für einen einzigen Job optimiert ist: Daten direkt in das Lakehouse zu übertragen. 

Diese Architekturentscheidung eliminiert Komplexität und senkt die Kosten drastisch:

• Keine Broker, die bei wachsendem Datenvolumen zu skalieren
• Keine Partitionen, die für eine optimale Performance optimiert werden müssen
• Keine Verbrauchergruppen , die überwacht und debuggt werden müssen
• Keine Planung und Ausführung von Cluster-Upgrades
• Für Ihr Team ist kein Spezialwissen wie Kafka erforderlich  

Mit Zerobus Ingest gibt es einen einzigen, verwalteten Databricks-Endpunkt. Erstellen Sie Ihre Tabelle in Unity Catalog, beginnen Sie mit dem Schreiben von Daten über die API oder das SDK, und schon sind Sie fertig. Das ist alles, es gibt nichts weiter einzurichten. Die serverlose Architektur skaliert automatisch, um eine Ingestion von Gigabyte pro Sekunde zu unterstützen, ohne dass Konfigurationsänderungen erforderlich sind. 

Zerobus Ingest ermöglicht es Datenproduzenten, den Message-Bus zu umgehen und Ereignisse direkt in verwaltete Delta-Tabellen in Ihrem Lakehouse zu übertragen. 

Zerobus Ingest vereinfacht die herkömmliche Streaming-Architektur von fünf verwalteten Systemen auf zwei Komponenten, wodurch mehrere Fehlerquellen beseitigt, der Betriebsaufwand reduziert und die Notwendigkeit von Spezialwissen entfällt.

• Traditionelle Architektur: Quellsysteme → Message-Bus (Kafka-Cluster) mit einer Schema-Registry → Connectors → Lakehouse
• Zerobus-Ingest-Architektur: Quellsysteme → Zerobus Ingest → Lakehouse

Durch die Beseitigung des zwischengeschalteten Message-Bus entfallen zwei große Kostenstellen: die Compute und der Speicher für den Bus selbst sowie die für dessen Verwaltung erforderliche spezielle Engineeringzeit. Zerobus Ingest bietet die Datenerfassung zu einem Bruchteil der Kosten pro Gigabyte im Vergleich zum Betrieb und zur Wartung eines selbstverwalteten Kafka-Clusters.

Zerobus Ingest bietet Ingestion zu einem Bruchteil der Kosten pro Gigabyte im Vergleich zum Betrieb und zur Wartung eines selbstverwalteten Kafka-Clusters.

Erfahren Sie mehr darüber, wie Zerobus funktioniert, in diesem ausführlichen Blog der Databricks Community oder in der Dokumentation.

Unterstützte Schnittstellen und native Integration

Entwickler können die Integration über gRPC- und REST-APIs oder sprachspezifische SDKs vornehmen. Zerobus Ingest bietet eine breite Palette von Push-basierten Schnittstellen für branchenspezifische Integrationen und ist damit ein flexibles, einziges Tool, das die Datenerfassung vereinfacht.

• gRPC-API: Empfohlen für Hochleistungsanwendungen, die niedrigste Latenz und höchsten Durchsatz erfordern.
• REST API (Beta): Ideal für Webhooks, serverlose Funktionen und Sprachen, in denen die gRPC-Unterstützung möglicherweise eingeschränkt ist.
• SDKs: Produktionsreife Bibliotheken für Python, Java, Rust, Go und TypeScript vereinfachen die Authentifizierungs- und Batching-Logik mithilfe von gRPC.
• Open Telemetry (Beta): Übertragen Sie Ihre Betriebs-logs, Metriken und Traces mit nur einer Konfigurationsänderung zur langfristigen Verlaufsanalysen in das Lakehouse. Erfahren Sie hier mehr über das Open Telemetry-Ökosystem.

Erfahren Sie mehr über die Unterschiede zwischen REST und gRPC.

Da außerdem jeder Schreibvorgang von Unity Catalog gesteuert wird, erhalten Sie ab der Datenerstellung ein automatisches Tracking der Datenherkunft und eine differenzierte Zugriffskontrolle – was eine einheitliche Governance Ihrer Streaming-Daten mit dem Rest Ihres Lakehouse gewährleistet. 

Wegweisende Kundenerfolge: Exponentiell schnellere Einblicke in großem Maßstab 

Echtzeit-Fertigungsüberwachung für die Toyota Motor Corporation

Toyota suchte nach einer einheitlichen Lösung, um Telemetriedaten von Tausenden von Fabrikgeräten sofort zu verarbeiten, ohne die Latenz und Komplexität herkömmlicher IoT-Architekturen. 

„Zerobus Ingest ermöglicht es uns, eine Überhitzung in der Fabrik in Minuten statt in Stunden zu erkennen, was unsere Klimaneutralitätsstrategie und Betriebseffizienz direkt unterstützt.“ Aber es geht nicht nur um die Nachverfolgung der Temperaturtelemetrie. Mit Zerobus Ingest als zusätzlicher Option zur Datenaufnahme können wir verschiedene Fabrikdaten nahezu in Echtzeit sammeln und sofortige Gegenmaßnahmen auslösen, was unsere Betriebsabläufe transformiert hat.“ – Kento Izumi, General Manager, Abteilung für die Förderung der digitalen Transformation, Toyota Motor Corporation

Anstatt mehrere Cloud-Dienste zusammenzufügen, nutzt Toyota Zerobus Ingest, integriert mit globaler IoT-Konnektivität von Soracom, um die hohen Wartungskosten des Echtzeit-Betriebs zu senken, seine Fertigungs-Betriebe zu transformieren und seine Nachhaltigkeitsziele zu unterstützen.

IoT-Datenpipeline-Architektur: Vom Edge zur Analyseplattform mit Zerobus Ingest und Soracom Beam

Izumi erklärte außerdem, dass sie ihre betriebliche Effizienz beschleunigen können: „In Kombination mit ‚vista‘, unserer einheitlichen Daten- und KI-Plattform, die auf Databricks basiert, erfassen wir Daten nicht nur schneller, sondern optimieren auch unsere Datenvorgänge.“

Joby Aviation: Beschleunigung der Flugleistungsanalyse von Tagen auf Minuten

Als Early Adopter von Zerobus Ingest streamt Joby Aviation jede Minute Gigabytes an Flugzeugtelemetriedaten direkt in das Lakehouse, sodass die Engineering-Teams die Flug-Performance nahezu in Echtzeit analysieren können. Lesen Sie die Fallstudie von Joby Aviation.

"Zerobus Ingest hat unsere Latenz bei der Telemetrieauflösung von Tagen auf Minuten reduziert. Dies ermöglicht unseren Engineering-Teams, die Flugleistung nahezu in Echtzeit zu analysieren und unsere Mission zur Transformation des Transportwesens zu beschleunigen." Dominik Müller, Factory Systems Lead, Joby Aviation

Für Anwendungsfälle in der Industrie

Herkömmliche Infrastruktur verlangsamt Echtzeitbetriebe. Durch die Beseitigung der Komplexität zwischengeschalteter Message-Busse schafft Zerobus Ingest branchenübergreifend einen direkten Weg zur Wertschöpfung in weniger als 5 Sekunden.

Beschleunigen Sie Ihre digitale Transformation, indem Sie Daten aus beliebigen Quellen branchenübergreifend direkt in Ihr Lakehouse übertragen.

Fertigung: Maximieren Sie die Effizienz in der Fertigungshalle. Verwenden Sie die Zerobus Ingest SDKs, um benutzerdefinierte Weiterleitungs-Agents zu erstellen, die riesige Sensordatenmengen an das Lakehouse streamen. Dies optimiert die Maschinen-Performance, indem der hohe Aufwand für die Netzwerkinfrastruktur entfällt.

Telekommunikation und IoT: Globale Netzwerke im großen Scale überwachen. Am Edge bereitgestellt, leitet Zerobus Ingest Telemetriedaten aus Ihrem Netzwerk an das Lakehouse weiter, um Ihre Netzwerkauslastung in nahezu Echtzeit zu verfolgen. Unsere Partnerschaft mit Soracom erweitert die Integration für eine sichere, zuverlässige, globale IoT-Datenaufnahme über Mobilfunk-, Satelliten- und LPWAN-Netzwerke.

IT und Cybersicherheit: Bedrohungen ohne ETL-Verzögerung erkennen. Umgehen Sie komplexe Pipelines, indem Sie Protokolle und Verhaltensereignisse direkt in das Lakehouse streamen. Dies ermöglicht die Erkennung von Bedrohungen innerhalb von Sekunden, adaptives Neutrainieren von Modellen und eine schnellere Reaktion auf Vorfälle.

Commerce und Clickstream: Personalisieren Sie Erlebnisse in nahezu Echtzeit. Erfassen Sie großvolumige Clickstream-Daten von Apps und Geräten mit minimalem Infrastrukturaufwand. Dies ermöglicht eine sofortige Datenverfügbarkeit für Personalisierungs-Engines, A/B-Tests und die Conversion-Optimierung.

Fragen zur Verfügbarkeit

Zerobus Ingest ist jetzt auf AWS und Microsoft Azure allgemein verfügbar . Die Unterstützung für die Google Cloud-Plattform folgt in Kürze. Die Preise sind volumenbasiert im Rahmen der Lakeflow Jobs Serverless -Artikelnummer.

Im Rahmen des GA-Launchs führen wir eine sechsmonatige Preisaktionsphase ein. Erfahren Sie mehr auf der Preisseite von Lakeflow Connect. 

Erste Schritte mit Zerobus Ingest

Sind Sie bereit, die Komplexität Ihrer Streaming-Infrastruktur zu beseitigen? Mit nur wenigen Codezeilen können Sie Daten direkt in Ihre von Unity Catalog verwalteten Tabellen streamen und so sicherstellen, dass Ihre Daten sofort bei Eingang für die Gewinnung von Erkenntnissen bereitstehen.

Nutzen Sie die folgenden Zerobus Ingest-Ressourcen, um noch heute loszulegen:

• Testen Sie Zerobus Ingest jetzt: Greifen Sie auf die Dokumentation und die Kurzanleitfäden zu.
• Produkttour: Navigieren Sie durch Zerobus Ingest und erfahren Sie, wie Sie mit der Datenaufnahme starten.
• Entwickeln Sie eine End-to-End-Anwendung: Ein Echtzeit-Segelsimulator verfolgt eine Flotte von Segelbooten mithilfe des Python SDK und der REST API, mit Databricks Apps und Databricks Asset Bundles. Blog lesen
• Entwickeln Sie eine digitale Zwillinge-Lösung: Erfahren Sie, wie Sie mit Databricks Apps und Lakebase die betriebliche Effizienz maximieren sowie Echtzeit-Einblicke und Predictive Maintenance beschleunigen. Blog lesen

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag