Annuncio della disponibilità generale di Zerobus Ingest

Con la Scale dell'intelligenza operativa in tempo reale da parte delle organizzazioni, le architetture di streaming tradizionali sono diventate costosi colli di bottiglia. La gestione di message bus come Kafka e di registri di schemi e framework di connettori crea una significativa "tassa sulla complessità" che distoglie risorse ingegneristiche di alto valore da iniziative aziendali strategiche. Nel frattempo, l'archiviazione duplicata gonfia le fatture del cloud e le architetture multi-hop ritardano le informazioni dettagliate critiche. Infine, i dati in transito si trovano spesso al di fuori dei framework di governance centralizzati, creando rischi per la conformità e punti ciechi nel lineage. 

Ti presentiamo Zerobus Ingest: streaming quasi in tempo reale nella Lakehouse

Oggi siamo entusiasti di annunciare la disponibilità generale di Zerobus Ingest, parte di Lakeflow Connect. Zerobus Ingest è un servizio serverless completamente gestito che trasmette i dati in streaming direttamente in tabelle Delta governate, rimuovendo i livelli intermedi per fornire un'architettura semplificata e ad alte prestazioni. 

Consentendo il flusso diretto dei dati dai producer al lakehouse, Zerobus Ingest abbatte i costi ed elimina la proliferazione degli strumenti. Offre inoltre prestazioni elevate su larga scala, supportando migliaia di connessioni simultanee e raggiungendo un throughput aggregato di oltre 10 GB/secondo verso una tabella in meno di 5 secondi. 

Il vantaggio del Single-Sink: architettura semplificata per una notevole riduzione dei costi

I bus di messaggi tradizionali come Kafka sono stati progettati come architetture multi-sink: hub universali che instradano i dati a dozzine di consumer indipendenti. Tuttavia, questa flessibilità può avere un costo elevato quando l'unica destinazione è il lakehouse. Zerobus Ingest utilizza un approccio radicalmente diverso, con un'architettura single-sink ottimizzata per un unico job: l'invio dei dati direttamente al lakehouse. 

Questa scelta architetturale elimina la complessità e riduce drasticamente i costi:

• Nessun broker da scalare con l'aumento del volume dei dati
• Nessuna partizione da ottimizzare per prestazioni ottimali
• Nessun gruppo di consumer da monitorare ed eseguire il debug
• Nessun aggiornamento del cluster da pianificare ed eseguire
• Nessuna competenza specialistica, come Kafka, è richiesta nel tuo team  

Con Zerobus Ingest, è disponibile un unico endpoint Databricks gestito. Crea la tua tabella in Unity Catalog, inizia a scrivere dati con l'API o l'SDK e il gioco è fatto. È tutto, nient'altro da configurare. L'architettura serverless si dimensiona automaticamente per supportare l'acquisizione di gigabyte al secondo senza alcuna modifica alla configurazione. 

Zerobus Ingest consente ai produttori di dati di bypassare il message bus e di inviare gli eventi direttamente nelle tabelle Delta gestite del tuo Lakehouse. 

Zerobus Ingest semplifica la tradizionale architettura di streaming da cinque sistemi gestiti a due soli componenti, eliminando molteplici punti di errore, riducendo il carico operativo e rimuovendo la necessità di competenze specialistiche.

• Architettura tradizionale: Sistemi di origine → Bus di messaggi (cluster Kafka) con un registro degli schemi → Connettori → Lakehouse
• Architettura di Zerobus Ingest: Sistemi di origine → Zerobus Ingest → Lakehouse

Eliminando il bus di messaggi intermedio, si eliminano due principali centri di costo: il compute e l'archiviazione per il bus stesso e il tempo di ingegneria dedicato necessario per la sua gestione. Zerobus Ingest offre l'ingestione a una frazione del costo per gigabyte rispetto all'esecuzione e alla manutenzione di un cluster Kafka autogestito.

Zerobus Ingest offre l'ingestione a una frazione del costo per gigabyte rispetto all'esecuzione e alla manutenzione di un cluster Kafka autogestito.

Scopri di più su come funziona Zerobus in questo blog di approfondimento della Community Databricks o nella documentazione.

Interfacce supportate e integrazione nativa

Gli sviluppatori possono eseguire l'integrazione tramite API gRPC e REST o utilizzare SDK specifici per il linguaggio. Zerobus Ingest offre un'ampia gamma di interfacce push per integrazioni specifiche di settori industriali, rendendolo uno strumento flessibile e unico che semplifica l'ingestion.

• API gRPC: Consigliato per applicazioni ad alte prestazioni che richiedono la latenza più bassa e il throughput più elevato.
• API REST (Beta): ideale per webhook, funzioni serverless e linguaggi in cui il supporto a gRPC potrebbe essere limitato.
• SDK: librerie pronte per la produzione per Python, Java, Rust, Go e TypeScript che semplificano la logica di autenticazione e di batch utilizzando gRPC.
• Open Telemetry (Beta): importa i log operativi, le metriche e le tracce nel Lakehouse per l'analisi storica a lungo termine con una semplice modifica alla configurazione. Scopri di più sull'ecosistema Open Telemetry qui.

Scopri di più sulle differenze tra REST e gRPC.

Inoltre, poiché ogni scrittura è gestita da Unity Catalog, si ottiene il tracciamento automatico della derivazione dei dati e un controllo degli accessi granulare dal momento in cui i dati vengono creati, garantendo che i dati di streaming abbiano una governance unificata con il resto del lakehouse. 

Promuovere le innovazioni dei clienti: informazioni dettagliate esponenzialmente più veloci su larga Scale 

Monitoraggio della produzione in tempo reale per Toyota Motor Corporation

Toyota cercava una soluzione unificata per elaborare istantaneamente i dati di telemetria da migliaia di dispositivi di fabbrica, senza la latenza e la complessità delle architetture IoT tradizionali. 

"Zerobus Ingest ci permette di rilevare condizioni di surriscaldamento in fabbrica in minuti anziché in ore, supportando direttamente la nostra strategia di neutralità carbonica e l'efficienza operativa. Ma non si tratta solo di monitorare la telemetria della temperatura; avere Zerobus Ingest come opzione aggiuntiva per l'acquisizione dei dati ci dà la possibilità di raccogliere dati di fabbrica diversificati quasi in tempo reale e di trigger contromisure immediate che hanno trasformato le nostre attività operative.” —Kento Izumi, Direttore Generale, Divisione per la promozione della trasformazione digitale, Toyota Motor Corporation

Invece di collegare tra loro più servizi cloud, Toyota utilizza Zerobus Ingest, integrato con la connettività IoT globale di Soracom, per ridurre gli elevati costi di manutenzione delle operazioni in tempo reale, trasformare le proprie operazioni di produzione e sostenere i propri obiettivi di sostenibilità.

Architettura della pipeline di dati IoT: dall'edge alla piattaforma di analitiche con Zerobus Ingest e Soracom Beam

Izumi ha anche spiegato che sono in grado di accelerare la loro efficienza operativa, “In combinazione con 'vista', la nostra piattaforma unificata di dati e AI basata su Databricks, non stiamo solo raccogliendo i dati più velocemente; stiamo ottimizzando le nostre attività operative sui dati."

Joby Aviation: accelerazione dell'analisi delle prestazioni di volo da giorni a minuti

In qualità di early adopter di Zerobus Ingest, Joby Aviation trasmette in streaming gigabyte di dati di telemetria degli aeromobili ogni minuto direttamente nella lakehouse, consentendo ai suoi team di ingegneri di analizzare le prestazioni di volo quasi in tempo reale. Leggi il case study di Joby Aviation.

"Zerobus Ingest ha ridotto la latenza di risoluzione della nostra telemetria da giorni a minuti. Ciò consente ai nostri team di ingegneria di analizzare le prestazioni di volo quasi in tempo reale e di accelerare la nostra missione di trasformare i trasporti." Dominik Müller, Factory Systems Lead, Joby Aviation

Potenziando i casi d'uso di settori industriali

L'infrastruttura tradizionale rallenta le attività operative in tempo reale. Rimuovendo la complessità dei message bus intermedi, Zerobus Ingest crea un percorso diretto in meno di 5 secondi per la creazione di valore in tutti i settori industriali.

Accelera la tua trasformazione digitale eseguendo il push dei dati da qualsiasi fonte, in tutti i settori industriali, direttamente nel tuo lakehouse.

Settore manifatturiero: massimizza l'efficienza dell'area di produzione. Utilizza gli SDK Zerobus Ingest per creare agenti di inoltro personalizzati che trasmettono in streaming enormi volumi di dati dei sensori al Lakehouse. Questo ottimizza le prestazioni della macchina eliminando il pesante overhead dell'infrastruttura di rete.

Telecomunicazioni e IoT: monitora reti globali su vasta scala. Distribuito sull'edge, Zerobus Ingest instrada la telemetria dalla tua rete al lakehouse per monitorare il carico della tua rete in tempo quasi reale. La nostra partnership con Soracom estende l'integrazione all'acquisizione sicura, affidabile e globale di dati IoT tramite reti cellulari, satellitari e LPWAN.

IT e Cybersecurity: individua le minacce senza i ritardi dell'ETL. Bypassa le pipeline complesse trasmettendo in streaming log ed eventi comportamentali direttamente nel Lakehouse. Questo consente il rilevamento delle minacce in pochi secondi, la riqualificazione adattiva dei modelli e una risposta più rapida agli incidenti.

Commercio e clickstream: personalizzare le esperienze quasi in tempo reale. Acquisisci dati clickstream a volumi elevati da app e dispositivi con un overhead infrastrutturale minimo. Ciò consente la disponibilità istantanea dei dati per alimentare i motori di personalizzazione, i test A/B e l'ottimizzazione delle conversioni.

Disponibilità

Zerobus Ingest è ora generalmente disponibile su AWS e Microsoft Azure, con il supporto per la piattaforma Google Cloud in arrivo. I prezzi sono basati sul volume secondo la SKU Lakeflow Jobs Serverless .

In occasione del lancio GA, introduciamo un periodo di prezzi promozionali di 6 mesi. Scopri di più sulla pagina dei prezzi di Lakeflow Connect. 

Guida introduttiva a Zerobus Ingest

Pronto a eliminare la complessità dell'infrastruttura di streaming? Con poche righe di codice, puoi iniziare a trasmettere i dati in streaming direttamente nelle tue tabelle gestite da Unity Catalog, assicurando che i dati siano pronti non appena arrivano per contribuire a fornire informazioni dettagliate.

Consulta le seguenti risorse di Zerobus Ingest per iniziare oggi stesso:

• Prova subito Zerobus Ingest: Accedi alla documentazione e alle guide rapide.
• Tour del prodotto: Naviga in Zerobus Ingest e scopri come iniziare a fare start a inserire i dati.
• Crea un'applicazione end-to-end: un simulatore di navigazione in tempo reale che traccia una flotta di barche a vela utilizzando Python SDK e l'API REST, con Databricks Apps e Databricks Asset Bundles. Leggi il blog
• Crea una soluzione di gemelli digitali: scopri come massimizzare l'efficienza operativa, accelerare le informazioni dettagliate in tempo reale e la manutenzione predittiva con Databricks Apps e Lakebase. Leggi il blog

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale