Passa al contenuto principale

Mode in tempo reale in Apache Spark Structured Streaming

Elabora dati in millisecondi sulle API di Spark senza la manutenzione di un secondo motore specializzato

Data pipeline running 2 Kafka sinks, 404K records.

Elabora dati in streaming in millisecondi su compute serverless

La Mode in tempo reale (RTM) offre una latenza a livello di millisecondi con le familiari Spark API, eliminando la necessità di motori separati come Apache Flink. Grazie al supporto per l'elaborazione continua, RTM raggiunge una latenza di appena 5 ms per i carichi di lavoro time-critical. Integrato nativamente nelle pipeline dichiarative di Apache Spark™, consente ai team di dati di ottenere prestazioni estreme e i vantaggi dei servizi completamente gestiti, tra cui l'esecuzione senza versione, gli aggiornamenti automatici dell'infrastruttura e la manutenzione con tempi di inattività da ridotti a nulli.

Sblocca i carichi di lavoro operativi con un motore di esecuzione unificato

Minimize logic drift and codebase duplication

Minimizza la drift della logica e la duplicazione della codebase

Utilizza la stessa Spark API per l'addestramento batch su larga Scale e l'inferenza in tempo reale a bassissima latenza. RTM abilita una scalabilità fluida, consentendo di passare le pipeline da batch orari a streaming continuo con una singola modifica al codice ed eliminando completamente la necessità di complesse architetture a doppio motore.

Spark RTM mostly has lower latency than Flink.

Elabora gli eventi fino al 92% più velocemente di Flink

RTM è progettato per processi decisionali inferiori al secondo, generando un impatto in casi d'uso come il rilevamento di frodi e la personalizzazione in tempo reale. Grazie a un flusso di dati continuo, alla pianificazione della pipeline e agli streaming shuffle, RTM raggiunge latenze P99 rigide tra 40 ms e 300 ms per carichi di lavoro operativi complessi.

APPROFONDISCI

Scopri di più sulla Mode in tempo reale

Prodotti correlati

Scopri di più

Esplora altre offerte integrate e intelligenti sulla Data Intelligence Platform.

Pipeline dichiarative di Apache Spark™

Semplifica l’ETL batch e in streaming grazie a funzionalità automatizzate per la qualità dei dati, il Change Data Capture (CDC), l’ingestione, la trasformazione e la governance centralizzata.

GENIE CODE

Crea e gestisci pipeline di dati con un'AI agentica che comprende i tuoi dati.

Zerobus Ingest

Invia i dati degli eventi direttamente nel tuo lakehouse quasi in tempo reale. L'API di scrittura diretta riduce il carico operativo con un throughput elevato e prestazioni su larga scala.

Unity Catalog

Gestisci tutti i tuoi asset di dati con l'unica soluzione di governance unificata e aperta del settore per dati e AI, integrata nella Databricks Data Intelligence Platform.

Sei pronto a mettere dati e AI
alla base della tua azienda?

Inizia il percorso di trasformazione