Scopri come Real-Time Mode introduce la latenza in millisecondi in Spark Structured Streaming con la modifica di un singolo trigger e quando utilizzarlo.
La modalità in tempo reale è un trigger per Apache Spark™ Structured Streaming che elabora ciascun record non appena arriva, anziché attendere il micro-batch successivo. Riduce la latenza end-to-end dello streaming di Spark da secondi a millisecondi, sullo stesso motore e con le stesse API già utilizzate per lo streaming batch e micro-batch.
Prima della modalità in tempo reale, i team che necessitavano di risposte inferiori al secondo spesso aggiungevano un secondo motore dedicato esclusivamente allo streaming. La modalità in tempo reale elimina tale requisito per la maggior parte dei carichi di lavoro. Basta modificare il trigger di una query esistente e Spark la eseguirà in modo continuo.
La modalità in tempo reale sostituisce la pianificazione dei micro-batch con attività a esecuzione prolungata che continuano a leggere ed elaborare i dati. Una query micro-batch attende il limite di un batch, pianifica le attività ed esegue uno shuffle bloccante tra le fasi, il che imposta una soglia minima di latenza di circa un secondo. La modalità in tempo reale rimuove tale overhead con tre modifiche, descritte in dettaglio in Superamento della barriera dei micro-batch: l'architettura della modalità in tempo reale di Apache Spark.
L'intervallo di trigger controlla la frequenza con cui Spark esegue il commit di un checkpoint e segnala l'avanzamento. Non controlla il tempo di attesa di un record. I record fluiscono attraverso l'attività a esecuzione prolungata per tutto il tempo e i checkpoint vengono eseguiti in background.
Modifica il trigger di una query Structured Streaming impostandolo su realTime e definisci la modalità di output su update. Il resto della query rimane invariato.
L'intervallo di trigger minimo è di 5 secondi e cinque minuti rappresentano un'impostazione comune in produzione. Su Databricks, attiva la modalità in tempo reale sul compute classico che esegue Databricks Runtime 16.4 LTS o versioni successive, con Photon, autoscaling e istanze spot disattivati, e imposta spark.databricks.streaming.realTimeMode.enabled su true. Puoi anche eseguirla sul compute serverless all'interno di Lakeflow Spark Declarative Pipelines in modalità continua.
Dimensiona tutte le fasi contemporaneamente. Poiché tutte le fasi vengono eseguite in modo concorrente, il cluster richiede uno slot di attività per ogni task nella query. Un'origine Kafka con 8 partizioni più uno shuffle con 20 partizioni richiede 28 slot.
La modalità in tempo reale supporta origini e destinazioni basate su Kafka, destinazioni foreach a livello di riga e la maggior parte degli operatori di streaming, inclusi quelli con stato. Questa tabella riassume il supporto attuale su Databricks. Consulta la guida di riferimento alla modalità in tempo reale per l'elenco completo.
| Area | Supportato | Non supportato |
|---|---|---|
| Origini | Apache Kafka, AWS MSK, Amazon Kinesis, Event Hubs tramite il connettore Kafka | Tabelle Delta come origine |
| Destinazioni | Kafka, foreach (ForeachWriter) | Tabelle Delta, foreachBatch |
| Modalità di output | Update | Append, complete |
| Operatori senza stato | Proiezioni, filtri, UDF, join stream-static | Nessuno di rilievo |
| Operatori con stato | Aggregazioni, finestre a intervalli fissi e scorrevoli, deduplicazione, transformWithState (basato su righe) | Finestre di sessione, transformWithStateInPandas, timer basati sul tempo degli eventi |
| Compute (Databricks) | Compute classico, pipeline Lakeflow su classico o serverless | Notebook e processi serverless, Free Edition |
Tabella 1. Supporto della modalità in tempo reale su Databricks. Origine: Riferimento alla modalità in tempo reale di Databricks.
Per salvare i risultati della modalità in tempo reale in una tabella Delta, scrivili su Kafka ed esegui una query micro-batch separata da Kafka a Delta.
La modalità in tempo reale è generalmente disponibile su Databricks e viene distribuita nelle varie release open source di Apache Spark. Su Databricks, è generalmente disponibile dal 19 marzo 2026, inclusi gli operatori con stato e transformWithState.
| Release | Funzionalità introdotte |
|---|---|
| Apache Spark 4.1 | Modalità in tempo reale per query Scala senza stato |
| Apache Spark 4.2 | Trigger della modalità in tempo reale PySpark |
| Apache Spark 4.3 | Operatori con stato: aggregazione, deduplicazione e transformWithState |
| Databricks (GA, marzo 2026) | Query con e senza stato, caricamento dello stato iniziale, supporto per le pipeline Lakeflow |
Tabella 2. Disponibilità della modalità in tempo reale. Origini: Note di rilascio di Spark 4.1.0, Documentazione della modalità in tempo reale di Apache Spark.
Nei benchmark pubblicati, la modalità in tempo reale raggiunge una latenza dell'ordine di pochi millisecondi per le query senza stato e di circa 140 ms p99 per le query con stato. La latenza effettiva dipende dall'origine, dagli operatori, dalle dimensioni dello stato, dalla destinazione e dalla capacità del cluster.
| Carico di lavoro | Latenza p99 pubblicata | Origine |
|---|---|---|
| Trasformazione senza stato | 3 ms | Benchmark di latenza Databricks |
| Join stream-static | 9 ms | Benchmark di latenza Databricks |
| Aggregazione con stato (calcolo delle feature) | 14 ms | Benchmark di latenza Databricks |
| dropDuplicates | 136 ms | Benchmark con stato di Databricks |
| Aggregazione a finestre | 139 ms | Benchmark con stato di Databricks |
| transformWithState | 141 ms | Benchmark con stato di Databricks |
Tabella 3. Risultati di latenza pubblicati per la modalità in tempo reale. Origini: repository latency-benchmarks e tutorial sulla modalità in tempo reale.
Per monitorare una query in esecuzione, utilizza le metriche di latenza della modalità in tempo reale, anziché la durata del batch. Le metriche sulla durata del batch non riflettono la latenza end-to-end e la metrica end-to-end riportata esclude il tempo di scrittura della destinazione. Vedi ottimizzazione e monitoraggio delle prestazioni della modalità in tempo reale.
In produzione, MakeMyTrip ha ridotto la latenza P50 da circa 1,23 secondi a 44 ms e la P99 da oltre un minuto a circa 500 ms, ottenendo un incremento del 7% dei tassi di click-through.
Usa gli operatori di streaming standard per l'aggregazione e la de-duplicazione, e usa transformWithState per la logica personalizzata per chiave. Lo stato risiede all'interno dell'attività in esecuzione prolungata, quindi il lavoro con stato rimane sul percorso a bassa latenza. Imposta un watermark in modo che Spark possa rilasciare il vecchio stato.
Per la logica con stato personalizzata in Python, usa l'API basata su righe transformWithState, che richiede Databricks Runtime 17.3 LTS o versioni successive. La variante pandas, transformWithStateInPandas, non è supportata in Real-Time Mode. Vedi creare un'applicazione con stato personalizzata.
Usa Real-Time Mode quando l'azione aziendale deve avvenire entro un secondo, e usa un trigger più economico quando non è necessario. Real-Time Mode viene eseguito continuamente su risorse di calcolo dedicate, quindi il suo costo è costante.
Quando secondi o minuti sono accettabili, il micro-batch o il trigger availableNow sono la scelta migliore e costano meno. Poiché il codice è lo stesso, puoi iniziare con un trigger più economico e cambiare in seguito.
Sì, per la maggior parte dei carichi di lavoro. Real-Time Mode offre a Spark la latenza in millisecondi che un tempo rendeva Apache Flink la scelta predefinita per lo streaming operativo, mantenendo un unico motore per batch, SQL e machine learning. Nel benchmark di Databricks, Real-Time Mode ha eguagliato Flink sul lavoro senza stato e ha avuto una latenza p99 inferiore sull'aggregazione con stato e sui join stream-static, che Databricks ha riassunto come fino al 92% più veloce. Per un confronto completo, leggi Apache Spark vs Apache Flink.
Databricks è stata fondata dai creatori originali di Apache Spark ed esegue Real-Time Mode come funzionalità generalmente disponibile. Oltre a Spark open source, aggiunge:
Il codice scritto per Spark open source viene eseguito su Databricks senza modifiche. Per provarlo, segui il tutorial di Apache Spark: Real-Time Mode.
Databricks Real-Time Mode è un trigger di Structured Streaming che elabora i record continuamente man mano che arrivano anziché in micro-batch. Porta lo streaming di Spark a una latenza end-to-end dell'ordine dei millisecondi senza riscrivere il codice.
No. L'elaborazione continua era una modalità sperimentale precedente con supporto limitato per gli operatori. Real-Time Mode è un nuovo design con attività in esecuzione prolungata, pianificazione delle pipeline e uno shuffle di streaming, e supporta gli operatori con stato.
Sì. Su Databricks, Databricks Real-Time Mode supporta aggregazioni, de-duplicazione e transformWithState oggi. In Apache Spark open source, il supporto con stato arriva con Spark 4.3.
Non direttamente. Real-Time Mode scrive su Kafka o su un sink foreach. Per inserire i risultati in una tabella Delta, esegui una query micro-batch separata da Kafka a Delta.
Databricks Real-Time Mode viene eseguito su risorse di calcolo classiche e in Lakeflow Spark Declarative Pipelines, incluse le pipeline serverless. Non viene eseguito in notebook o processi serverless, quindi non è disponibile nei notebook di Databricks Free Edition.
Inizia con Real-Time Mode su Databricks
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.