Passa al contenuto principale

Che cos'è la modalità in tempo reale in Apache Spark?

Scopri come Real-Time Mode introduce la latenza in millisecondi in Spark Structured Streaming con la modifica di un singolo trigger e quando utilizzarlo.

di Staff di Databricks

  • Databricks Real-Time Mode è un trigger di Spark Structured Streaming che elabora i record man mano che arrivano, garantendo una latenza end-to-end dell'ordine dei millisecondi.
  • Lo attivi modificando una sola riga di trigger. La sorgente, le trasformazioni e il checkpoint rimangono gli stessi, quindi non è necessario riscrivere il codice.
  • Usalo per il rilevamento delle frodi, la personalizzazione e le funzionalità di IA in tempo reale, laddove ora Spark copre una latenza che prima richiedeva Apache Flink.

La modalità in tempo reale è un trigger per Apache Spark™ Structured Streaming che elabora ciascun record non appena arriva, anziché attendere il micro-batch successivo. Riduce la latenza end-to-end dello streaming di Spark da secondi a millisecondi, sullo stesso motore e con le stesse API già utilizzate per lo streaming batch e micro-batch.

Prima della modalità in tempo reale, i team che necessitavano di risposte inferiori al secondo spesso aggiungevano un secondo motore dedicato esclusivamente allo streaming. La modalità in tempo reale elimina tale requisito per la maggior parte dei carichi di lavoro. Basta modificare il trigger di una query esistente e Spark la eseguirà in modo continuo.

Come funziona la modalità in tempo reale?

La modalità in tempo reale sostituisce la pianificazione dei micro-batch con attività a esecuzione prolungata che continuano a leggere ed elaborare i dati. Una query micro-batch attende il limite di un batch, pianifica le attività ed esegue uno shuffle bloccante tra le fasi, il che imposta una soglia minima di latenza di circa un secondo. La modalità in tempo reale rimuove tale overhead con tre modifiche, descritte in dettaglio in Superamento della barriera dei micro-batch: l'architettura della modalità in tempo reale di Apache Spark.

Diagramma delle tre innovazioni della modalità in tempo reale: flusso di dati continuo, pianificazione della pipeline di tutte le fasi contemporaneamente e shuffle di streaming non bloccante tra le fasi.
Figura 1. La modalità in tempo reale unisce flusso di dati continuo, pianificazione della pipeline e streaming shuffle in modo che i record si spostino dall'origine alla destinazione senza attendere i limiti dei batch.
Timeline che confronta l'esecuzione dei micro-batch di Spark con gli intervalli tra i batch rispetto alla modalità in tempo reale, in cui le attività a esecuzione prolungata elaborano i record continuamente tra un checkpoint e l'altro.
Figura 2. Il micro-batch attende i confini dei batch e gli shuffle bloccanti. La modalità in tempo reale esegue le fasi continuamente ed effettua i checkpoint in background.

L'intervallo di trigger controlla la frequenza con cui Spark esegue il commit di un checkpoint e segnala l'avanzamento. Non controlla il tempo di attesa di un record. I record fluiscono attraverso l'attività a esecuzione prolungata per tutto il tempo e i checkpoint vengono eseguiti in background.

Come si attiva la modalità in tempo reale?

Modifica il trigger di una query Structured Streaming impostandolo su realTime e definisci la modalità di output su update. Il resto della query rimane invariato.

L'intervallo di trigger minimo è di 5 secondi e cinque minuti rappresentano un'impostazione comune in produzione. Su Databricks, attiva la modalità in tempo reale sul compute classico che esegue Databricks Runtime 16.4 LTS o versioni successive, con Photon, autoscaling e istanze spot disattivati, e imposta spark.databricks.streaming.realTimeMode.enabled su true. Puoi anche eseguirla sul compute serverless all'interno di Lakeflow Spark Declarative Pipelines in modalità continua.

Dimensiona tutte le fasi contemporaneamente. Poiché tutte le fasi vengono eseguite in modo concorrente, il cluster richiede uno slot di attività per ogni task nella query. Un'origine Kafka con 8 partizioni più uno shuffle con 20 partizioni richiede 28 slot.

Cosa supporta la modalità in tempo reale?

La modalità in tempo reale supporta origini e destinazioni basate su Kafka, destinazioni foreach a livello di riga e la maggior parte degli operatori di streaming, inclusi quelli con stato. Questa tabella riassume il supporto attuale su Databricks. Consulta la guida di riferimento alla modalità in tempo reale per l'elenco completo.

AreaSupportatoNon supportato
OriginiApache Kafka, AWS MSK, Amazon Kinesis, Event Hubs tramite il connettore KafkaTabelle Delta come origine
DestinazioniKafka, foreach (ForeachWriter)Tabelle Delta, foreachBatch
Modalità di outputUpdateAppend, complete
Operatori senza statoProiezioni, filtri, UDF, join stream-staticNessuno di rilievo
Operatori con statoAggregazioni, finestre a intervalli fissi e scorrevoli, deduplicazione, transformWithState (basato su righe)Finestre di sessione, transformWithStateInPandas, timer basati sul tempo degli eventi
Compute (Databricks)Compute classico, pipeline Lakeflow su classico o serverlessNotebook e processi serverless, Free Edition

Tabella 1. Supporto della modalità in tempo reale su Databricks. Origine: Riferimento alla modalità in tempo reale di Databricks.

Per salvare i risultati della modalità in tempo reale in una tabella Delta, scrivili su Kafka ed esegui una query micro-batch separata da Kafka a Delta.

Quale versione di Spark supporta la modalità in tempo reale?

La modalità in tempo reale è generalmente disponibile su Databricks e viene distribuita nelle varie release open source di Apache Spark. Su Databricks, è generalmente disponibile dal 19 marzo 2026, inclusi gli operatori con stato e transformWithState.

ReleaseFunzionalità introdotte
Apache Spark 4.1Modalità in tempo reale per query Scala senza stato
Apache Spark 4.2Trigger della modalità in tempo reale PySpark
Apache Spark 4.3Operatori con stato: aggregazione, deduplicazione e transformWithState
Databricks (GA, marzo 2026)Query con e senza stato, caricamento dello stato iniziale, supporto per le pipeline Lakeflow

Tabella 2. Disponibilità della modalità in tempo reale. Origini: Note di rilascio di Spark 4.1.0, Documentazione della modalità in tempo reale di Apache Spark.

Quanto è veloce la modalità in tempo reale?

Nei benchmark pubblicati, la modalità in tempo reale raggiunge una latenza dell'ordine di pochi millisecondi per le query senza stato e di circa 140 ms p99 per le query con stato. La latenza effettiva dipende dall'origine, dagli operatori, dalle dimensioni dello stato, dalla destinazione e dalla capacità del cluster.

Carico di lavoroLatenza p99 pubblicataOrigine
Trasformazione senza stato3 msBenchmark di latenza Databricks
Join stream-static9 msBenchmark di latenza Databricks
Aggregazione con stato (calcolo delle feature)14 msBenchmark di latenza Databricks
dropDuplicates136 msBenchmark con stato di Databricks
Aggregazione a finestre139 msBenchmark con stato di Databricks
transformWithState141 msBenchmark con stato di Databricks

Tabella 3. Risultati di latenza pubblicati per la modalità in tempo reale. Origini: repository latency-benchmarks e tutorial sulla modalità in tempo reale.

Per monitorare una query in esecuzione, utilizza le metriche di latenza della modalità in tempo reale, anziché la durata del batch. Le metriche sulla durata del batch non riflettono la latenza end-to-end e la metrica end-to-end riportata esclude il tempo di scrittura della destinazione. Vedi ottimizzazione e monitoraggio delle prestazioni della modalità in tempo reale.

In produzione, MakeMyTrip ha ridotto la latenza P50 da circa 1,23 secondi a 44 ms e la P99 da oltre un minuto a circa 500 ms, ottenendo un incremento del 7% dei tassi di click-through.

Grafico a barre che mostra la latenza P50 di MakeMyTrip in calo da circa 1,23 secondi a 44 ms e la P99 da oltre un minuto a circa 500 ms con la modalità in tempo reale di Spark.
Figura 3. MakeMyTrip ha ridotto la latenza P50 da circa 1,23 secondi a 44 ms e la P99 da oltre un minuto a circa 500 ms dopo aver adottato la modalità in tempo reale.
Report

Il playbook sull'AI agentiva per l'enterprise

Come si utilizza lo stato nella modalità in tempo reale?

Usa gli operatori di streaming standard per l'aggregazione e la de-duplicazione, e usa transformWithState per la logica personalizzata per chiave. Lo stato risiede all'interno dell'attività in esecuzione prolungata, quindi il lavoro con stato rimane sul percorso a bassa latenza. Imposta un watermark in modo che Spark possa rilasciare il vecchio stato.

Per la logica con stato personalizzata in Python, usa l'API basata su righe transformWithState, che richiede Databricks Runtime 17.3 LTS o versioni successive. La variante pandas, transformWithStateInPandas, non è supportata in Real-Time Mode. Vedi creare un'applicazione con stato personalizzata.

Quando dovrei usare Real-Time Mode?

Usa Real-Time Mode quando l'azione aziendale deve avvenire entro un secondo, e usa un trigger più economico quando non è necessario. Real-Time Mode viene eseguito continuamente su risorse di calcolo dedicate, quindi il suo costo è costante.

  • Punteggio di frode e rischio. DraftKings usa Real-Time Mode con transformWithState per il rilevamento delle frodi nelle scommesse sportive dal vivo.
  • Personalizzazione e raccomandazioni. MakeMyTrip offre risultati di hotel personalizzati con una latenza P50 di 44 ms.
  • Funzionalità di IA in tempo reale e contesto degli agenti. La stessa pipeline calcola le funzionalità per l'addestramento del modello e l'inferenza online, e mantiene gli agenti di IA riforniti degli ultimi eventi.
  • Avvisi operativi e monitoraggio IoT. I segnali dei sensori e di sicurezza attivano azioni in millisecondi.

Quando secondi o minuti sono accettabili, il micro-batch o il trigger availableNow sono la scelta migliore e costano meno. Poiché il codice è lo stesso, puoi iniziare con un trigger più economico e cambiare in seguito.

Real-Time Mode è un'alternativa ad Apache Flink?

Sì, per la maggior parte dei carichi di lavoro. Real-Time Mode offre a Spark la latenza in millisecondi che un tempo rendeva Apache Flink la scelta predefinita per lo streaming operativo, mantenendo un unico motore per batch, SQL e machine learning. Nel benchmark di Databricks, Real-Time Mode ha eguagliato Flink sul lavoro senza stato e ha avuto una latenza p99 inferiore sull'aggregazione con stato e sui join stream-static, che Databricks ha riassunto come fino al 92% più veloce. Per un confronto completo, leggi Apache Spark vs Apache Flink.

Real-Time Mode su Databricks

Databricks è stata fondata dai creatori originali di Apache Spark ed esegue Real-Time Mode come funzionalità generalmente disponibile. Oltre a Spark open source, aggiunge:

  • Real-Time Mode con stato oggi: aggregazioni, de-duplicazione e transformWithState con caricamento dello stato iniziale
  • Lakeflow Spark Declarative Pipelines: flussi in tempo reale su risorse di calcolo classiche o serverless
  • Unity Catalog: governance e lineage per tabelle in tempo reale e batch

Il codice scritto per Spark open source viene eseguito su Databricks senza modifiche. Per provarlo, segui il tutorial di Apache Spark: Real-Time Mode.

Domande frequenti

Cos'è Real-Time Mode in Spark?

Databricks Real-Time Mode è un trigger di Structured Streaming che elabora i record continuamente man mano che arrivano anziché in micro-batch. Porta lo streaming di Spark a una latenza end-to-end dell'ordine dei millisecondi senza riscrivere il codice.

Real-Time Mode è uguale all'elaborazione continua?

No. L'elaborazione continua era una modalità sperimentale precedente con supporto limitato per gli operatori. Real-Time Mode è un nuovo design con attività in esecuzione prolungata, pianificazione delle pipeline e uno shuffle di streaming, e supporta gli operatori con stato.

Real-Time Mode supporta le operazioni con stato?

Sì. Su Databricks, Databricks Real-Time Mode supporta aggregazioni, de-duplicazione e transformWithState oggi. In Apache Spark open source, il supporto con stato arriva con Spark 4.3.

Real-Time Mode può scrivere su Delta Lake?

Non direttamente. Real-Time Mode scrive su Kafka o su un sink foreach. Per inserire i risultati in una tabella Delta, esegui una query micro-batch separata da Kafka a Delta.

Real-Time Mode viene eseguito su serverless o Free Edition?

Databricks Real-Time Mode viene eseguito su risorse di calcolo classiche e in Lakeflow Spark Declarative Pipelines, incluse le pipeline serverless. Non viene eseguito in notebook o processi serverless, quindi non è disponibile nei notebook di Databricks Free Edition.

Inizia con Real-Time Mode su Databricks

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale

Ricevi gli ultimi articoli nella tua casella di posta

Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.