In che modo Spark Real-Time Mode cambia le decisioni sullo streaming, con benchmark di latenza, un confronto delle funzionalità e una guida alla scelta del motore.
Per la maggior parte dei team, Apache Spark™ è la scelta migliore. Spark esegue ETL batch, analisi SQL, machine learning e streaming su un unico motore, e la Real-Time Mode ora porta lo streaming di Spark a una latenza end-to-end dell'ordine dei millisecondi. Apache Flink è un motore nativo per lo streaming adatto a carichi di lavoro di elaborazione eventi specializzati, ma sceglierlo di solito significa dover gestire un secondo motore insieme a Spark.
Il divario di latenza era solitamente il motivo principale per cui i team aggiungevano Flink. Con la Real-Time Mode, questo motivo è in gran parte venuto meno e la vera domanda diventa quanti motori desideri costruire, gestire e governare.
Spark è un motore unificato per batch, streaming, SQL e IA, mentre Flink è un elaboratore di streaming specializzato. Entrambi sono progetti open source della Apache Software Foundation con elaborazione esattamente-una-volta, operatori con stato e API SQL. La differenza sta nell'ambito.
Spark è nato come motore batch e ha aggiunto Structured Streaming, che tratta uno streaming come una tabella in continua crescita. Lo stesso codice DataFrame e SQL viene eseguito come job batch pianificato, streaming a micro-batch o streaming in Real-Time Mode. Flink è stato progettato principalmente per lo streaming e tratta il batch come uno streaming delimitato.
Questa tabella confronta i due motori sulle dimensioni che di solito guidano la scelta.
| Dimensione | Apache Spark | Apache Flink |
|---|---|---|
| Ambito del motore | Unificato: batch, streaming, SQL, preparazione dati per ML e IA | Principalmente streaming, con batch come streaming delimitato |
| Latenza dello streaming | Secondi con i micro-batch, millisecondi con la Real-Time Mode | Millisecondi |
| Batch ed ETL su larga scala | Standard industriale per batch su scala petabyte | Supportato, meno comune nella pratica |
| Linguaggi | Python, SQL, Scala, Java, oltre a client Go, Rust e Swift tramite Spark Connect | Java, SQL, Python (PyFlink) |
| Elaborazione con stato | Aggregazione, deduplicazione, join, transformWithState, archivio di stato RocksDB | Stato con chiave, timer, stato disaggregato (ForSt) in Flink 2.x |
| Complex event processing | Logica personalizzata con transformWithState | Libreria CEP integrata e SQL MATCH_RECOGNIZE |
| Machine learning e IA | MLlib, pipeline di feature, ricerca vettoriale in SQL, preparazione dati per LLM | ML nativo limitato, solitamente abbinato a un altro sistema |
| Integrazione Lakehouse | Lettura e scrittura native per Delta Lake e Apache Iceberg | Connettori per Iceberg e altri formati |
| Opzioni gestite | Databricks, AWS EMR e Glue, Google Cloud, Microsoft Fabric | AWS, Confluent, Ververica e altri |
Tabella 1. Confronto tra Apache Spark e Apache Flink. Fonti: Documentazione di Apache Spark Real-Time Mode, Rilascio di Apache Flink 2.0 e Documentazione di Flink CEP.
Nel benchmark pubblicato da Databricks, la Real-Time Mode di Spark ha eguagliato Flink nei carichi di lavoro senza stato e ha ottenuto una latenza p99 inferiore su aggregazioni con stato e join stream-static. Il codice del benchmark è pubblico, utilizza carichi di lavoro di calcolo delle feature derivati dai clienti ed esegue 10.000 record al secondo per 30 minuti, misurando la latenza da input a output di Kafka. Databricks ha riassunto i risultati come fino al 92% più veloci di Flink.
| Carico di lavoro | Spark Real-Time Mode p99 | Apache Flink p99 |
|---|---|---|
| Trasformazione senza stato | 3 ms | 3 ms |
| Aggregazione con stato | 14 ms | 45 ms |
| Join stream-static | 9 ms | 95 ms |
Come leggere questi dati: Databricks ha eseguito il benchmark. Spark è stato eseguito su Databricks e Flink su AWS Managed Service for Apache Flink 1.18. I risultati confrontano l'esecuzione peggiore di Spark con quella migliore di Flink. Considerali come prove per questi pattern di carico di lavoro e testa la tua pipeline prima di prendere una decisione.
I risultati di produzione raccontano la stessa storia. MakeMyTrip ha preso in considerazione Flink, ha scelto la Real-Time Mode di Spark per evitare un secondo motore e ha ridotto la latenza P50 a 44 ms e la P99 da oltre un minuto a circa 500 ms. Anche Coinbase e DraftKings eseguono la Real-Time Mode in produzione. Per scoprire come il motore raggiunge questo risultato, leggi Breaking the microbatch barrier.
Basta cambiare il trigger. La Real-Time Mode è un trigger su una query Structured Streaming esistente, quindi lo stesso codice si sposta tra i vari livelli di latenza senza bisogno di essere riscritto.
La Real-Time Mode richiede la modalità di output di aggiornamento e legge/scrive da Kafka o da un sink foreach a livello di riga. Gli operatori con stato arrivano nell'open source con Apache Spark 4.3 e sono oggi disponibili a livello generale su Databricks. Su Databricks, viene eseguito su compute classico o in Lakeflow Spark Declarative Pipelines. Consulta la guida di riferimento della Real-Time Mode per la matrice di supporto completa.
Flink può rivelarsi la scelta ideale per un gruppo ristretto di carichi di lavoro di streaming specializzati. Prendilo in considerazione quando la maggior parte di queste condizioni è vera:
Se lo streaming alimenta anche analisi, feature di ML o tabelle lakehouse, Spark evita la duplicazione di logica, operazioni e governance su due motori.
Ogni secondo motore aggiunge una seconda codebase, un secondo set di competenze e un secondo insieme di regole di governance. I team che abbinano Spark per il batch a Flink per lo streaming spesso finiscono per riscrivere la stessa logica di business due volte e fare il debugging delle discrepanze tra di esse.
È inoltre possibile dichiarare le pipeline anziché configurarle manualmente. Spark Declarative Pipelines gestisce le dipendenze e l'aggiornamento incrementale per le tabelle di streaming.
Databricks è stata fondata dai creatori originali di Apache Spark ed esegue la modalità in tempo reale come funzionalità disponibile a livello generale, inclusi gli operatori con stato e transformWithState. Aggiunge Lakeflow Spark Declarative Pipelines, la governance di Unity Catalog e pipeline serverless. Il codice scritto per Spark open source viene eseguito su Databricks senza modifiche. Per iniziare, segui il tutorial di Apache Spark: Modalità in tempo reale.
Nel benchmark pubblicato da Databricks, la modalità in tempo reale di Spark ha eguagliato Flink sui carichi di lavoro senza stato e ha ottenuto una latenza p99 inferiore sull'aggregazione con stato e sui join stream-static. I risultati dipendono dal carico di lavoro, quindi esegui un benchmark sulla tua pipeline.
Non solo. Spark Structured Streaming utilizza i micro-batch come impostazione predefinita e la modalità in tempo reale elabora i record in modo continuo con una latenza dell'ordine dei millisecondi. Puoi scegliere in base alla query impostando il trigger.
Per la maggior parte dei carichi di lavoro, no. La modalità in tempo reale offre a Spark una latenza dell'ordine dei millisecondi sullo stesso motore che usi per batch, SQL e machine learning, consentendoti di utilizzare un solo sistema anziché due.
Flink può essere adatto a carichi di lavoro specializzati come stati con chiave molto grandi, elaborazione di eventi complessi o team che utilizzano già una piattaforma Flink per flussi indipendenti.
Sì. La maggior parte della logica Flink SQL e DataStream si mappa su Spark SQL e DataFrames in Structured Streaming, e la modalità in tempo reale copre il percorso a bassa latenza. Inizia con i job senza stato e di aggregazione, quindi sposta la logica con stato su transformWithState.
Inizia con la modalità in tempo reale su Databricks
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.