Como o Spark Real-Time Mode muda a decisão sobre streaming, com benchmarks de latência, comparação de recursos e um guia para escolher um mecanismo.
Para a maioria das equipes, o Apache Spark™ é a melhor escolha. O Spark executa ETL em lote, análises SQL, machine learning e streaming em um único mecanismo, e o Real-Time Mode agora traz o streaming do Spark para uma latência de ponta a ponta na faixa de milissegundos. O Apache Flink é um mecanismo nativo de streaming adequado para cargas de trabalho especializadas de processamento de eventos, mas escolhê-lo geralmente significa executar um segundo mecanismo junto ao Spark.
A diferença de latência costumava ser o principal motivo pelo qual as equipes adicionavam o Flink. Com o Real-Time Mode, esse motivo praticamente desapareceu, e a verdadeira questão passa a ser quantos mecanismos você deseja construir, operar e governar.
O Spark é um mecanismo unificado para lote, streaming, SQL e IA, enquanto o Flink é um processador de streaming especializado. Ambos são projetos open source da Apache Software Foundation com processamento exatamente uma vez (exactly-once), operadores com estado e APIs SQL. A diferença está no escopo.
O Spark começou como um mecanismo em lote e adicionou o Structured Streaming, que trata um fluxo como uma tabela em constante crescimento. O mesmo código DataFrame e SQL é executado como um trabalho em lote agendado, um fluxo de micro-lote ou um fluxo do Real-Time Mode. O Flink foi projetado primariamente para streaming e trata o lote como um fluxo delimitado.
Esta tabela compara os dois mecanismos nas dimensões que normalmente determinam a escolha.
| Dimensão | Apache Spark | Apache Flink |
|---|---|---|
| Escopo do mecanismo | Unificado: lote, streaming, SQL, preparação de dados de ML e IA | Focado em streaming, com o lote tratado como um fluxo delimitado |
| Latência de streaming | Segundos com micro-lote, milissegundos com o Real-Time Mode | Milissegundos |
| Lote e ETL em larga escala | Padrão da indústria para lotes em escala de petabytes | Suportado, menos comum na prática |
| Linguagens | Python, SQL, Scala, Java, além de clientes Go, Rust e Swift via Spark Connect | Java, SQL, Python (PyFlink) |
| Processamento com estado | Agregação, desduplicação, joins, transformWithState, armazenamento de estado RocksDB | Estado chaveado, temporizadores (timers), estado dessagregado (ForSt) no Flink 2.x |
| Processamento de eventos complexos | Lógica personalizada com transformWithState | Biblioteca CEP integrada e SQL MATCH_RECOGNIZE |
| Machine learning e IA | MLlib, pipelines de recursos, busca vetorial em SQL, preparação de dados para LLM | ML nativo limitado, geralmente combinado com outro sistema |
| Integração com o lakehouse | Leitura e gravação nativas no Delta Lake e Apache Iceberg | Conectores para o Iceberg e outros formatos |
| Opções gerenciadas | Databricks, AWS EMR e Glue, Google Cloud, Microsoft Fabric | AWS, Confluent, Ververica e outros |
Tabela 1. Comparação entre o Apache Spark e o Apache Flink. Fontes: Documentação do Apache Spark Real-Time Mode, Lançamento do Apache Flink 2.0 e Documentação do Flink CEP.
No benchmark publicado pelo Databricks, o Spark Real-Time Mode empatou com o Flink em trabalhos sem estado (stateless) e apresentou menor latência p99 em agregações com estado e joins entre stream e estático. O código do benchmark é público, utiliza cargas de trabalho de computação de recursos derivadas de clientes e é executado a 10.000 registros por segundo durante 30 minutos, medindo a latência de entrada a saída do Kafka. O Databricks resume os resultados como sendo até 92% mais rápido que o Flink.
| Carga de trabalho | Spark Real-Time Mode p99 | Apache Flink p99 |
|---|---|---|
| Transformação sem estado | 3 ms | 3 ms |
| Agregação com estado | 14 ms | 45 ms |
| Join entre stream e estático | 9 ms | 95 ms |
Como interpretar esses números: O Databricks executou o benchmark. O Spark foi executado no Databricks e o Flink foi executado no AWS Managed Service for Apache Flink 1.18. Os resultados comparam a pior execução do Spark com a melhor execução do Flink. Considere-os como evidências para esses padrões de carga de trabalho e teste seu próprio pipeline antes de tomar uma decisão.
Os resultados em produção contam a mesma história. A MakeMyTrip avaliou o Flink, escolheu o Spark Real-Time Mode para evitar um segundo mecanismo e reduziu a latência P50 para 44 ms e a P99 de mais de um minuto para cerca de 500 ms. A Coinbase e a DraftKings também executam o Real-Time Mode em produção. Para entender como o mecanismo consegue isso, leia Superando a barreira dos micro-lotes.
Basta alterar o gatilho (trigger). O Real-Time Mode é um gatilho em uma consulta de Structured Streaming existente, permitindo que o mesmo código transite entre diferentes níveis de latência sem a necessidade de reescrita.
O Real-Time Mode exige o modo de saída de atualização (update output mode) e realiza leitura e gravação no Kafka ou em um coletor (sink) foreach a nível de linha. Operadores com estado chegam ao open source com o Apache Spark 4.3 e já estão disponíveis em geral no Databricks hoje. No Databricks, ele é executado em computação clássica ou em Lakeflow Spark Declarative Pipelines. Consulte a referência do Real-Time Mode para conferir a matriz completa de suporte.
O Flink pode ser a melhor opção para um conjunto restrito de cargas de trabalho especializadas de streaming. Considere-o quando a maioria das seguintes afirmações for verdadeira:
Se o fluxo também alimenta análises, recursos de ML ou tabelas de lakehouse, o Spark evita a duplicação de lógica, operações e governança em dois mecanismos.
Cada segundo mecanismo adiciona uma segunda base de código, um segundo conjunto de habilidades e um segundo conjunto de regras de governança. As equipes que combinam o Spark para lotes com o Flink para streaming geralmente reescrevem a mesma lógica de negócios duas vezes e depuram desvios (drift) entre elas.
Os pipelines também podem ser declarados em vez de configurados manualmente. O Spark Declarative Pipelines gerencia dependências e atualização incremental para tabelas de streaming.
O Databricks foi fundado pelos criadores originais do Apache Spark e executa o modo em tempo real como um recurso geralmente disponível, incluindo operadores com estado e transformWithState. Ele adiciona o Lakeflow Spark Declarative Pipelines, governança do Unity Catalog e pipelines sem servidor. O código escrito para o Spark de código aberto é executado no Databricks sem alterações. Para começar, siga o tutorial do Apache Spark: modo em tempo real.
No benchmark publicado pelo Databricks, o Spark no modo em tempo real equiparou-se ao Flink em cargas de trabalho sem estado e apresentou menor latência p99 em agregações com estado e junções stream-static. Os resultados dependem da carga de trabalho, portanto, teste o seu próprio pipeline.
Não apenas. O Spark Structured Streaming usa micro-lotes por padrão, e o modo em tempo real processa registros continuamente com latência de milissegundos. Você escolhe por consulta definindo o gatilho.
Para a maioria das cargas de trabalho, não. O modo em tempo real oferece ao Spark latência de milissegundos no mesmo mecanismo que você usa para lote, SQL e ML, permitindo executar um único sistema em vez de dois.
O Flink pode se adequar a cargas de trabalho especializadas, como estados com chaves muito grandes, processamento de eventos complexos ou para equipes que já operam uma plataforma Flink para fluxos independentes.
Sim. A maior parte da lógica do Flink SQL e DataStream mapeia para Spark SQL e DataFrames no Structured Streaming, e o modo em tempo real cobre o caminho de baixa latência. Comece com jobs sem estado e de agregação, e depois mova a lógica com estado para o transformWithState.
Comece a usar o modo em tempo real no Databricks
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.