Como o Real-Time Mode traz latência de milissegundos para o Spark Structured Streaming com a alteração de uma única linha de gatilho e quando usá-lo.
O Real-Time Mode é um gatilho para o Apache Spark™ Structured Streaming que processa cada registro assim que ele chega, em vez de esperar pelo próximo micro-batch. Ele reduz a latência ponta a ponta do streaming do Spark de segundos para milissegundos, usando o mesmo mecanismo e as mesmas APIs que você já usa para streaming em lote e micro-batch.
Antes do Real-Time Mode, as equipes que precisavam de respostas em menos de um segundo frequentemente adicionavam um segundo mecanismo exclusivo para stream. O Real-Time Mode elimina essa necessidade para a maioria das cargas de trabalho. Você altera o gatilho em uma consulta existente e o Spark a executa continuamente.
O Real-Time Mode substitui o agendamento de micro-batch por tarefas de longa execução que continuam lendo e processando dados. Uma consulta de micro-batch aguarda um limite de lote, agenda tarefas e executa um shuffle de bloqueio entre os estágios, o que define um limite mínimo de latência de aproximadamente um segundo. O Real-Time Mode remove essa sobrecarga com três alterações, explicadas em profundidade em Como quebrar a barreira do micro-batch: a arquitetura do Real-Time Mode do Apache Spark.
O intervalo do gatilho controla com que frequência o Spark confirma um ponto de verificação (checkpoint) e relata o progresso. Ele não controla quanto tempo um registro espera. Os registros fluem pela tarefa de longa execução o tempo todo, e os pontos de verificação são confirmados em segundo plano.
Altere o gatilho em uma consulta do Structured Streaming para realTime e defina o modo de saída de atualização (update output mode). O resto da consulta permanece o mesmo.
O intervalo mínimo do gatilho é de 5 segundos, e cinco minutos é uma configuração de produção comum. No Databricks, ative o Real-Time Mode na computação clássica executando o Databricks Runtime 16.4 LTS ou posterior, com o Photon, o dimensionamento automático e as instâncias spot desativados, e defina spark.databricks.streaming.realTimeMode.enabled como true. Você também pode executá-lo na computação sem servidor (serverless) dentro do Lakeflow Spark Declarative Pipelines no modo contínuo.
Dimensione para cada estágio de uma vez. Como todos os estágios são executados concorrentemente, o cluster precisa de um slot de tarefa para cada tarefa na consulta. Uma fonte do Kafka com 8 partições mais um shuffle com 20 partições precisa de 28 slots.
O Real-Time Mode oferece suporte a fontes e receptores (sinks) baseados no Kafka, receptores foreach baseados em linhas e à maioria dos operadores de streaming, incluindo os com estado (stateful). Esta tabela resume o suporte atual no Databricks. Consulte a referência do Real-Time Mode para ver a lista completa.
| Área | Suportado | Não suportado |
|---|---|---|
| Fontes | Apache Kafka, AWS MSK, Amazon Kinesis, Event Hubs via o conector do Kafka | Tabelas Delta como fonte |
| Receptores (Sinks) | Kafka, foreach (ForeachWriter) | Tabelas Delta, foreachBatch |
| Modo de saída | Update | Append, complete |
| Operadores sem estado (Stateless) | Projeções, filtros, UDFs, junções (joins) stream-static | Nenhum digno de nota |
| Operadores com estado (Stateful) | Agregações, janelas deslizantes e de salto (tumbling e sliding), desduplicação, transformWithState (baseado em linha) | Janelas de sessão, transformWithStateInPandas, temporizadores de tempo de evento (event-time timers) |
| Computação (Databricks) | Computação clássica, Lakeflow pipelines em computação clássica ou sem servidor (serverless) | Notebooks e jobs sem servidor (serverless), Edição Gratuita |
Tabela 1. Suporte ao Real-Time Mode no Databricks. Fonte: Referência do Real-Time Mode do Databricks.
Para gravar os resultados do Real-Time Mode em uma tabela Delta, grave-os no Kafka e execute uma consulta de micro-batch separada do Kafka para o Delta.
O Real-Time Mode está geralmente disponível no Databricks e está sendo lançado em todas as versões de código aberto do Apache Spark. No Databricks, ele está geralmente disponível desde 19 de março de 2026, incluindo operadores com estado e transformWithState.
| Versão | O que foi adicionado |
|---|---|
| Apache Spark 4.1 | Real-Time Mode para consultas Scala sem estado |
| Apache Spark 4.2 | Gatilho do PySpark para o Real-Time Mode |
| Apache Spark 4.3 | Operadores com estado: agregação, desduplicação e transformWithState |
| Databricks (GA, março de 2026) | Consultas com e sem estado, carregamento de estado inicial, suporte a Lakeflow pipeline |
Tabela 2. Disponibilidade do Real-Time Mode. Fontes: Notas de lançamento do Spark 4.1.0, Documentação do Real-Time Mode do Apache Spark.
O Real-Time Mode atinge latência de milissegundos de dígito único para consultas sem estado e aproximadamente 140 ms p99 para consultas com estado em benchmarks publicados. A latência real depende da fonte, dos operadores, do tamanho do estado, do receptor e da capacidade do cluster.
| Carga de trabalho | Latência p99 publicada | Fonte |
|---|---|---|
| Transformação sem estado | 3 ms | Benchmark de latência do Databricks |
| Junção stream-static | 9 ms | Benchmark de latência do Databricks |
| Agregação com estado (computação de recursos) | 14 ms | Benchmark de latência do Databricks |
| dropDuplicates | 136 ms | Benchmark com estado do Databricks |
| Agregação de janela | 139 ms | Benchmark com estado do Databricks |
| transformWithState | 141 ms | Benchmark com estado do Databricks |
Tabela 3. Resultados publicados de latência do Real-Time Mode. Fontes: repositório latency-benchmarks e o tutorial do Real-Time Mode.
Para monitorar uma consulta em execução, use as métricas de latência do Real-Time Mode, e não a duração do lote. As métricas de duração do lote não refletem a latência ponta a ponta, e a métrica ponta a ponta relatada exclui o tempo de gravação no receptor. Consulte otimizar e monitorar o desempenho do Real-Time Mode.
Em produção, a MakeMyTrip reduziu a latência P50 de cerca de 1,23 segundo para 44 ms e a P99 de mais de um minuto para cerca de 500 ms, o que impulsionou um aumento de 7% nas taxas de cliques.
Use os operadores de streaming padrão para agregação e desduplicação, e use transformWithState para lógica personalizada por chave. O estado fica dentro da tarefa de execução longa, portanto, o trabalho com estado permanece no caminho de baixa latência. Defina uma marca d'água (watermark) para que o Spark possa liberar o estado antigo.
Para lógica com estado personalizada em Python, use a API transformWithState baseada em linhas, que requer o Databricks Runtime 17.3 LTS ou posterior. A variante do pandas, transformWithStateInPandas, não é compatível com o Real-Time Mode. Consulte criar um aplicativo com estado personalizado.
Use o Real-Time Mode quando a ação de negócio precisar acontecer em até um segundo, e use um acionador mais barato quando isso não for necessário. O Real-Time Mode é executado continuamente em computação dedicada, portanto, o custo é constante.
Quando segundos ou minutos são aceitáveis, o micro-batch ou o acionador availableNow é a melhor escolha e custa menos. Como o código é o mesmo, você pode começar com um acionador mais barato e mudar depois.
Sim, para a maioria das cargas de trabalho. O Real-Time Mode oferece ao Spark a latência de milissegundos que antes tornava o Apache Flink o padrão para streaming operacional, mantendo um único motor para lote, SQL e machine learning. No benchmark da Databricks, o Real-Time Mode igualou o Flink em trabalhos sem estado e teve menor latência p99 em agregação com estado e junções stream-static, o que a Databricks resume como até 92% mais rápido. Para uma comparação completa, leia Apache Spark vs Apache Flink.
A Databricks foi fundada pelos criadores originais do Apache Spark e executa o Real-Time Mode como um recurso geralmente disponível. Além do Spark de código aberto, ele adiciona:
O código escrito para o Spark de código aberto é executado no Databricks sem alterações. Para testá-lo, siga o tutorial do Apache Spark: Real-Time Mode.
O Databricks Real-Time Mode é um acionador do Structured Streaming que processa registros continuamente à medida que chegam, em vez de em micro-batches. Ele reduz o streaming do Spark a uma latência de ponta a ponta de milissegundos, sem precisar reescrever o código.
Não. O processamento contínuo era um modo experimental anterior com suporte limitado a operadores. O Real-Time Mode é um novo design com tarefas de execução longa, agendamento de pipeline e um shuffle de streaming, e oferece suporte a operadores com estado.
Sim. No Databricks, o Databricks Real-Time Mode oferece suporte a agregações, desduplicação e transformWithState hoje. No Apache Spark de código aberto, o suporte a estado chega com o Spark 4.3.
Não diretamente. O Real-Time Mode grava no Kafka ou em um coletor (sink) foreach. Para salvar os resultados em uma tabela Delta, execute uma consulta de micro-batch separada do Kafka para o Delta.
O Databricks Real-Time Mode é executado em computação clássica e no Lakeflow Spark Declarative Pipelines, incluindo pipelines serverless. Ele não é executado em notebooks ou jobs serverless, portanto não está disponível nos notebooks do Databricks Free Edition.
Comece a usar o Real-Time Mode no Databricks
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.