Ir para o conteúdo principal

O que é o Modo em Tempo Real no Apache Spark?

Como o Real-Time Mode traz latência de milissegundos para o Spark Structured Streaming com a alteração de uma única linha de gatilho e quando usá-lo.

por Equipe da Databricks

  • O Databricks Real-Time Mode é um gatilho do Spark Structured Streaming que processa registros à medida que chegam, proporcionando latência de ponta a ponta na faixa de milissegundos.
  • Você o ativa alterando apenas uma linha de gatilho. A origem, as transformações e o ponto de verificação continuam os mesmos, portanto, nenhuma reescrita é necessária.
  • Use-o para detecção de fraudes, personalização e recursos de IA em tempo real, áreas em que o Spark agora atende a requisitos de latência que antes exigiam o Apache Flink.

O Real-Time Mode é um gatilho para o Apache Spark™ Structured Streaming que processa cada registro assim que ele chega, em vez de esperar pelo próximo micro-batch. Ele reduz a latência ponta a ponta do streaming do Spark de segundos para milissegundos, usando o mesmo mecanismo e as mesmas APIs que você já usa para streaming em lote e micro-batch.

Antes do Real-Time Mode, as equipes que precisavam de respostas em menos de um segundo frequentemente adicionavam um segundo mecanismo exclusivo para stream. O Real-Time Mode elimina essa necessidade para a maioria das cargas de trabalho. Você altera o gatilho em uma consulta existente e o Spark a executa continuamente.

Como funciona o Real-Time Mode?

O Real-Time Mode substitui o agendamento de micro-batch por tarefas de longa execução que continuam lendo e processando dados. Uma consulta de micro-batch aguarda um limite de lote, agenda tarefas e executa um shuffle de bloqueio entre os estágios, o que define um limite mínimo de latência de aproximadamente um segundo. O Real-Time Mode remove essa sobrecarga com três alterações, explicadas em profundidade em Como quebrar a barreira do micro-batch: a arquitetura do Real-Time Mode do Apache Spark.

Diagrama das três inovações do Real-Time Mode: fluxo contínuo de dados, agendamento de pipeline de todos os estágios de uma só vez e um streaming shuffle sem bloqueio entre os estágios.
Figura 1. O Real-Time Mode combina fluxo contínuo de dados, agendamento de pipeline e um streaming shuffle para que os registros se movam da fonte para o receptor sem esperar pelos limites de lote.
Linha do tempo comparando a execução de micro-batch do Spark com lacunas entre lotes com o Real-Time Mode, onde tarefas de longa execução processam registros continuamente entre pontos de verificação.
Figura 2. O micro-batch aguarda limites de lote e shuffles de bloqueio. O Real-Time Mode executa estágios continuamente e faz checkpoints em segundo plano.

O intervalo do gatilho controla com que frequência o Spark confirma um ponto de verificação (checkpoint) e relata o progresso. Ele não controla quanto tempo um registro espera. Os registros fluem pela tarefa de longa execução o tempo todo, e os pontos de verificação são confirmados em segundo plano.

Como faço para ativar o Real-Time Mode?

Altere o gatilho em uma consulta do Structured Streaming para realTime e defina o modo de saída de atualização (update output mode). O resto da consulta permanece o mesmo.

O intervalo mínimo do gatilho é de 5 segundos, e cinco minutos é uma configuração de produção comum. No Databricks, ative o Real-Time Mode na computação clássica executando o Databricks Runtime 16.4 LTS ou posterior, com o Photon, o dimensionamento automático e as instâncias spot desativados, e defina spark.databricks.streaming.realTimeMode.enabled como true. Você também pode executá-lo na computação sem servidor (serverless) dentro do Lakeflow Spark Declarative Pipelines no modo contínuo.

Dimensione para cada estágio de uma vez. Como todos os estágios são executados concorrentemente, o cluster precisa de um slot de tarefa para cada tarefa na consulta. Uma fonte do Kafka com 8 partições mais um shuffle com 20 partições precisa de 28 slots.

O que o Real-Time Mode suporta?

O Real-Time Mode oferece suporte a fontes e receptores (sinks) baseados no Kafka, receptores foreach baseados em linhas e à maioria dos operadores de streaming, incluindo os com estado (stateful). Esta tabela resume o suporte atual no Databricks. Consulte a referência do Real-Time Mode para ver a lista completa.

ÁreaSuportadoNão suportado
FontesApache Kafka, AWS MSK, Amazon Kinesis, Event Hubs via o conector do KafkaTabelas Delta como fonte
Receptores (Sinks)Kafka, foreach (ForeachWriter)Tabelas Delta, foreachBatch
Modo de saídaUpdateAppend, complete
Operadores sem estado (Stateless)Projeções, filtros, UDFs, junções (joins) stream-staticNenhum digno de nota
Operadores com estado (Stateful)Agregações, janelas deslizantes e de salto (tumbling e sliding), desduplicação, transformWithState (baseado em linha)Janelas de sessão, transformWithStateInPandas, temporizadores de tempo de evento (event-time timers)
Computação (Databricks)Computação clássica, Lakeflow pipelines em computação clássica ou sem servidor (serverless)Notebooks e jobs sem servidor (serverless), Edição Gratuita

Tabela 1. Suporte ao Real-Time Mode no Databricks. Fonte: Referência do Real-Time Mode do Databricks.

Para gravar os resultados do Real-Time Mode em uma tabela Delta, grave-os no Kafka e execute uma consulta de micro-batch separada do Kafka para o Delta.

Qual versão do Spark suporta o Real-Time Mode?

O Real-Time Mode está geralmente disponível no Databricks e está sendo lançado em todas as versões de código aberto do Apache Spark. No Databricks, ele está geralmente disponível desde 19 de março de 2026, incluindo operadores com estado e transformWithState.

VersãoO que foi adicionado
Apache Spark 4.1Real-Time Mode para consultas Scala sem estado
Apache Spark 4.2Gatilho do PySpark para o Real-Time Mode
Apache Spark 4.3Operadores com estado: agregação, desduplicação e transformWithState
Databricks (GA, março de 2026)Consultas com e sem estado, carregamento de estado inicial, suporte a Lakeflow pipeline

Tabela 2. Disponibilidade do Real-Time Mode. Fontes: Notas de lançamento do Spark 4.1.0, Documentação do Real-Time Mode do Apache Spark.

Qual é a velocidade do Real-Time Mode?

O Real-Time Mode atinge latência de milissegundos de dígito único para consultas sem estado e aproximadamente 140 ms p99 para consultas com estado em benchmarks publicados. A latência real depende da fonte, dos operadores, do tamanho do estado, do receptor e da capacidade do cluster.

Carga de trabalhoLatência p99 publicadaFonte
Transformação sem estado3 msBenchmark de latência do Databricks
Junção stream-static9 msBenchmark de latência do Databricks
Agregação com estado (computação de recursos)14 msBenchmark de latência do Databricks
dropDuplicates136 msBenchmark com estado do Databricks
Agregação de janela139 msBenchmark com estado do Databricks
transformWithState141 msBenchmark com estado do Databricks

Tabela 3. Resultados publicados de latência do Real-Time Mode. Fontes: repositório latency-benchmarks e o tutorial do Real-Time Mode.

Para monitorar uma consulta em execução, use as métricas de latência do Real-Time Mode, e não a duração do lote. As métricas de duração do lote não refletem a latência ponta a ponta, e a métrica ponta a ponta relatada exclui o tempo de gravação no receptor. Consulte otimizar e monitorar o desempenho do Real-Time Mode.

Em produção, a MakeMyTrip reduziu a latência P50 de cerca de 1,23 segundo para 44 ms e a P99 de mais de um minuto para cerca de 500 ms, o que impulsionou um aumento de 7% nas taxas de cliques.

Gráfico de barras mostrando a latência P50 da MakeMyTrip caindo de cerca de 1,23 segundo para 44 ms e a P99 de mais de um minuto para cerca de 500 ms com o Spark Real-Time Mode.
Figura 3. A MakeMyTrip reduziu a latência P50 de cerca de 1,23 segundo para 44 ms e a P99 de mais de um minuto para cerca de 500 ms após adotar o Real-Time Mode.
EBOOK

Principais conclusões sobre sistemas multiagentes, casos de uso de IA, avaliações e muito mais

Como uso o estado no Real-Time Mode?

Use os operadores de streaming padrão para agregação e desduplicação, e use transformWithState para lógica personalizada por chave. O estado fica dentro da tarefa de execução longa, portanto, o trabalho com estado permanece no caminho de baixa latência. Defina uma marca d'água (watermark) para que o Spark possa liberar o estado antigo.

Para lógica com estado personalizada em Python, use a API transformWithState baseada em linhas, que requer o Databricks Runtime 17.3 LTS ou posterior. A variante do pandas, transformWithStateInPandas, não é compatível com o Real-Time Mode. Consulte criar um aplicativo com estado personalizado.

Quando devo usar o Real-Time Mode?

Use o Real-Time Mode quando a ação de negócio precisar acontecer em até um segundo, e use um acionador mais barato quando isso não for necessário. O Real-Time Mode é executado continuamente em computação dedicada, portanto, o custo é constante.

  • Pontuação de risco e fraude. A DraftKings usa o Real-Time Mode com transformWithState para detecção de fraudes em apostas esportivas ao vivo.
  • Personalização e recomendações. A MakeMyTrip fornece resultados de hotéis personalizados com latência P50 de 44 ms.
  • Recursos de IA em tempo real e contexto de agentes. O mesmo pipeline calcula recursos para treinamento de modelos e inferência online, e mantém os agentes de IA abastecidos com os eventos mais recentes.
  • Alertas operacionais e monitoramento de IoT. Sinais de sensores e de segurança acionam ações em milissegundos.

Quando segundos ou minutos são aceitáveis, o micro-batch ou o acionador availableNow é a melhor escolha e custa menos. Como o código é o mesmo, você pode começar com um acionador mais barato e mudar depois.

O Real-Time Mode é uma alternativa ao Apache Flink?

Sim, para a maioria das cargas de trabalho. O Real-Time Mode oferece ao Spark a latência de milissegundos que antes tornava o Apache Flink o padrão para streaming operacional, mantendo um único motor para lote, SQL e machine learning. No benchmark da Databricks, o Real-Time Mode igualou o Flink em trabalhos sem estado e teve menor latência p99 em agregação com estado e junções stream-static, o que a Databricks resume como até 92% mais rápido. Para uma comparação completa, leia Apache Spark vs Apache Flink.

Real-Time Mode no Databricks

A Databricks foi fundada pelos criadores originais do Apache Spark e executa o Real-Time Mode como um recurso geralmente disponível. Além do Spark de código aberto, ele adiciona:

  • Real-Time Mode com estado hoje: agregações, desduplicação e transformWithState com carregamento de estado inicial
  • Lakeflow Spark Declarative Pipelines: fluxos em tempo real em computação clássica ou serverless
  • Unity Catalog: governança e linhagem para tabelas em tempo real e em lote

O código escrito para o Spark de código aberto é executado no Databricks sem alterações. Para testá-lo, siga o tutorial do Apache Spark: Real-Time Mode.

FAQs

O que é o Real-Time Mode no Spark?

O Databricks Real-Time Mode é um acionador do Structured Streaming que processa registros continuamente à medida que chegam, em vez de em micro-batches. Ele reduz o streaming do Spark a uma latência de ponta a ponta de milissegundos, sem precisar reescrever o código.

O Real-Time Mode é o mesmo que processamento contínuo?

Não. O processamento contínuo era um modo experimental anterior com suporte limitado a operadores. O Real-Time Mode é um novo design com tarefas de execução longa, agendamento de pipeline e um shuffle de streaming, e oferece suporte a operadores com estado.

O Real-Time Mode oferece suporte a operações com estado?

Sim. No Databricks, o Databricks Real-Time Mode oferece suporte a agregações, desduplicação e transformWithState hoje. No Apache Spark de código aberto, o suporte a estado chega com o Spark 4.3.

O Real-Time Mode pode gravar no Delta Lake?

Não diretamente. O Real-Time Mode grava no Kafka ou em um coletor (sink) foreach. Para salvar os resultados em uma tabela Delta, execute uma consulta de micro-batch separada do Kafka para o Delta.

O Real-Time Mode é executado em serverless ou Free Edition?

O Databricks Real-Time Mode é executado em computação clássica e no Lakeflow Spark Declarative Pipelines, incluindo pipelines serverless. Ele não é executado em notebooks ou jobs serverless, portanto não está disponível nos notebooks do Databricks Free Edition.

Comece a usar o Real-Time Mode no Databricks

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.