Ir para o conteúdo principal

Modo de tempo real no Apache Spark Structured Streaming

Processe dados em milissegundos na Spark API sem precisar manter um segundo mecanismo especializado

Data pipeline running 2 Kafka sinks, 404K records.

Processe dados de transmissão em milissegundos em compute Serverless

O Mode em Tempo Real (RTM) oferece latência de milissegundos com as conhecidas Spark API, eliminando a necessidade de mecanismos separados como o Apache Flink. Ao suportar o processamento contínuo, o RTM alcança uma latência de apenas 5 ms para cargas de trabalho de tempo crítico. Nativamente integrado aos Pipelines Declarativos do Apache Spark™, garante que as equipes de dados alcancem um desempenho extremo e os benefícios de serviços totalmente gerenciados, incluindo execução sem versão, atualizações de infraestrutura automatizadas e manutenção com tempo de inatividade baixo ou zero.

Viabilize cargas de trabalho operacionais com um mecanismo de execução unificado

Minimize logic drift and codebase duplication

Minimize o drift de lógica e a duplicação da base de código

Use a mesma Spark API para treinamento em lotes de grande escala e inferência em tempo real de latência ultrabaixa. O RTM permite uma escalabilidade perfeita, permitindo que você alterne pipelines de lotes horários para transmissão contínua com uma única alteração de código, eliminando completamente a necessidade de arquiteturas complexas de mecanismo duplo.

Spark RTM mostly has lower latency than Flink.

Processe eventos até 92% mais rápido que o Flink

O RTM foi projetado para a tomada de decisões em menos de um segundo, gerando impacto em casos de uso como detecção de fraudes e personalização em tempo real. Por meio de fluxo de dados contínuo, agendamento de pipeline e shuffles de transmissão, o RTM atinge latências P99 rigorosas entre 40 ms e 300 ms em cargas de trabalho operacionais exigentes.

Mergulhe mais fundo

Saiba mais sobre o Mode em tempo real

Produtos relacionados

Descubra mais

Explore outras ofertas integradas e inteligentes na plataforma de inteligência de dados.

Pipelines Declarativos do Apache Spark™

Simplifique o ETL em lotes e transmissão com qualidade de dados automatizada, captura de dados de alterações (CDC), ingestão de dados, transformações e governança unificada.

Genie Code

Desenvolva e mantenha pipelines de dados com uma IA agêntica que entende seus dados.

Zerobus Ingest

Envie dados de eventos diretamente para seu lakehouse quase em tempo real. A API de gravação direta reduz sua carga operacional com alto throughput e desempenho em escala.

Unity Catalog

Governe sem esforço todos os seus ativos de dados com a única solução de governança unificada e aberta do setor para dados e AI, integrada à Databricks Data Intelligence Platform.

Pronto para se tornar uma 
empresa de dados + AI?

Dê os primeiros passos em sua transformação