Modo em tempo real no Apache Spark™ Structured Streaming
Processe dados em milissegundos 100x mais rápido que o micro-batch do Spark sem precisar de um segundo mecanismo
Processe dados em streaming em milissegundos em computação serverless
O Real-Time Mode (RTM) oferece uma latência até 100x menor que o modo micro-batch do Spark para cargas de trabalho operacionais, eliminando a necessidade de mecanismos separados como o Apache Flink. Ao suportar o processamento contínuo, o RTM reduz a latência de ponta a ponta para até 5 ms em cargas de trabalho críticas. Integrado nativamente ao Apache Spark™ Declarative Pipelines, ele garante que as equipes de dados alcancem altíssimo desempenho e aproveitem os benefícios de serviços totalmente gerenciados, incluindo execução sem controle de versão, atualizações automatizadas de infraestrutura e manutenção com tempo de inatividade mínimo ou zero.
Desbloqueie cargas de trabalho operacionais com um mecanismo de execução unificado
Minimize a divergência de lógica e a duplicação de código
Use a mesma API do Spark para treinamento em lote em grande escala e inferência em tempo real com ultrabaixa latência. O RTM permite uma escalabilidade perfeita, possibilitando a transição de pipelines de lotes de hora em hora para streaming contínuo com apenas uma alteração de código, eliminando completamente a necessidade de arquiteturas complexas de mecanismo duplo.
Processe eventos até 92% mais rápido que o Flink
O RTM foi projetado para tomadas de decisão em milissegundos, gerando impacto em casos de uso como detecção de fraudes em tempo real e personalização ao vivo. Por meio de fluxo de dados contínuo, agendamento de pipelines e shuffles de streaming, o RTM atinge latências P99 rigorosas entre 40 ms e 300 ms em cargas de trabalho operacionais exigentes.
Ofereça latência até 100x menor que o micro-batch
Passe de um ETL em escala de minutos para streaming operacional em milissegundos com uma simples mudança de configuração em uma única linha. Para cargas de trabalho compatíveis, o RTM oferece uma latência até 100x menor do que o micro-batch padrão, permitindo alimentar aplicações dentro do mesmo ecossistema Spark.
Saiba mais sobre o Real-Time Mode
Descubra mais
Explore outras ofertas integradas e inteligentes na Databricks Data + AI Platform.
Apache Spark™ Declarative Pipelines
Simplifique o ETL em lote e streaming com qualidade de dados automatizada, captura de alterações de dados (CDC), ingestão de dados, transformação e governança unificada.
Genie Code
Crie e mantenha pipelines de dados com IA agêntica que entende seus dados.
Zerobus Ingest
Envie dados de eventos diretamente para seu lakehouse em tempo quase real. A API de gravação direta reduz sua carga operacional com alto rendimento e desempenho em escala.
Unity Catalog
Governe perfeitamente todos os seus ativos de dados com a única solução de governança aberta e unificada para dados e IA do setor, integrada à Databricks Data + AI Platform.
Dê o próximo passo
Primeiros passos com o Real-Time Mode
Assista a um vídeo curto para saber como o Real-Time Mode dá suporte a aplicações de missão crítica com latência abaixo de um segundo.
Tutorial: execute uma carga de trabalho de streaming em tempo real
Saiba como executar consultas de streaming em tempo real no Databricks com latência de ponta a ponta de até 5 ms.
Perguntas frequentes sobre o Real-Time Mode (RTM)
O Real-Time Mode é uma evolução do Apache Spark Structured Streaming que oferece latência 100x menor do que a execução em micro-batch do Spark..
Ao utilizar o agendamento de pipelines para executar etapas de consulta simultaneamente e shuffles de streaming para passar dados imediatamente entre tarefas, ele elimina gargalos de latência.
Essa arquitetura oferece latência até 100x menor do que o modo micro-batch do Spark para cargas de trabalho operacionais de streaming compatíveis, reduzindo o processamento de segundos para milissegundos, com latência de ponta a ponta de até 5 milissegundos.
Pronto para se tornar uma empresa baseada em dados + IA?
Dê os primeiros passos em sua transformação