O que é streaming estruturado?
Aprenda a processar dados em tempo real usando as mesmas APIs do Spark que você usa para processamento em lote.
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
- Entenda o que é Structured Streaming e como ele fornece uma API de alto nível para processamento de fluxos no Apache Spark.
- Aprenda como converter jobs em lote em streaming com alterações mínimas de código para reduzir a latência e otimizar o processamento incremental.
- Explore como o Structured Streaming simplifica o processamento de dados em tempo real usando as mesmas APIs estruturadas do Spark que você já conhece.
O streaming estruturado é uma API de alto nível para processamento de dados por streaming que ficou pronta para produção no Spark 2.2. Com o streaming estruturado, é possível realizar as mesmas operações em formato de streaming que você realiza no modo batch usando as APIs estruturadas do Spark. Isso permite menor latência e processamento incremental. O maior benefício do streaming estruturado é que você pode extrair rapidamente valor do seu sistema de streaming praticamente sem alterações de código. Também facilita a inferência, porque você pode escrever um trabalho em batch como protótipo e convertê-lo em um job de streaming. Isso é possível processando os dados de maneira incremental.
Principais conclusões sobre sistemas multiagentes, casos de uso de IA, avaliações e muito mais
Receba os posts mais recentes na sua caixa de entrada
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.