Ir para o conteúdo principal

O que é streaming estruturado?

Aprenda a processar dados em tempo real usando as mesmas APIs do Spark que você usa para processamento em lote.

10 Personas Application Development

Summary

  • Entenda o que é Structured Streaming e como ele fornece uma API de alto nível para processamento de fluxos no Apache Spark.
  • Aprenda como converter jobs em lote em streaming com alterações mínimas de código para reduzir a latência e otimizar o processamento incremental.
  • Explore como o Structured Streaming simplifica o processamento de dados em tempo real usando as mesmas APIs estruturadas do Spark que você já conhece.

O streaming estruturado é uma API de alto nível para processamento de dados por streaming que ficou pronta para produção no Spark 2.2. Com o streaming estruturado, é possível realizar as mesmas operações em formato de streaming que você realiza no modo batch usando as APIs estruturadas do Spark. Isso permite menor latência e processamento incremental. O maior benefício do streaming estruturado é que você pode extrair rapidamente valor do seu sistema de streaming praticamente sem alterações de código. Também facilita a inferência, porque você pode escrever um trabalho em batch como protótipo e convertê-lo em um job de streaming. Isso é possível processando os dados de maneira incremental.

UM LÍDER 5X

Gartner®: Databricks, líder em banco de dados em nuvem

Recursos adicionais

Nunca perca uma postagem da Databricks

Inscreva-se nas categorias de seu interesse e receba as últimas postagens na sua caixa de entrada