O que são aplicações contínuas?

As aplicações contínuas são aplicações de ponta a ponta que reagem aos dados em tempo real. Em especial, os desenvolvedores querem usar uma única interface de programação para dar suporte às facetas das aplicações contínuas que atualmente são tratadas em sistemas separados, como o serviço de queries ou a interação com trabalhos em lotes. Veja abaixo um exemplo de abaixo que podem lidar com os seguintes casos de uso.

• Atualização de dados que serão veiculados em tempo real. O desenvolvedor escreve uma única aplicação do Spark para manipular atualizações e serviço (por exemplo, por meio do servidor JDBC do Spark) ou usa uma API que executa automaticamente atualizações transacionais em um sistema de serviço como MySQL, Redis ou Apache Cassandra.
• Extrair, Transformar e Carregar (ETL). O desenvolvedor simplesmente lista as transformações necessárias como em um trabalho em lote, e o sistema de streaming trata da coordenação com ambos os sistemas de armazenamento para garantir que sejam processados apenas uma vez.
• Criar uma versão em tempo real de um trabalho em lote existente. O sistema de streaming garante que os resultados sejam sempre consistentes com um trabalho em lote nos mesmos dados.
• Machine learning online. A biblioteca de machine learning é projetada para combinar treinamento em tempo real, treinamento em batch periódico e previsão, tudo alimentado pela mesma API.

Recursos adicionais

• Escrevendo aplicações contínuas com API PySpark de streaming estruturado
• Dificuldades e avanços na construção de aplicações contínuas
• Aplicações contínuas em escala de 100 equipes com Databricks Delta e streaming estruturado