Cosa sono le applicazioni continue?

Le applicazioni continue sono applicazioni end-to-end che reagiscono ai dati in tempo reale. Per gli sviluppatori sarebbe auspicabile utilizzare un'unica interfaccia di programmazione per supportare i vari aspetti delle applicazioni continue che attualmente sono gestiti in sistemi separati, come l'esecuzione di query o l'interazione con i batch job. Le applicazioni continue sono in grado di gestire, tra gli altri, i seguenti casi d'uso:

• Aggiornamento dei dati che verranno serviti in tempo reale. Lo sviluppatore potrebbe scrivere una singola applicazione Spark che gestisce sia gli aggiornamenti sia il servizio (ad esempio attraverso il server JDBC di Spark), oppure utilizzare un'API che esegue automaticamente aggiornamenti transazionali su un sistema di servizio come MySQL, Redis o Apache Cassandra.
• Estrazione, trasformazione e caricamento dei dati (ETL). Lo sviluppatore dovrebbe semplicemente elencare le trasformazioni richieste come in un batch job, e il sistema di streaming gestirebbe il coordinamento con entrambi i sistemi di archiviazione per garantire l'elaborazione exactly-once.
• Creare una versione in tempo reale di un batch job esistente. Il sistema di streaming garantirebbe risultati sempre coerenti in un batch job sugli stessi dati.
• Machine learning online. La libreria di machine learning (MLlib) sarebbe progettata per combinare l'addestramento in tempo reale, l'addestramento periodico in batch e il servizio di predizione usando la stessa API.

Risorse aggiuntive

• Scrivere applicazioni continue con l'API di streaming strutturato PySpark
• Problemi e novità nella costruzione di applicazioni continue
• Applicazioni continue su una scala di 100 team con Databricks Delta e lo streaming strutturato