Mode Real-Time dans Structured Streaming d'Apache Spark^™

RTM élimine le besoin de maintenir un moteur de streaming distinct en offrant des performances comparables ou supérieures, de manière native au sein de l'écosystème Spark.

RTM a traité les événements jusqu'à 92 % plus rapidement que Flink lors de benchmarks basés sur les modèles de calcul de features des clients. Puisqu'il utilise l'API Spark habituelle, les équipes évitent la duplication de code et la dérive logique associées à l'utilisation d'architectures à deux moteurs.

RTM dispose d'un collecteur (sink) Lakebase natif qui permet aux pipelines de transmettre directement les résultats dans le service Postgres géré par Databricks. Il élimine le besoin de créer des pipelines reverse-ETL personnalisés en gérant automatiquement le pooling de connexions, le regroupement par lots et l'idempotence. Chaque écriture est traitée comme un upsert sur une clé définie, garantissant que les applications opérationnelles et les tableaux de bord en aval puissent lire instantanément des données fraîches sans erreurs de réconciliation.

RTM est conçu pour les applications opérationnelles sensibles à la latence, où une décision retardée est une mauvaise décision, notamment :

• Scoring de fraude et de risque : Évaluation du risque des transactions par carte bancaire ou des connexions avant la validation d'un paiement.
• Personnalisation en direct : Recalcul immédiat des recommandations et des offres de produits dès qu'un utilisateur clique ou navigue.
• Surveillance de l'IoT et de la télémétrie : Ingestion des données d'appareils en direct pour déclencher des alertes proactives en temps réel au lieu d'attendre le prochain intervalle de traitement par lots.

Si vous utilisez déjà Structured Streaming, vous pouvez l'activer avec une seule mise à jour de configuration

spark.databricks.streaming.realTimeMode.enabled = true

et en appliquant le déclencheur RealTime à votre requête ou flux de streaming. Aucune réécriture majeure du code n'est nécessaire.