Revenir au contenu principal

Mode temps réel dans Apache Spark Structured Streaming

Traitez les données en millisecondes sur Spark API sans avoir à gérer un second moteur spécialisé

Data pipeline running 2 Kafka sinks, 404K records.

Traiter les données en streaming en quelques millisecondes sur du Serverless compute

Le Mode temps réel (RTM) offre une latence de l'ordre de la milliseconde avec les Spark APIs familières, éliminant ainsi le besoin de moteurs distincts comme Apache Flink. En prenant en charge le traitement en continu, le RTM atteint une latence aussi faible que 5 ms pour les charges de travail critiques. Intégré en mode natif dans les pipelines déclaratifs d'Apache Spark™, il garantit aux équipes de données des performances extrêmes et les avantages des services entièrement managés, notamment l'exécution sans version, les mises à niveau automatisées de l'infrastructure et une maintenance avec un temps d'arrêt faible ou nul.

Débloquer les charges de travail opérationnelles avec un moteur d'exécution unifié

Minimize logic drift and codebase duplication

Réduisez le drift logique et la duplication de la base de code

Utilisez la même Spark API pour l'entraînement batch à monter en charge et l'inférence en temps réel à très faible latence. RTM offre une évolutivité transparente, vous permettant de passer de pipelines par batch horaires à un streaming en continu grâce à une simple modification de code, ce qui élimine entièrement le besoin d'architectures complexes à double moteur.

Spark RTM mostly has lower latency than Flink.

Traitez les événements jusqu'à 92 % plus rapidement que Flink

RTM est conçu pour une prise de décision en moins d'une seconde, ce qui le rend particulièrement efficace dans des cas d'utilisation comme la détection de fraude en direct et la personnalisation en temps réel. Grâce à un flux de données continu, à la planification de pipeline et aux mélanges de données en streaming, RTM atteint des latences P99 strictes comprises entre 40 et 300 ms, même pour les charges de travail opérationnelles les plus exigeantes.

POUR APPROFONDIR

En savoir plus sur le Mode Temps réel

Produits connexes

En savoir plus

Explorez d'autres offres intelligentes et intégrées sur la Data Intelligence Platform.

Pipelines déclaratifs Apache Spark™

Simplifiez l'ETL par batch et en streaming grâce à la qualité de données automatisée, la change data capture (CDC), l'acquisition et la transformation des données, ainsi que la gouvernance unifiée.

Genie Code

Créez et gérez des pipelines de données avec une IA agentique qui comprend vos données.

Zerobus Ingest

Envoyez des données d'événement directement dans votre lakehouse en quasi-temps réel. L'API d'écriture directe réduit votre charge opérationnelle avec un throughput élevé et des performances pour Monter en charge.

Unity Catalog

Encadrez sans problème tous vos assets de données avec la seule solution de gouvernance unifiée et ouverte de l'industrie pour les données et l'IA, intégrée à la Databricks Data Intelligence Platform

Prêts à devenir une entreprise 
axée sur les données et l'IA ?

Faites le premier pas de votre transformation