La plupart des entreprises n'ont pas besoin d'une couche de serving en temps réel distincte. Découvrez comment évaluer les charges de travail en temps réel et fournir des analyses en quelques millisecondes directement sur votre lakehouse.
Les données ont toujours été au cœur de la prise de décision en entreprise, et la plupart des charges de travail analytiques ne sont pas particulièrement sensibles à la latence. Mais un nombre croissant de cas d'usage — tableaux de bord BI en temps réel, surveillance opérationnelle, journalisation, rapports en direct — nécessitent des informations qui reflètent ce qui se passe en ce moment même. C'est ce qu'on appelle l'analyse en temps réel, et cela devient une capacité essentielle.
Le « temps réel » peut désigner plusieurs choses. Les bus de messages déplacent les données entre les systèmes. Les processeurs de flux transforment les données à mesure qu'elles arrivent. Ces systèmes font partie de la plupart des architectures de données modernes, et beaucoup constituent déjà des sources de données dans les lakehouses et les moteurs d'analyse actuels.
La complexité s'accroît lorsqu'il s'agit d'interroger et d'analyser ces données en temps réel — ce qui implique généralement de déployer un moteur de rendu spécialisé comme Apache Druid, Apache Pinot ou ClickHouse, chacun disposant de ses propres copies de données, pipelines et règles de gouvernance. C'est une charge de travail supplémentaire considérable pour ce qui devrait être simplement une autre tâche analytique avec un profil de latence différent.
Il existe une meilleure approche. L'analyse en temps réel devrait être une fonctionnalité intégrée au lakehouse où vous exécutez déjà vos autres charges de travail analytiques. Découvrez ce que signifie réellement l'analyse en temps réel, comment identifier les charges de travail qui en ont vraiment besoin, et comment une approche lakehouse fournit des informations rapides, gouvernées et en temps réel, sans la complexité liée à la multiplication des architectures.
L'analyse de données en temps réel permet aux entreprises d'analyser les données et de fournir des informations avec un délai minimal après la survenue des événements. Cependant, le « temps réel » ne répond pas à une exigence unique. Un moteur de recommandation destiné aux clients et un tableau de bord exécutif ont tous deux besoin de données à jour, mais leurs attentes en matière de vitesse et d'échelle sont très différentes.
Plutôt que d'aborder le temps réel de manière binaire, il est plus utile d'évaluer les charges de travail selon trois dimensions mesurables.

La fraîcheur mesure l'ancienneté de vos données lorsqu'elles sont interrogées : le temps qui s'écoule entre le moment où un événement se produit et celui où il devient disponible pour l'analyse. Un système de détection de la fraude peut nécessiter la disponibilité des transactions en moins d'une seconde. Un tableau de bord opérationnel rafraîchi chaque minute peut tout de même fournir des informations utiles et opportunes.
La latence mesure la rapidité avec laquelle le système répond après l'envoi d'une requête. Un tableau de bord peut afficher des données datant de quelques secondes à peine, mais si chaque requête met plusieurs secondes à répondre, les utilisateurs ne bénéficieront pas d'une expérience d'analyse en temps réel. Une faible latence est essentielle pour les tableaux de bord interactifs, les applications destinées aux clients, les API et les agents IA.
La concurrence mesure le nombre d'utilisateurs, d'applications ou de processus pouvant accéder simultanément aux données sans dégradation des performances. Les outils BI internes peuvent prendre en charge des centaines d'utilisateurs simultanés. Les applications destinées aux clients, l'analyse intégrée et les agents IA peuvent générer des milliers de requêtes simultanées.
Ensemble, ces trois dimensions définissent les exigences de toute charge de travail en temps réel et vous aident à déterminer si des capacités en temps réel sont réellement nécessaires.
La façon la plus simple de poser le problème : votre charge de travail nécessite-t-elle des informations en quelques millisecondes ou secondes, ou peut-elle attendre des minutes ou des heures ? L'analyse en temps réel concerne la première catégorie — tableaux de bord en direct, recommandations clients, surveillance opérationnelle et journalisation. L'analyse par lots couvre la seconde — rapports historiques, prévisions et analyses planifiées.
Approche | Latence typique | Idéal pour | Compromis |
Temps réel | De la milliseconde à quelques secondes | Tableaux de bord BI en direct, recommandations clients, surveillance opérationnelle, journalisation | Exigences de performance plus élevées ; nécessite un traitement à faible latence |
Par lots | De quelques minutes à plusieurs heures ou quotidiennement | Rapports historiques, prévisions, clôture financière | Plus efficace, mais les informations sont différées |
Si vous utilisez les deux — ce qui est le cas de la plupart des entreprises —, vous ne devriez pas avoir besoin de plusieurs outils, de plusieurs modèles de gouvernance et de plusieurs postures de sécurité pour y parvenir. Vous devriez pouvoir exécuter des analyses en temps réel et par lots depuis un seul endroit, sur une seule copie de vos données, avec un ensemble unique de contrôles.
Un cadre d'évaluation simple peut aider les équipes à déterminer où l'analyse en temps réel apporte le plus de valeur :

Le besoin d'analyse en temps réel varie selon le secteur d'activité, mais les schémas fondamentaux restent les mêmes : les entreprises doivent pouvoir interroger et explorer des données récentes sans subir la lourdeur liée au maintien d'une infrastructure temps réel séparée en plus de leur plateforme d'analyse existante.
Services financiers. Une analyse plus rapide permet de réduire les pertes financières, et la visibilité en temps réel sur les risques favorise de meilleures prises de décision dans les moments critiques. La détection des fraudes, l'analyse du trading et la surveillance des risques exigent une latence allant de la milliseconde à la seconde, avec une forte concurrence entre analystes, applications et systèmes automatisés.
Commerce de détail et e-commerce. Les acheteurs n'attendront pas des recommandations datant de la veille. La personnalisation, la tarification dynamique et l'optimisation des stocks exigent une fraîcheur allant de quelques secondes à quelques minutes avec une forte concurrence sur les applications destinées aux clients, ce qui se traduit directement par des taux de conversion plus élevés et moins de ruptures de stock.
Secteur industriel. Les usines génèrent d'énormes volumes de données issues de capteurs, et leur valeur baisse rapidement. La surveillance IoT, la maintenance prédictive et l'analyse opérationnelle reposent sur un traitement en quasi temps réel de flux de données volumineux afin de détecter les pannes d'équipement avant qu'elles ne provoquent des arrêts de production.
Santé. Des données retardées peuvent signifier des interventions retardées. La surveillance des patients, l'analyse opérationnelle et les informations cliniques nécessitent une latence de quelques secondes à quelques minutes avec des accès simultanés pour les équipes soignantes et les applications, favorisant des décisions opportunes qui améliorent la santé des patients.
Technologie et SaaS. La télémétrie produit, l'analyse client et les fonctionnalités basées sur l'IA génèrent une demande constante de données récentes avec une latence de la milliseconde à la seconde, pour un grand nombre d'utilisateurs simultanés. Les entreprises qui agissent en temps réel sur les signaux produits proposent de meilleures fonctionnalités, résolvent les incidents plus rapidement et offrent des expériences plus fluides.
Pour répondre aux besoins en temps réel, les entreprises ont généralement ajouté des couches de traitement spécialisées à côté de leurs plateformes de données existantes. Ces systèmes résolvent des problèmes spécifiques mais en créent de nouveaux : duplication des données, pipelines supplémentaires à maintenir, gouvernance fragmentée et charge opérationnelle croissante à chaque nouvelle charge de travail en temps réel.
Alors que le temps réel devient un élément central de l'analyse au quotidien et de l'IA, cette approche n'est plus viable à grande échelle. La gestion de plusieurs copies des mêmes données sur des systèmes temps réel séparés tels que ClickHouse, StarRocks, Apache Druid, Apache Pinot et SingleStore augmente à la fois la complexité et les coûts.
L' architecture lakehouse combine les meilleurs éléments d'un data lake et d'un data warehouse afin d'unifier les charges de travail analytiques sur une fondation unique et ouverte. En offrant un stockage évolutif, du calcul haute performance, des formats de table ouverts et une gouvernance centralisée, les entreprises peuvent prendre en charge les charges de travail de BI, de data engineering et d'IA sans avoir à maintenir des silos de données séparés.
La prochaine évolution étend cette fondation aux charges de travail en temps réel de manière native, offrant des performances de l'ordre de la milliseconde et une forte concurrence directement à partir des données gouvernées du lakehouse, sans nécessiter de couche de service séparée. Cela signifie que les entreprises peuvent prendre en charge l'analyse en temps réel aux côtés du data warehousing traditionnel sur la même plateforme, avec la même gouvernance et en utilisant les mêmes données.
Sur Databricks, Lakehouse//RT a été conçu pour combler cet écart. Il est alimenté par Reyden, un moteur de calcul spécialement conçu qui permet des performances d'analyse en temps réel directement sur les données gouvernées du lakehouse, sans qu'aucune couche de service séparée ne soit requise.
En pratique, cela signifie qu'une équipe du secteur de la distribution peut alimenter la personnalisation en temps réel à partir des mêmes données que ses analystes utilisent pour le reporting hebdomadaire. Une entreprise de services financiers peut exécuter des requêtes de détection de la fraude parallèlement à la modélisation des risques sans maintenir d'infrastructure parallèle. Et un agent IA peut récupérer un contexte frais et gouverné en quelques millisecondes à partir des mêmes tables qui alimentent les tableaux de bord de l'entreprise.
Lakehouse//RT ne remplace pas votre configuration Lakehouse existante. Il l'étend, en vous offrant des capacités en temps réel sur la fondation de données que vous avez déjà construite.
Capacité | Couche de service séparée (ClickHouse, Druid, etc.) | Lakehouse//RT |
Latence des requêtes | Millisecondes (sur une copie des données) | Millisecondes (sur les données gouvernées du lakehouse) |
Duplication des données | Requise (copie des données vers la couche de service) | Aucune (interroge directement les tables gouvernées du lakehouse) |
Gouvernance | Contrôles d'accès séparés | Unifiée via Unity Catalog |
Infrastructure supplémentaire | Oui (cluster dédié + ETL) | Étend le lakehouse existant (mêmes tables, même gouvernance) |
Concurrence | Varie selon le système | Jusqu'à 12 000 requêtes par seconde |
Les performances en temps réel ne dépendent pas seulement du choix du bon moteur de calcul. La manière dont vous organisez, interrogez et maintenez vos données joue un rôle tout aussi important.

Optimisez la disposition des données et la conception des tables. Utilisez des tables gérées pour simplifier la gestion des données. Appliquez des stratégies intelligentes de disposition des données comme le liquid clustering pour optimiser les modèles d'accès aux données. Tirez parti de l'optimisation automatique pour réduire la maintenance manuelle.
Concevez des modèles de requêtes efficaces. Les charges de travail en temps réel nécessitent des requêtes fréquentes sur des données fraîches, ce qui rend l'efficacité des requêtes essentielle. Minimisez les balayages de données inutiles, sélectionnez uniquement les données requises pour chaque charge de travail et optimisez les requêtes fréquemment utilisées en fonction des modèles d'utilisation réels.
Anticipez la concurrence dès le départ. Prenez en compte le volume de requêtes attendu, les exigences en matière de temps de réponse et les modèles d'utilisation dès le début. Les charges de travail en temps réel servent souvent plusieurs utilisateurs, applications et processus simultanément ; concevez donc votre système pour maintenir des performances constantes à mesure que la demande augmente.
Concevez pour les applications en aval et l'IA. L'analyse en temps réel alimente de plus en plus d'expériences au-delà des seuls tableaux de bord. Les applications, les API et les agents IA dépendent d'un accès opportun à des données gouvernées. Comprendre comment les données seront consommées vous aide à concevoir des charges de travail répondant aux exigences à la fois analytiques et opérationnelles.
Surveillez et optimisez au fil du temps. Les charges de travail en temps réel évoluent à mesure que les modèles d'utilisation, les volumes de données et les besoins de l'entreprise changent. Une surveillance continue vous aide à identifier les opportunités d'amélioration des performances, de gestion des coûts et de maintien de la fiabilité à grande échelle.
Vous n'avez pas besoin de passer toutes vos charges de travail en temps réel du jour au lendemain. Une approche progressive est préférable :
À mesure que les agents IA, les applications orientées client et les systèmes opérationnels continuent d'évoluer, la capacité à fournir des analyses gouvernées et performantes directement là où résident les données deviendra de plus en plus essentielle. Les entreprises qui s'appuient sur une fondation unifiée et flexible seront mieux positionnées pour s'adapter à l'émergence de nouvelles opportunités en temps réel.
En savoir plus sur Lakehouse//RT et contactez votre équipe commerciale pour découvrir les nouvelles opportunités que vous pouvez débloquer grâce à l'analyse en temps réel directement sur votre Lakehouse.
Poursuivre la lecture :
Foire aux questions sur l'analyse en temps réel
L'analyse en temps réel consiste à analyser les données et à fournir des informations quelques secondes ou millisecondes seulement après la survenance d'un événement. Contrairement à l'analyse par lots (batch), qui traite les données selon une planification définie (toutes les heures, tous les jours ou toutes les semaines), l'analyse en temps réel rend les nouvelles données disponibles pour les requêtes, les tableaux de bord, les applications et les systèmes automatisés dès leur arrivée. Les exigences de vitesse varient selon les charges de travail : les recommandations client en direct peuvent nécessiter des réponses en moins d'une seconde, tandis qu'un tableau de bord d'opérations en direct actualisé toutes les quelques secondes reste considéré comme du temps réel.
Évaluez votre charge de travail selon trois dimensions : la fraîcheur (à quel point les données doivent être récentes au moment d'être interrogées), la latence (la vitesse à laquelle le système doit répondre) et la simultanéité (combien d'utilisateurs ou d'applications effectueront des requêtes en même temps). Si le fait d'agir sur des données plus fraîches génère un résultat métier mesurable, si les utilisateurs ou les applications ont besoin de réponses en quelques millisecondes, ou si des milliers de requêtes simultanées sont attendues, l'analyse en temps réel est probablement adaptée. Si aucune de ces conditions ne s'applique, le traitement par lots est généralement plus efficace.
Pas nécessairement. Les entreprises ont traditionnellement ajouté des couches de service (serving layers) spécialisées (comme ClickHouse, Apache Druid ou Apache Pinot) à côté de leur data warehouse pour répondre aux exigences du temps réel. Cette approche fonctionne mais impose des compromis : duplication des données, pipelines supplémentaires, gouvernance fragmentée et surcharge opérationnelle qui augmente à chaque nouvelle charge de travail en temps réel. Une architecture lakehouse peut prendre en charge l'analyse en temps réel de manière native sur les mêmes données gouvernées que vos charges de travail d'analyse et d'IA utilisent déjà, éliminant ainsi le besoin d'une couche de service distincte.
L'analyse en temps réel est utilisée dans tous les secteurs dès lors que des données opportunes permettent de prendre de meilleures décisions ou d'offrir de meilleures expériences. Dans les services financiers, elle alimente l'analyse du trading et la surveillance des risques. Dans la vente au détail et le commerce électronique, elle permet la personnalisation, la tarification dynamique et l'optimisation des stocks. Les équipes du secteur industriel l'utilisent pour la surveillance de l'IoT et la maintenance prédictive. Les organisations de santé l'appliquent au suivi des patients et à l'aide à la décision clinique. Enfin, les entreprises technologiques et SaaS s'appuient sur elle pour la télémétrie des produits, l'analyse client et les applications alimentées par l'IA.
Les facteurs les plus importants sont la latence des requêtes (peut-elle retourner des résultats en millisecondes ?), la simultanéité (peut-elle gérer des milliers d'utilisateurs et d'applications en même temps ?), la fraîcheur des données (à quelle vitesse les nouvelles données deviennent-elles interrogables ?) et la gouvernance (les charges de travail en temps réel sont-elles soumises aux mêmes contrôles d'accès et normes de qualité des données que le reste ?). Examinez également si la plateforme nécessite de duplicer les données dans un système distinct ou si elle peut offrir des performances en temps réel sur votre socle de données existant. Les plateformes qui unifient le temps réel et l'analyse traditionnelle réduisent la complexité et les coûts à long terme.
Une approche lakehouse permet aux organisations d'exécuter l'analyse en temps réel sur la même plateforme, les mêmes données et le même modèle de gouvernance qu'elles utilisent déjà pour l'analyse traditionnelle et l'IA. Au lieu d'ajouter une base de données temps réel distincte avec ses propres pipelines d'ingestion et contrôles d'accès, un lakehouse étend votre socle existant avec des capacités en temps réel. Cela signifie une seule copie des données, un seul ensemble de règles de gouvernance et aucune infrastructure supplémentaire à gérer. Sur Databricks, Lakehouse//RT offre des performances de requête de l'ordre de la milliseconde et une forte simultanéité directement sur les données gouvernées du lakehouse.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.