Qu'est-ce que l'analyse en temps réel ?

L'analyse en temps réel consiste à collecter, traiter et analyser les données au fur et à mesure de leur génération, ce qui permet aux organisations de prendre des décisions ou de déclencher des actions avec un minimum de retard. Plutôt que d'attendre des rapports planifiés ou un traitement par lots, elle fournit des informations fraîches qui reflètent l'état le plus récent de l'entreprise. Elle alimente des cas d'usage tels que la détection des fraudes, les recommandations personnalisées et la surveillance de l'IoT, où il est essentiel d'agir sur la base d'informations actualisées.

Contrairement à l'analyse par lots, qui traite les données selon un calendrier fixe, l'analyse en temps réel examine les données et y réagit au fur et à mesure de leur arrivée. Le « temps réel » est également un spectre plutôt qu'un seuil fixe : certaines applications, comme la prévention de la fraude ou le trading algorithmique, nécessitent des réponses de l'ordre de la milliseconde. D'autres, comme les tableaux de bord opérationnels ou la surveillance de la chaîne d'approvisionnement, sont efficaces avec des données actualisées en quelques secondes ou minutes.

L'analyse moderne en temps réel associe une ingestion continue des données à des performances de requête rapides afin que les utilisateurs, les applications et les systèmes d'AI puissent analyser les données les plus récentes disponibles. Les technologies de streaming constituent un fondement clé, déplaçant et traitant continuellement les données au fur et à mesure de leur génération.

Comment fonctionne l'analyse en temps réel ?

L'analyse en temps réel est un pipeline de données continu qui achemine les données de leur source vers l'analyse sans attendre une tâche par lots planifiée. Au fur et à mesure que de nouvelles données sont générées, elles sont capturées, traitées et mises à disposition pour analyse en quelques secondes ou millisecondes, selon les exigences de l'application.

Génération et ingestion d'événements

Chaque flux de travail en temps réel commence par un événement. Les applications, les appareils IoT, les transactions commerciales, les parcours de navigation (clickstreams), les journaux système (logs) et d'autres sources génèrent continuellement des données. Les plateformes de streaming et les technologies de capture de changement de données (CDC) collectent ces événements et les acheminent vers le pipeline d'analyse au fur et à mesure qu'ils se produisent.

Traitement et enrichissement

À mesure que les données circulent dans le pipeline, elles sont filtrées, transformées, jointes à des données de référence, agrégées ou enrichies avec un contexte supplémentaire.

Stockage des données en temps réel

Les données traitées sont écrites dans un système d'analyse où elles peuvent être interrogées immédiatement. Selon l'architecture, les données peuvent être stockées dans des tables de streaming, des entrepôts de données (data warehouses) ou d'autres systèmes d'analyse optimisés pour les requêtes à faible latence.

Requête, mise à disposition et action

Les tableaux de bord, les applications, les APIs et les agents d'AI interrogent les dernières données disponibles pour alimenter des rapports en direct, des expériences personnalisées, une surveillance opérationnelle et une prise de décision automatisée. Ces informations peuvent déclencher des actions telles que l'alerte d'un opérateur, le blocage d'une transaction frauduleuse ou le réacheminement d'une expédition.

Analyse en temps réel vs. temps quasi réel vs. par lots

Choisir entre l'analyse en temps réel et l'analyse par lots revient à se poser deux questions : Quel doit être le niveau de fraîcheur de vos données, et quel est le coût de l'attente ? Les applications qui nécessitent des décisions immédiates justifient souvent les exigences supplémentaires du traitement en temps réel, tandis que de nombreuses charges de travail de reporting et d'analyse peuvent tolérer un léger retard en échange d'un coût inférieur et d'une plus grande efficacité.

La plupart des organisations utilisent une combinaison de ces approches plutôt qu'en choisir une seule. La bonne architecture prend en charge plusieurs exigences de latence sur une seule et même plateforme d'analyse.

Les trois dimensions de l'analyse en temps réel

Toutes les charges de travail d'analyse n'ont pas la même définition du « temps réel ». Au lieu de cela, les systèmes en temps réel sont généralement évalués selon trois dimensions mesurables : la fraîcheur, la latence et la simultanéité. Ensemble, ces caractéristiques aident à déterminer si une charge de travail nécessite réellement une analyse en temps réel et quel type d'infrastructure est nécessaire pour la prendre en charge.

Fraîcheur

La fraîcheur mesure le niveau de récence de vos données lorsqu'elles sont interrogées. Plus précisément, il s'agit du délai entre le moment où un événement se produit et celui où cet événement devient disponible pour l'analyse.

Différentes applications ont des exigences de fraîcheur différentes. Un système de détection de la fraude peut avoir besoin que les transactions soient disponibles en moins d'une seconde, tandis qu'un tableau de bord opérationnel actualisé toutes les minutes peut tout de même fournir des informations exploitables.

Latence

La latence mesure la rapidité avec laquelle un système renvoie des résultats après la soumission d'une requête. Alors que la fraîcheur décrit l'âge des données, la latence décrit la réactivité du système d'analyse lui-même.

Par exemple, un tableau de bord peut afficher des données datant de seulement cinq secondes (fraîcheur élevée), mais si chaque requête prend plusieurs secondes à s'exécuter, les utilisateurs ne bénéficieront toujours pas d'une analyse véritablement en temps réel.

Simultanéité

La simultanéité mesure le nombre d'utilisateurs, d'applications ou de requêtes qu'un système peut servir simultanément sans dégradation des performances.

Les outils internes de business intelligence peuvent prendre en charge des dizaines ou des centaines d'utilisateurs simultanés, tandis que les tableaux de bord destinés aux clients, l'analyse intégrée, les APIs et les agents d'AI génèrent souvent des milliers de requêtes simultanées. À mesure que les organisations fournissent des analyses à un plus grand nombre d'utilisateurs et d'applications, la simultanéité devient tout aussi importante que la fraîcheur et la latence.

Quand avez-vous réellement besoin de l'analyse en temps réel ?

L'analyse en temps réel a traditionnellement ajouté de la complexité architecturale et des considérations opérationnelles, elle est donc idéale pour les cas où la valeur des informations immédiates l'emporte clairement sur l'investissement. Posez-vous ces questions pour déterminer si votre cas d'usage nécessite des données en temps réel :

• Des données obsolètes entraînent-elles directement des pertes de revenus, l'attrition des clients (churn) ou un risque opérationnel ?
  Si des informations retardées modifient le résultat d'une décision, l'analyse en temps réel peut offrir un avantage significatif.
• Le résultat déclenchera-t-il une action automatisée plutôt qu'un rapport humain ?
  L'analyse en temps réel est particulièrement précieuse lorsque les informations génèrent des réponses telles que des alertes, la prévention de la fraude, des recommandations ou des modifications de flux de travail.
• Les clients ou les utilisateurs finaux dépendent-ils de données fraîches au sein d'une application ou d'un produit ?
  Les applications qui s'appuient sur des informations en direct, la personnalisation, le suivi ou les recommandations nécessitent souvent des données en temps réel.
• Devez-vous détecter les anomalies dès qu'elles se produisent ?
  La détection de la fraude, la surveillance des pannes et le contrôle qualité dépendent de l'identification des problèmes au moment même où ils surviennent.
• Les équipes ou les systèmes coordonnent-ils des activités en direct ?
  La logistique, la répartition (dispatch), le trading et d'autres opérations sensibles au facteur temps nécessitent souvent des données continuellement mises à jour.

Si aucun de ces cas ne s'applique, un traitement par lots ou en temps quasi réel peut suffire.

Cas d'usage de l'analyse en temps réel par secteur d'activité

L'analyse en temps réel est largement déployée dans tous les secteurs d'activité, selon un même schéma sous-jacent : capturer un événement, déterminer sa signification et agir tant que l'information est encore pertinente. De la détection de la fraude à l'optimisation des opérations, les organisations utilisent les données en temps réel pour réagir plus rapidement et offrir des expériences plus adaptatives.

Services financiers

Les institutions financières utilisent l'analyse en temps réel pour surveiller les transactions, identifier les fraudes et détecter les anomalies au fur et à mesure qu'elles se produisent. L'analyse continue de l'activité financière permet de prendre des décisions mais aussi d'agir plus rapidement pour des cas d'usage tels que la prévention de la fraude, le trading algorithmique et l'évaluation du risque de crédit (credit scoring).

Vente au détail et e-commerce

Les détaillants utilisent l'analyse en temps réel pour comprendre le comportement des clients et proposer des expériences personnalisées grâce à des recommandations, des promotions ciblées et une tarification dynamique. Les données en temps réel permettent également de déclencher des actions telles que proposer des offres lorsque les acheteurs abandonnent leur panier ou ajuster la visibilité des stocks en fonction de l'évolution de la demande.

Secteur manufacturier et IoT

Les fabricants utilisent l'analyse en temps réel pour surveiller les performances des équipements, analyser les flux de capteurs et identifier les besoins de maintenance avant que les pannes ne surviennent. Ces capacités soutiennent la maintenance prédictive et le contrôle qualité en détectant les problèmes au fur et à mesure qu'ils se produisent.

Médias et technologies publicitaires

Les entreprises de médias et de publicité utilisent l'analyse en temps réel pour prendre des décisions au rythme de l'engagement des utilisateurs. Les systèmes d'enchères en temps réel (real-time bidding) évaluent instantanément les signaux d'audience et les opportunités publicitaires, tandis que les éditeurs et les plateformes de streaming utilisent des données en direct pour la segmentation de l'audience et les recommandations personnalisées.

Cybersécurité et observabilité

Les équipes de sécurité et d'IT utilisent l'analyse en temps réel pour surveiller les systèmes, analyser les journaux (logs) et détecter les menaces au fur et à mesure qu'elles apparaissent. En identifiant rapidement les anomalies et les problèmes de performance, les organisations peuvent réagir plus vite aux incidents de sécurité et aux perturbations opérationnelles.

Logistics and transportation

Les entreprises de transport et de logistique utilisent l'analyse en temps réel pour suivre les véhicules, optimiser les itinéraires et améliorer les opérations de livraison. En analysant les données de localisation, les conditions de circulation et les signaux opérationnels en temps réel, les entreprises peuvent fournir des ETA de livraison précises, coordonner les flottes et réagir rapidement aux perturbations.

Quels outils sont utilisés pour l'analyse en temps réel ?

Une pile d'analyse en temps réel combine traditionnellement plusieurs composants spécialisés plutôt que de s'appuyer sur un seul outil. Ces composants fonctionnent ensemble pour capturer les événements, traiter les données au fur et à mesure de leur arrivée, stocker et servir des données fraîches, et fournir des informations aux utilisateurs finaux.

Plateformes de streaming

Les plateformes de streaming transfèrent les événements des systèmes sources vers les pipelines d'analyse au fur et à mesure qu'ils se produisent. Elles capturent des activités telles que les transactions, les événements d'application, les relevés de capteurs et les interactions des utilisateurs. Les exemples courants incluent Apache Kafka, Amazon Kinesis et Azure Event Hubs.

Processeurs de flux

Les processeurs de flux transforment et analysent les données en mouvement, permettant aux organisations de filtrer les événements, de détecter des modèles et de calculer des métriques sans attendre le traitement par lots. Des technologies telles que Apache Spark Structured Streaming et Apache Flink prennent en charge le traitement de flux à grande échelle.

Outils de capture de données modifiées (CDC)

Les outils CDC capturent les modifications des bases de données opérationnelles et diffusent les mises à jour dans les systèmes d'analyse. Cela permet de maintenir synchronisées les applications en aval et les plateformes de données au fur et à mesure que les enregistrements sont créés, mis à jour ou supprimés.

Bases de données OLAP en temps réel

Les systèmes analytiques en temps réel traitent des requêtes à faible latence sur des données continuellement mises à jour. Ils prennent en charge des cas d'usage tels que les tableaux de bord en direct, l'analyse opérationnelle et les applications qui nécessitent un accès rapide aux informations récentes.

Couches de visualisation et de BI

Les outils de visualisation et de BI présentent des informations en temps réel via des tableaux de bord, des rapports et des expériences d'analyse interactive. Ils aident les utilisateurs à surveiller l'évolution des conditions et à prendre des décisions basées sur les dernières données disponibles.

Grâce à des avancées telles que le nouveau moteur Reyden qui alimente Lakehouse//RT, il est désormais possible d'exécuter des analyses en temps réel sans une pile complexe de couches de service et d'outils distincts. Les plateformes de données unifiées comme Databricks combinent les capacités d'ingestion, de traitement, de stockage, de gouvernance et de service dans un seul environnement. En réduisant les mouvements entre des systèmes distincts, elles peuvent simplifier les architectures en temps réel tout en maintenant une sécurité et une gouvernance cohérentes.

Défis de l'analyse en temps réel

L'analyse en temps réel résout des problèmes commerciaux importants, mais peut introduire des défis d'ingénierie, de coût et de gouvernance lors de l'utilisation de couches de service distinctes. Les implémentations réussies nécessitent des pipelines fiables, une solide qualité des données, ainsi qu'une sécurité et une gouvernance cohérentes.

Coût et complexité

Les systèmes en temps réel distincts nécessitent une infrastructure toujours active, des outils spécialisés et des coûts opérationnels supplémentaires par rapport au traitement par lots traditionnel. Les équipes doivent définir clairement la valeur commerciale et les résultats attendus pour s'assurer que l'investissement est justifié.

Qualité des données en mouvement

Les données en streaming arrivent en continu et peuvent introduire des défis tels que des événements tardifs, des enregistrements désordonnés, des modifications de schéma et des données en double. Contrairement aux systèmes par lots, où les contrôles de qualité ont souvent lieu pendant le traitement planifié, les pipelines en temps réel nécessitent une validation et une surveillance continues.

Réconcilier le temps réel avec les données historiques

L'analyse en temps réel peut parfois produire des résultats différents de ceux des rapports historiques si les règles ou les définitions de traitement des données ne sont pas cohérentes. Les organisations ont besoin d'une couche de définition partagée pour que les analyses en temps réel et par lots fournissent des réponses cohérentes et fiables.

Pipelines obsolètes ou bloqués

Un pipeline défaillant ou retardé peut silencieusement amener les tableaux de bord et les applications à afficher des informations obsolètes. L'observabilité des pipelines, les SLA de fraîcheur et les alertes proactives sont essentiels pour garantir que les équipes savent quand les données en temps réel ne sont plus à jour.

Gouvernance et contrôle d'accès

À mesure que des données fraîches alimentent davantage d'applications, de tableaux de bord et de systèmes opérationnels, le maintien de contrôles d'accès, d'un lignage et d'un audit cohérents devient plus difficile. Une couche de gouvernance unifiée aide les organisations à gérer les autorisations et la visibilité sur les données en temps réel et historiques.

Compétences et structure d'équipe

L'analyse en temps réel nécessite une expertise différente de celle de l'ETL par lots traditionnel, notamment des concepts tels que le traitement avec état, la sémantique exactly-once et la gestion du temps de l'événement. Pour de nombreuses organisations, trouver ou former des ingénieurs ayant de l'expérience en streaming peut constituer un obstacle majeur à l'adoption.

Où l'analyse en temps réel se situe parmi les quatre types d'analyse

Les quatre types d'analyse décrivent les questions auxquelles les organisations répondent grâce aux données : l'analyse descriptive explique ce qui s'est passé, l'analyse diagnostique explique pourquoi cela s'est produit, l'analyse prédictive prévoit ce qui est susceptible de se produire ensuite, et l'analyse prescriptive recommande les actions à entreprendre.

L'analyse en temps réel n'est pas un cinquième type d'analyse. Il s'agit plutôt d'un moyen de fournir des données et des informations avec la fraîcheur et la rapidité requises pour un cas d'usage donné. L'analyse en temps réel peut prendre en charge des cas d'usage descriptifs via des tableaux de bord en direct, des cas d'usage diagnostiques via des alertes de cause racine, des cas d'usage prédictifs via des prévisions de demande en temps réel, et des cas d'usage prescriptifs via des décisions automatisées comme le routage dynamique.

Comment Databricks prend en charge l'analyse en temps réel

La plateforme Databricks fournit une base unifiée pour l'analyse en temps réel et par lots sur les mêmes données gouvernées. Au lieu de maintenir des architectures de streaming et de traitement par lots distinctes avec des transferts fragiles entre les systèmes, les équipes peuvent ingérer, traiter, analyser et servir les données en continu tout en maintenant une gouvernance, une sécurité et une qualité cohérentes.

Lakehouse//RT est un nouveau type de data warehousing qui offre des capacités d'analyse en temps réel pour les charges de travail à forte simultanéité et à faible latence directement sur le Lakehouse. Avec Databricks AI/BI pour les tableaux de bord et l'analyse conversationnelle et Unity Catalog pour la gouvernance des actifs de données et d'AI, les organisations peuvent fournir des informations fiables en temps réel aux tableaux de bord, aux applications et aux agents d'AI.

Les équipes peuvent créer une seule fois, gouverner une seule fois et fournir des informations en temps réel aux tableaux de bord, aux applications et aux agents d'AI à partir d'une plateforme unique.

FAQ

En quoi l'analyse en temps réel diffère-t-elle de l'analyse par lots ?

L'analyse par lots traite les données à intervalles planifiés, par exemple via des tâches horaires, quotidiennes ou hebdomadaires, tandis que l'analyse en temps réel traite et analyse en continu les données au fur et à mesure que les événements se produisent. Le traitement par lots est idéal pour de nombreuses charges de travail de reporting historique et d'analyse, tandis que l'analyse en temps réel est utilisée lorsque les décisions ou les actions dépendent de la disponibilité des données les plus fraîches possible.

À quelle vitesse correspond l'analyse en « temps réel » ?

Le « temps réel » ne fait pas référence à une vitesse spécifique. Selon le cas d'usage, l'analyse en temps réel peut signifier un délai allant de quelques secondes à quelques millisecondes entre la survenue d'un événement et la disponibilité des données pour l'analyse. Le bon niveau de fraîcheur dépend des exigences de l'entreprise, notamment de la rapidité avec laquelle une décision doit être prise.

L'analyse en temps réel remplace-t-elle l'analyse traditionnelle ?

Non. L'analyse en temps réel ne remplace pas l'analyse par lots. Il s'agit plutôt d'un moyen de fournir des données avec la fraîcheur et la rapidité requises pour un cas d'usage donné. De nombreuses organisations utilisent une combinaison de traitement en temps réel, en temps quasi réel et par lots en fonction des besoins de l'entreprise.

Quelle base de données est utilisée pour l'analyse en temps réel ?

L'analyse en temps réel peut utiliser différents types de bases de données en fonction de la charge de travail, notamment des bases de données OLAP en temps réel conçues pour des requêtes analytiques rapides sur des données fraîches. Les architectures en temps réel traditionnelles combinent souvent des plateformes de streaming, des moteurs de traitement, des couches de stockage et des systèmes de service pour fournir des informations à faible latence.

Quels sont les plus grands défis de la mise en œuvre de l'analyse en temps réel ?

Lors de l'utilisation d'une couche de service distincte ou d'une pile en temps réel, les plus grands défis consistent à gérer les coûts et la complexité, à maintenir la qualité des données à mesure qu'elles arrivent en continu, à garantir une gouvernance cohérente et à créer des pipelines fiables dotés d'une surveillance et d'alertes solides. Les organisations ont également besoin de l'expertise adéquate pour gérer des concepts tels que le traitement des données en streaming, la gestion du temps des événements et la fiabilité du système.

Conclusion

L'analyse en temps réel transforme les données continues en informations et actions immédiates, aidant ainsi les organisations à réagir plus rapidement aux changements de conditions. La création d'une architecture en temps réel réussie nécessite de trouver un équifique entre fraîcheur, latence et simultanéité, d'une part, et exigences de coût, de complexité et de gouvernance, d'autre part. Grâce à une plateforme unifiée pour l'analyse en streaming et par lots, les organisations peuvent fournir des informations fiables en temps réel aux tableaux de bord, aux applications et aux systèmes d'AI.

Découvrez comment Databricks fournit des analyses en temps réel sur un Lakehouse unifié et gouverné – explorez Lakehouse//RT.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original