Qu'est-ce que le traitement d'événements complexes ?
Cette technologie analyse en temps réel de multiples flux d'événements afin de détecter des tendances significatives, des relations temporelles et des scénarios complexes pour une prise de décision rapide.
Summary
- Traite les flux d'événements à haute fréquence provenant de sources telles que les capteurs, les transactions et les flux de marché afin d'identifier les tendances et les corrélations qui se produisent dans des fenêtres temporelles spécifiques.
- Détecte les séquences d'événements complexes et les relations de causalité entre plusieurs flux, permettant des réponses immédiates aux situations critiques telles que la fraude ou les pannes système.
- Alimente les applications en temps réel dans les domaines du trading financier, de la surveillance des réseaux, de l'analyse de l'Internet des objets (IoT) et de l'intelligence opérationnelle, où la reconnaissance de formes à la milliseconde près déclenche des actions automatisées.
Qu'est-ce que le traitement des événements complexes (CEP) ?
Le traitement des événements complexes, également appelé traitement des événements, de flux ou de flux d'événements, consiste à utiliser la technologie pour interroger des données avant de les stocker dans une base de données ou, dans certains cas, sans les stocker. Le traitement des événements complexes est un outil organisationnel qui permet d'agréger une grande quantité d'informations différentes. Il identifie et analyse en temps réel les relations de cause à effet entre les événements. Le CEP compare en continu les événements entrants à un modèle pour fournir des informations sur les activités, ce qui permet d'agir de façon proactive et efficace.
Les événements complexes sont généralement associés à des événements commerciaux importants (des opportunités ou des menaces, notamment), et supposent un traitement en temps réel ou en quasi-temps réel.
Le traitement des événements complexes a plusieurs domaines d'application :
- La surveillance de l'activité commerciale vise à identifier les problèmes et les opportunités à un stade précoce en supervisant les processus commerciaux et certaines ressources critiques.
- Les réseaux de capteurs sont utilisés pour la surveillance des installations industrielles. Ils produisent généralement des mesures numériques brutes (température, niveaux de fumée, etc.).
- Les données de marché, comme le cours des actions ou des matières premières, doivent être dérivées d'une pluralité d'événements et de leurs relations par le CEP.
Gartner® : Databricks, leader des bases de données cloud
Les outils courants du traitement des événements complexes :
- Apache Spark Streaming, utilisé par Databricks
- Apache Flink, utilisé par data Artisans
- Apache Samza, utilisé par LinkedIn
- Apache Storm, utilisé par Twitter
- Hadoop/MapReduce.
- Amazon Kinesis Analytics
- Microsoft Azure Stream Analytics, Stream Insight
- Fujitsu Software Interstage Big Data Complex Event Processing Server
- IBM Streams, Operational Decision Manager (ODM)
- Oracle Stream Analytics et Stream Explore
Le traitement des événements complexes est principalement utilisé pour satisfaire un impératif clé : une latence minimale. On s'attend généralement à ce qu'elle soit de l'ordre de quelques millisecondes, mais on peut passer en dessous du seuil de la milliseconde entre l'arrivée d'un événement et son traitement. Le volume d'événements entrants par seconde est très élevé. Il faut compter avec des centaines d'événements par seconde, voire plusieurs milliers. Les modèles d'événements à détecter sont complexes : certains reposent sur des relations temporelles, d'autres sur des relations spatiales.