복합 이벤트 처리(Complex Event Processing)란 무엇인가요?

복합 이벤트 처리(CEP)란 무엇입니까?

복합 이벤트 처리(Complex event processing, CEP)는 다른 말로 이벤트, 스트림 또는 이벤트 스트림 처리라 하며 기술을 사용해 데이터를 쿼리한 다음 데이터베이스 내에 저장하거나, 경우에 따라서는 애초에 전혀 저장하지 않고 쿼리하는 것을 말합니다. 복합 이벤트 처리는 구성 툴의 일종으로, 대량의 서로 다른 정보를 집계하며 실시간으로 여러 이벤트 사이의 인과 관계를 식별 및 분석해줍니다. CEP는 수신되는 이벤트를 패턴과 일치하는지 확인하고 발생하는 상황에 관한 인사이트를 제공합니다. 따라서 사용자가 사전 예방적으로 효과적인 행동을 취할 수 있습니다.

복합 이벤트는 보통 중요한 비즈니스 기회나 위협에 대해 실시간(혹은 거의 실시간)으로 대응해야 한다는 의미를 내포합니다.

복합 이벤트 처리(CEP) 관련 주요 응용 분야:

• 비즈니스 활동 모니터링의 경우 비즈니스 프로세스 및 여타 중요한 리소스를 모니터링하여 초반부터 문제점과 기회를 파악하는 것이 목표입니다.
• 센서 네트워크 중에서도 산업 시설 모니터링에 쓰이는 것이 여기에 해당합니다. 이들은 대개 미가공한 수리적 측정치 [예: 온도, 연기]에서 파생됩니다.
• 시장 데이터, 예를 들어 주식이나 원자재 가격 등은 CEP를 통해 여러 이벤트와 각 이벤트의 관계에서 도출해야 합니다.

복합 이벤트 처리에 쓰이는 가장 보편적인 툴의 예:

• Apache Spark Streaming(Databricks에서 사용)
• Apache Flink(data Artisans에서 사용)
• Apache Samza(LinkedIn에서 사용)
• Apache Storm(Twitter에서 사용)
• Hadoop/MapReduce.
• Amazon Kinesis Analytics
• Microsoft Azure Stream Analytics, Stream Insight
• Fujitsu Software Interstage Big Data Complex Event Processing Server
• IBM Streams, Operational Decision Manager [ODM]
• Oracle Stream Analytics and Stream Explore

복합 이벤트 처리는 주로 다음과 같은 요구사항을 해결하는 데 쓰입니다. 레이턴시가 짧아야 합니다. 보통은 몇 밀리초 미만을 예상하지만, 경우에 따라 이벤트가 도착하는 순간부터 해당 이벤트가 처리되는 순간까지 1밀리초 미만도 가능합니다. 초당 입력 이벤트 볼륨이 꽤 큽니다. 초당 이벤트 수는 수백 건에서 심하면 수천 건에 이를 것으로 예상하는 것이 보통입니다. 시간, 공간 관계를 바탕으로 한 패턴 등 탐지할 이벤트 패턴이 복잡합니다.

추가 자료

• Apache Spark를 사용해 수평적으로 확장할 수 있는 이벤트 중심 빅데이터 아키텍처 설계