지연 시간 벤치마크, 기능 비교, 엔진 선택 가이드를 통해 Spark 실시간 모드가 스트리밍 결정을 어떻게 바꾸는지 확인해 보세요.
작성자: Databricks 직원
대부분의 팀에게는 Apache Spark™가 더 나은 선택입니다. Spark는 하나의 엔진에서 배치 ETL, SQL 분석, 머신러닝, 스트리밍을 모두 실행하며, 이제 실시간 모드(Real-Time Mode)를 통해 Spark 스트리밍을 밀리초 단위의 엔드투엔드 지연 시간으로 처리할 수 있습니다. Apache Flink는 특화된 이벤트 처리 워크로드에 적합한 스트림 네이티브 엔진이지만, 이를 선택한다는 것은 보통 Spark 외에 두 번째 엔진을 추가로 운영해야 한다는 것을 의미합니다.
지연 시간의 격차는 팀들이 Flink를 도입하던 주요 이유였습니다. 실시간 모드의 등장으로 그 이 유는 대부분 사라졌으며, 이제 진짜 핵심은 빌드, 운영, 거버넌스를 수행할 엔진을 몇 개나 둘 것인가 하는 점입니다.
Spark는 배치, 스트리밍, SQL, AI를 아우르는 통합 엔진이며, Flink는 특화된 스트림 프로세서입니다. 두 엔진 모두 정확히 한 번(exactly-once) 처리, 상태 기반 연산자, SQL API를 지원하는 오픈소스 Apache Software Foundation 프로젝트입니다. 차이점은 바로 적용 범위에 있습니다.
Spark는 배치 엔진으로 시작하여 지속해서 성장하는 스트림을 테이블로 다루는 Structured Streaming을 추가했습니다. 동일한 DataFrame 및 SQL 코드가 예약된 배치 작업, 마이크로 배치 스트림 또는 실시간 모드 스트림으로 실행됩니다. 반면 Flink는 스트리밍을 우선으로 설계되었으며 배치를 바운디드 스트림(bounded stream)으로 취급합니다.
이 표는 두 엔진을 선택할 때 주로 고려하는 기준에 따라 비교합니다.
| 비교 항목 | Apache Spark | Apache Flink |
|---|---|---|
| 엔진 범위 | 통합: 배치, 스트리밍, SQL, ML 및 AI 데이터 준비 | 스트리밍 우선, 배치를 바운디드 스트림으로 처리 |
| 스트리밍 지연 시간 | 마이크로 배치의 경우 수 초, 실시간 모드의 경우 밀리초 | 밀리초 |
| 배치 및 대규모 ETL | 페타바이트 규모 배치를 위한 업계 표준 | 지원되나 실무에서는 드물게 사용됨 |
| 지원 언어 | Python, SQL, Scala, Java, 그리고 Spark Connect를 통한 Go, Rust, Swift 클라이언트 | Java, SQL, Python (PyFlink) |
| 상태 기반 처리 | 집계, 중복 제거, 조인, transformWithState, RocksDB 상태 저장소 | 키 기반 상태, 타이머, Flink 2.x의 분산 상태(ForSt) |
| 복잡한 이벤트 처리 | transformWithState를 이용한 커스텀 로직 | 기본 제공 CEP 라이브러리 및 SQL MATCH_RECOGNIZE |
| 머신러닝 및 AI | MLlib, 피처 파이프라인, SQL의 벡터 검색, LLM 데이터 준비 | 제한적인 네이티브 ML, 보통 다른 시스템과 연동 |
| 레이크하우스 통합 | 네이티브 Delta Lake 및 Apache Iceberg 읽기/쓰기 | Iceberg 및 기타 포맷용 커넥터 |
| 관리형 옵션 | Databricks, AWS EMR 및 Glue, Google Cloud, Microsoft Fabric | AWS, Confluent, Ververica 등 |
표 1. Apache Spark와 Apache Flink 비교. 출처: Apache Spark 실시간 모드 문서, Apache Flink 2.0 릴리스 및 Flink CEP 문서.
Databricks가 공개한 벤치마크에 따르면, Spark 실시간 모드는 상태가 없는(stateless) 작업에서 Flink와 동등한 성능을 보였으며, 상태 기반(stateful) 집계 및 스트림-스태틱 조인(stream-static join)에서는 더 낮은 p99 지연 시간을 기록했습니다. 해당 벤치마크 코드는 공개되어 있으며, 실제 고객의 피처 연산 워크로드를 바탕으로 초당 10,000개의 레코드를 30분간 처리하며 Kafka의 입력부터 출력까지의 지연 시간을 측정했습니다. Databricks는 이 결과를 Flink 대비 최대 92% 더 빠른 속도로 요약했습니다.
| 워크로드 | Spark 실시간 모드 p99 | Apache Flink p99 |
|---|---|---|
| 상태 비저장(Stateless) 변환 | 3 ms | 3 ms |
| 상태 기반 집계 | 14 ms | 45 ms |
| 스트림-스태틱 조인 | 9 ms | 95 ms |
수치 해석 방법: Databricks가 벤치마크를 실행했습니다. Spark는 Databricks에서, Flink는 AWS Managed Service for Apache Flink 1.18에서 실행되었습니다. 결과는 Spark의 가장 저조한 실행 결과와 Flink의 가장 우수한 실행 결과를 비교한 것입니다. 이러한 워크로드 패턴을 참고용 증거로 삼고, 결정하기 전에 자체 파이프라인으로 직접 테스트해 보세요.
실제 프로덕션 환경의 결과도 이와 일맥상통합니다. MakeMyTrip은 Flink를 검토한 끝에 두 번째 엔진 도입을 피하고자 Spark 실시간 모드를 선택하여 P50 지연 시간을 44 ms로 단축하고 P99 지연 시간을 1분 이상에서 약 500 ms로 줄였습니다. Coinbase와 DraftKings도 프로덕션 환경에서 실시간 모드를 운영하고 있습니다. 엔진이 이러한 성능을 달성하는 원리에 대해 알아보려면 마이크로 배치 장벽 허물기(Breaking the microbatch barrier)를 읽어보세요.
트리거를 변경하면 됩니다. 실시간 모드는 기존 Structured Streaming 쿼리에 적용하는 트리거이므로, 코드 재작성 없이도 동일한 코드를 다른 지연 시간 티어(tier)로 전환할 수 있습니다.
실시간 모드에는 update 출력 모드가 필요하며 Kafka나 로우 레벨 foreach 싱크(sink)에서 데이터를 읽고 씁니다. 상태 기반 연산자는 Apache Spark 4.3 오픈소스에 포함되어 있으며 현재 Databricks에서 정식 버전(GA)으로 사용할 수 있습니다. Databricks에서는 클래식 컴퓨트 또는 Lakeflow Spark 선언형 파이프라인(Lakeflow Spark Declarative Pipelines)에서 실행됩니다. 전체 지원 매트릭스는 실시간 모드 레퍼런스를 참고하세요.
일부 특화된 스트밍 워크로드의 경우 Flink가 더 나은 선택일 수 있습니다. 다음 조건 중 대부분에 해당하는 경우 Flink 도입을 고려해 보세요:
스트림이 분석, ML 피처 또는 레이크하우스 테이블에도 데이터를 공급하는 경우, Spark를 사용하면 두 엔진 간에 로직, 운영, 거버넌스가 중복되는 것을 방지할 수 있습니다.
두 번째 엔진이 추가될 때마다 두 번째 코드베이스, 두 번째 기술 스택, 두 번째 거버넌스 규칙이 늘어납니다. 배치를 위해 Spark를 사용하고 스트리밍을 위해 Flink를 함께 사용하는 팀은 동일한 비즈니스 로직을 두 번 작성하고 그 사이의 괴리를 디버깅하느라 시간을 낭비하게 됩니다.
파이프라인을 직접 연결하는 대신 선언형으로 구성할 수도 있습니다. Spark Declarative Pipelines은 스트리밍 테이블의 종속성과 증분 새로 고침을 관리합니다.
Databricks는 Apache Spark의 원조 창업자들이 설립했으며, 상태 비저장 연산자와 transformWithState를 포함하여 일반적으로 제공되는 기능으로 Real-Time Mode를 실행합니다. 여기에 Lakeflow Spark Declarative Pipelines, Unity Catalog 거버넌스 및 서버리스 파이프라인이 추가됩니다. 오픈 소스 Spark용으로 작성된 코드는 수정 없이 Databricks에서 실행됩니다. 시작하려면 Apache Spark 튜토리얼: Real-Time Mode를 따르세요.
Databricks가 발표한 벤치마크에 따르면, Spark Real-Time Mode는 상태 비저장 워크로드에서 Flink와 성능이 비슷했으며 상태 저장 집계 및 스트림-정적 조인에서는 더 낮은 p99 지연 시간을 기록했습니다. 결과는 워크로드에 따라 다르므로 직접 파이프라인을 벤치마크해 보세요.
그렇기만 한 것은 아닙니다. Spark Structured Streaming은 기본적으로 마이크로 배치를 사용하며, Real-Time Mode는 밀리초 단위의 지연 시간으로 레코드를 지속적으로 처리합니다. 트리거를 설정하여 쿼리별로 선택할 수 있습니다.
대부분의 워크로드에는 필요하지 않습니다. Real-Time Mode를 사용하면 배치, SQL, ML에 사용하는 동일한 엔진에서 Spark로 밀리초 단위의 지연 시간을 구현할 수 있으므로 두 개의 시스템 대신 하나의 시스템만 운영하면 됩니다.
Flink는 매우 큰 키 기반 상태, 복잡한 이벤트 처리 또는 독립형 스트림을 위해 이미 Flink 플랫폼을 운영 중인 팀과 같은 특수한 워크로드에 적합할 수 있습니다.
네. 대부분의 Flink SQL 및 DataStream 로직은 Structured Streaming의 Spark SQL 및 DataFrames로 매핑되며, Real-Time Mode가 저지연 경로를 지원합니다. 상태 비저장 및 집계 작업부터 시작한 다음 상태 저장 로직을 transformWithState로 옮기세요.
Databricks에서 Real-Time Mode 시작하기
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.