단 한 줄의 트리거 변경으로 Spark Structured Streaming에 밀리초 단위의 지연 시간을 구현하는 방법과 사용 시기를 알아보세요.
작성자: Databricks 직원
실시간 모드(Real-Time Mode)는 다음 마이크로 배치(micro-batch)를 기다리는 대신 레코드가 도착하는 즉시 처리하는 Apache Spark™ Structured Streaming의 트리거입니다. 배치 및 마이크로 배치 스트리밍에 이미 사용하고 있는 동일한 엔진과 API를 사용하여 Spark 스트리밍의 엔드투엔드(end-to-end) 지연 시간을 수초에서 수밀리초로 단축합니다.
실시간 모드가 도입되기 전에는 1초 미만의 응답 시간이 필요한 팀의 경우 스트림 전용 엔진을 추가하는 경우가 많았습니다. 실시간 모드는 대부분의 워크로드에서 이러한 요구 사항을 없애줍니다. 기존 쿼리의 트리거만 변경하면 Spark가 이를 지속적으로 실행합니다.
실시간 모드는 마이크로 배치 스케줄링을 데이터를 지속적으로 읽고 처리하는 장기 실행 태스크로 대체합니다. 마이크로 배치 쿼리는 배치 경계를 기다리고, 태스크를 스케줄링하며, 단계 간에 블로킹 셔플(blocking shuffle)을 실행하므로 대략 1초의 지연 시간 하한선이 설정됩니다. 실시간 모드는 마이크로 배치 장벽 허물기: Apache Spark 실시간 모드의 아키텍처에서 자세히 설명하는 세 가지 변경 사항을 통해 이러한 오버헤드를 제거합니다.
트리거 간격은 Spark가 체크포인트를 커밋하고 진행 상황을 보고하는 주기를 제어합니다. 레코드가 대기하는 시간을 제어하지는 않습니다. 레코드는 내내 장기 실행 태스크를 통해 흐르고 체크포인트는 백그라운드에서 커밋됩니다.
Structured Streaming 쿼리의 트리거를 realTime으로 변경하고 출력 모드를 update로 설정하세요. 쿼리의 나머지 부분은 동일하게 유지됩니다.
최소 트리거 간격은 5초이며, 5분은 프로덕션 환경에서 흔히 설정하는 값입니다. Databricks에서는 Databricks Runtime 16.4 LTS 이상을 실행하는 클래식 컴퓨팅에서 Photon, 자동 스케일링, 스팟 인스턴스를 끈 상태로 실시간 모드를 활성화하고, spark.databricks.streaming.realTimeMode.enabled를 true로 설정하세요. 연속 모드의 Lakeflow Spark Declarative Pipelines 내부 서버리스 컴퓨팅에서도 실행할 수 있습니다.
모든 단계의 크기를 한 번에 지정하세요. 모든 단계가 동시에 실행되므로 클러스터에는 쿼리의 모든 태스크를 위한 태스크 슬롯이 필요합니다. 파티션이 8개인 Kafka 소스와 파티션이 20개인 셔플이 하나 있는 경우 28개의 슬롯이 필요합니다.
실시간 모드는 Kafka 기반 소스 및 싱크, 행 수준 foreach 싱크, 그리고 상태 비저장(stateful) 연산자를 포함한 대부분의 스트리밍 연산자를 지원합니다. 이 표는 Databricks에서의 현재 지원 현황을 요약한 것입니다. 전체 목록은 실시간 모드 레퍼런스를 참조하세요.
| 영역 | 지원됨 | 지원되지 않음 |
|---|---|---|
| 소스 | Apache Kafka, AWS MSK, Amazon Kinesis, Kafka 커넥터를 통한 Event Hubs | 소스인 Delta 테이블 |
| 싱크 | Kafka, foreach (ForeachWriter) | Delta 테이블, foreachBatch |
| 출력 모드 | Update | Append, complete |
| 상태 비저장(Stateless) 연산자 | 프로젝션, 필터, UDF, 스트림-정적 조인 | 주목할 만한 항목 없음 |
| 상태 저장(Stateful) 연산자 | 집계, 텀블링 및 슬라이딩 윈도우, 중복 제거, transformWithState (행 기반) | 세션 윈도우, transformWithStateInPandas, 이벤트 시간 타이머 |
| 컴퓨팅 (Databricks) | 클래식 컴퓨팅, 클래식 또는 서버리스의 Lakeflow 파이프라인 | 서버리스 노트북 및 작업, 무료 에디션(Free Edition) |
표 1. Databricks에서의 실시간 모드 지원. 출처: Databricks 실시간 모드 레퍼런스.
실시간 모드 결과를 Delta 테이블에 저장하려면 Kafka에 기록한 후 Kafka에서 Delta로 향하는 별도의 마이크로 배치 쿼리를 실행하세요.
실시간 모드는 Databricks에서 정식 출시(GA)되었으며 오픈 소스 Apache Spark 릴리스 전반으로 확대 적용되고 있습니다. Databricks에서는 상태 저장 연산자 및 transformWithState를 포함하여 2026년 3월 19일부터 정식 출시되었습니다.
| 릴리스 | 추가된 기능 |
|---|---|
| Apache Spark 4.1 | 상태 비저장 Scala 쿼리를 위한 실시간 모드 |
| Apache Spark 4.2 | PySpark 실시간 모드 트리거 |
| Apache Spark 4.3 | 상태 저장 연산자: 집계, 중복 제거 및 transformWithState |
| Databricks (GA, 2026년 3월) | 상태 비저장 및 상태 저장 쿼리, 초기 상태 로딩, Lakeflow 파이프라인 지원 |
표 2. 실시간 모드 가용성. 출처: Spark 4.1.0 릴리스 노트, Apache Spark 실시간 모드 문서.
실시간 모드는 공개된 벤치마크에서 상태 비저장 쿼리의 경우 한 자릿수 밀리초의 지연 시간을, 상태 저장 쿼리의 경우 대략 140ms p99를 달성합니다. 실제 지연 시간은 소스, 연산자, 상태 크기, 싱크 및 클러스터 용량에 따라 다릅니다.
| 워크로드 | 공개된 p99 지연 시간 | 소스 |
|---|---|---|
| 상태 비저장 변환 | 3 ms | Databricks 지연 시간 벤치마크 |
| 스트림-정적 조인 | 9 ms | Databricks 지연 시간 벤치마크 |
| 상태 저장 집계 (피처 연산) | 14 ms | Databricks 지연 시간 벤치마크 |
| dropDuplicates | 136 ms | Databricks 상태 저장 벤치마크 |
| 윈도우 집계 | 139 ms | Databricks 상태 저장 벤치마크 |
| transformWithState | 141 ms | Databricks 상태 저장 벤치마크 |
표 3. 공개된 실시간 모드 지연 시간 결과. 출처: latency-benchmarks 리포지토리 및 실시간 모드 튜토리얼.
실행 중인 쿼리를 모니터링하려면 배치 지속 시간이 아니라 실시간 모드 지연 시간 메트릭을 사용하세요. 배치 지속 시간 메트릭은 엔드투엔드 지연 시간을 반영하지 않으며, 보고된 엔드투엔드 메트릭에는 싱크 쓰기 시간이 제외됩니다. 실시간 모드 성능 최적화 및 모니터링을 참조하세요.
프로덕션 환경에서 MakeMyTrip은 P50 지연 시간을 약 1.23초에서 44ms로, P99를 1분 이상에서 약 500ms로 단축하여 클릭률(CTR)을 7% 향상시켰습니다.
집계 및 중복 제거에는 표준 스트리밍 연산자를 사용하고, 키별 커스텀 로직에는 transformWithState를 사용하세요. 상태는 장기 실행 태스크 내에 유지되므로 상태 비저장 작업은 저지연 경로에 머뭅니다. Spark가 오래된 상태를 해제할 수 있도록 워터마크를 설정하세요.
Python에서 커스텀 상태 기반 로직을 구현하려면 Databricks Runtime 17.3 LTS 이상이 필요한 행 기반 transformWithState API를 사용하세요. Pandas 기반 변형인 transformWithStateInPandas는 Real-Time Mode에서 지원되지 않습니다. 커스텀 상태 기반 애플리케이션 구축을 참고하세요.
비즈니스 작업이 1초 이내에 처리되어야 할 때는 Real-Time Mode를 사용하고, 그렇지 않은 경우 더 저렴한 트리거 를 사용하세요. Real-Time Mode는 전용 컴퓨팅에서 계속 실행되므로 비용이 일정합니다.
몇 초 또는 몇 분의 지연이 허용되는 경우, 마이크로 배치나 availableNow 트리거가 비용 측면에서 더 나은 선택입니다. 코드가 동일하므로 더 저렴한 트리거로 시작한 후 나중에 전환할 수 있습니다.
그렇습니다. 대부분의 워크로드에 해당합니다. Real-Time Mode는 한때 Apache Flink를 운영 스트리밍의 기본값으로 만들었던 밀리초 단위의 지연 시간을 Spark에 제공하는 동시에, 배치, SQL, 머신 러닝을 위한 단일 엔진을 유지합니다. Databricks 벤치마크에서 Real-Time Mode는 상태 비저장 작업에서 Flink와 동등한 성능을 보였으며, 상태 기반 집계 및 스트림-정적 조인에서는 더 낮은 p99 지연 시간을 기록했습니다. Databricks는 이를 최대 92% 더 빠름으로 요약했습니다. 전체 비교 내용은 Apache Spark vs Apache Flink에서 확인하세요.
Databricks는 Apache Spark의 원 창립자들이 설립했으며, 일반적으로 사용 가능한(GA) 기능으로 Real-Time Mode를 실행합니다. 오픈 소스 Spark 위에 다음 기능이 추가됩니다.
오픈 소스 Spark용으로 작성된 코드는 변경 없이 Databricks에서 실행됩니다. 체험해 보려면 Apache Spark 튜토리얼: Real-Time Mode를 따르세요.
Databricks Real-Time Mode는 마이크로 배치 방식 대신 레코드가 도착하는 대로 지속적으로 처리하는 Structured Streaming 트리거입니다. 코드 재작성 없이 Spark 스트리밍의 엔드투엔드 지연 시간을 밀리초 수준으로 단축합니다.
아니요. 연속 처리는 연산자 지원이 제한적이었던 초기 실험적 모드였습니다. Real-Time Mode는 장기 실행 태스크, 파이프라인 스케줄링, 스트리밍 셔플을 갖춘 새로운 설계이며 상태 기반 연산자를 지원합니다.
네. Databricks에서 Databricks Real-Time Mode는 현재 집계, 중복 제거 및 transformWithState를 지원합니다. 오픈 소스 Apache Spark에서는 Spark 4.3부터 상태 기반 지원이 제공됩니다.
직접 쓸 수는 없습니다. Real-Time Mode는 Kafka나 foreach 싱크에 씁니다. 결과를 Delta 테이블에 저장하려면 Kafka에서 Delta로 향하는 별도의 마이크로 배치 쿼리를 실행하세요.
Databricks Real-Time Mode는 클래식 컴퓨팅 및 서버리스 파이프라인을 포함한 Lakeflow Spark Declarative Pipelines에서 실행됩니다. 서버리스 노트북이나 잡에서는 실행되지 않으므로 Databricks Free Edition 노트북에서는 사용할 수 없습니다.
Databricks에서 Real-Time Mode 시작하기
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.