주요 컨텐츠로 이동

Apache Spark에서 실시간 모드란 무엇인가요?

단 한 줄의 트리거 변경으로 Spark Structured Streaming에 밀리초 단위의 지연 시간을 구현하는 방법과 사용 시기를 알아보세요.

작성자: Databricks 직원

  • Databricks Real-Time Mode는 밀리초 단위의 엔드투엔드 지연 시간을 위해 레코드가 도착하는 즉시 처리하는 Spark Structured Streaming 트리거입니다.
  • 트리거 코드 한 줄만 변경하면 활성화할 수 있습니다. 소스, 변환 및 체크포인트는 그대로 유지되므로 코드를 다시 작성할 필요가 없습니다.
  • 사기 탐지, 개인화, 실시간 AI 기능에 사용해 보세요. 이제 Spark가 예전에 Apache Flink가 필요했던 지연 시간 요구 사항까지 충족합니다.

실시간 모드(Real-Time Mode)는 다음 마이크로 배치(micro-batch)를 기다리는 대신 레코드가 도착하는 즉시 처리하는 Apache Spark™ Structured Streaming의 트리거입니다. 배치 및 마이크로 배치 스트리밍에 이미 사용하고 있는 동일한 엔진과 API를 사용하여 Spark 스트리밍의 엔드투엔드(end-to-end) 지연 시간을 수초에서 수밀리초로 단축합니다.

실시간 모드가 도입되기 전에는 1초 미만의 응답 시간이 필요한 팀의 경우 스트림 전용 엔진을 추가하는 경우가 많았습니다. 실시간 모드는 대부분의 워크로드에서 이러한 요구 사항을 없애줍니다. 기존 쿼리의 트리거만 변경하면 Spark가 이를 지속적으로 실행합니다.

실시간 모드는 어떻게 작동하나요?

실시간 모드는 마이크로 배치 스케줄링을 데이터를 지속적으로 읽고 처리하는 장기 실행 태스크로 대체합니다. 마이크로 배치 쿼리는 배치 경계를 기다리고, 태스크를 스케줄링하며, 단계 간에 블로킹 셔플(blocking shuffle)을 실행하므로 대략 1초의 지연 시간 하한선이 설정됩니다. 실시간 모드는 마이크로 배치 장벽 허물기: Apache Spark 실시간 모드의 아키텍처에서 자세히 설명하는 세 가지 변경 사항을 통해 이러한 오버헤드를 제거합니다.

연속 데이터 흐름, 모든 단계의 파이프라인 동시 스케줄링, 단계 간 블로킹되지 않는 스트리밍 셔플이라는 세 가지 실시간 모드 혁신 기술을 보여주는 다이어그램.
그림 1. 실시간 모드는 연속 데이터 흐름, 파이프라인 스케줄링, 스트리밍 셔플을 결합하여 레코드가 배치 경계를 기다리지 않고 소스에서 싱크로 이동할 수 있도록 합니다.
배치 간격이 있는 Spark 마이크로 배치 실행과, 장기 실행 태스크가 체크포인트 사이에서 레코드를 지속적으로 처리하는 실시간 모드를 비교하는 타임라인.
그림 2. 마이크로 배치는 배치 경계와 블로킹 셔플을 기다립니다. 실시간 모드는 단계를 지속적으로 실행하고 백그라운드에서 체크포인트를 수행합니다.

트리거 간격은 Spark가 체크포인트를 커밋하고 진행 상황을 보고하는 주기를 제어합니다. 레코드가 대기하는 시간을 제어하지는 않습니다. 레코드는 내내 장기 실행 태스크를 통해 흐르고 체크포인트는 백그라운드에서 커밋됩니다.

실시간 모드를 켜려면 어떻게 해야 하나요?

Structured Streaming 쿼리의 트리거를 realTime으로 변경하고 출력 모드를 update로 설정하세요. 쿼리의 나머지 부분은 동일하게 유지됩니다.

최소 트리거 간격은 5초이며, 5분은 프로덕션 환경에서 흔히 설정하는 값입니다. Databricks에서는 Databricks Runtime 16.4 LTS 이상을 실행하는 클래식 컴퓨팅에서 Photon, 자동 스케일링, 스팟 인스턴스를 끈 상태로 실시간 모드를 활성화하고, spark.databricks.streaming.realTimeMode.enabled를 true로 설정하세요. 연속 모드의 Lakeflow Spark Declarative Pipelines 내부 서버리스 컴퓨팅에서도 실행할 수 있습니다.

모든 단계의 크기를 한 번에 지정하세요. 모든 단계가 동시에 실행되므로 클러스터에는 쿼리의 모든 태스크를 위한 태스크 슬롯이 필요합니다. 파티션이 8개인 Kafka 소스와 파티션이 20개인 셔플이 하나 있는 경우 28개의 슬롯이 필요합니다.

실시간 모드는 무엇을 지원하나요?

실시간 모드는 Kafka 기반 소스 및 싱크, 행 수준 foreach 싱크, 그리고 상태 비저장(stateful) 연산자를 포함한 대부분의 스트리밍 연산자를 지원합니다. 이 표는 Databricks에서의 현재 지원 현황을 요약한 것입니다. 전체 목록은 실시간 모드 레퍼런스를 참조하세요.

영역지원됨지원되지 않음
소스Apache Kafka, AWS MSK, Amazon Kinesis, Kafka 커넥터를 통한 Event Hubs소스인 Delta 테이블
싱크Kafka, foreach (ForeachWriter)Delta 테이블, foreachBatch
출력 모드UpdateAppend, complete
상태 비저장(Stateless) 연산자프로젝션, 필터, UDF, 스트림-정적 조인주목할 만한 항목 없음
상태 저장(Stateful) 연산자집계, 텀블링 및 슬라이딩 윈도우, 중복 제거, transformWithState (행 기반)세션 윈도우, transformWithStateInPandas, 이벤트 시간 타이머
컴퓨팅 (Databricks)클래식 컴퓨팅, 클래식 또는 서버리스의 Lakeflow 파이프라인서버리스 노트북 및 작업, 무료 에디션(Free Edition)

표 1. Databricks에서의 실시간 모드 지원. 출처: Databricks 실시간 모드 레퍼런스.

실시간 모드 결과를 Delta 테이블에 저장하려면 Kafka에 기록한 후 Kafka에서 Delta로 향하는 별도의 마이크로 배치 쿼리를 실행하세요.

어떤 Spark 버전이 실시간 모드를 지원하나요?

실시간 모드는 Databricks에서 정식 출시(GA)되었으며 오픈 소스 Apache Spark 릴리스 전반으로 확대 적용되고 있습니다. Databricks에서는 상태 저장 연산자 및 transformWithState를 포함하여 2026년 3월 19일부터 정식 출시되었습니다.

릴리스추가된 기능
Apache Spark 4.1상태 비저장 Scala 쿼리를 위한 실시간 모드
Apache Spark 4.2PySpark 실시간 모드 트리거
Apache Spark 4.3상태 저장 연산자: 집계, 중복 제거 및 transformWithState
Databricks (GA, 2026년 3월)상태 비저장 및 상태 저장 쿼리, 초기 상태 로딩, Lakeflow 파이프라인 지원

표 2. 실시간 모드 가용성. 출처: Spark 4.1.0 릴리스 노트, Apache Spark 실시간 모드 문서.

실시간 모드는 얼마나 빠른가요?

실시간 모드는 공개된 벤치마크에서 상태 비저장 쿼리의 경우 한 자릿수 밀리초의 지연 시간을, 상태 저장 쿼리의 경우 대략 140ms p99를 달성합니다. 실제 지연 시간은 소스, 연산자, 상태 크기, 싱크 및 클러스터 용량에 따라 다릅니다.

워크로드공개된 p99 지연 시간소스
상태 비저장 변환3 msDatabricks 지연 시간 벤치마크
스트림-정적 조인9 msDatabricks 지연 시간 벤치마크
상태 저장 집계 (피처 연산)14 msDatabricks 지연 시간 벤치마크
dropDuplicates136 msDatabricks 상태 저장 벤치마크
윈도우 집계139 msDatabricks 상태 저장 벤치마크
transformWithState141 msDatabricks 상태 저장 벤치마크

표 3. 공개된 실시간 모드 지연 시간 결과. 출처: latency-benchmarks 리포지토리 및 실시간 모드 튜토리얼.

실행 중인 쿼리를 모니터링하려면 배치 지속 시간이 아니라 실시간 모드 지연 시간 메트릭을 사용하세요. 배치 지속 시간 메트릭은 엔드투엔드 지연 시간을 반영하지 않으며, 보고된 엔드투엔드 메트릭에는 싱크 쓰기 시간이 제외됩니다. 실시간 모드 성능 최적화 및 모니터링을 참조하세요.

프로덕션 환경에서 MakeMyTrip은 P50 지연 시간을 약 1.23초에서 44ms로, P99를 1분 이상에서 약 500ms로 단축하여 클릭률(CTR)을 7% 향상시켰습니다.

Spark 실시간 모드를 적용한 후 MakeMyTrip의 P50 지연 시간이 약 1.23초에서 44ms로, P99가 1분 이상에서 약 500ms로 감소하는 것을 보여주는 막대 차트.
그림 3. MakeMyTrip은 실시간 모드를 도입한 후 P50 지연 시간을 약 1.23초에서 44ms로, P99를 1분 이상에서 약 500ms로 단축했습니다.
보고서

멀티 에이전트 시스템, AI 활용 사례, 평가 등 주요 인사이트

실시간 모드에서 상태(State)를 어떻게 사용하나요?

집계 및 중복 제거에는 표준 스트리밍 연산자를 사용하고, 키별 커스텀 로직에는 transformWithState를 사용하세요. 상태는 장기 실행 태스크 내에 유지되므로 상태 비저장 작업은 저지연 경로에 머뭅니다. Spark가 오래된 상태를 해제할 수 있도록 워터마크를 설정하세요.

Python에서 커스텀 상태 기반 로직을 구현하려면 Databricks Runtime 17.3 LTS 이상이 필요한 행 기반 transformWithState API를 사용하세요. Pandas 기반 변형인 transformWithStateInPandas는 Real-Time Mode에서 지원되지 않습니다. 커스텀 상태 기반 애플리케이션 구축을 참고하세요.

Real-Time Mode는 언제 사용해야 하나요?

비즈니스 작업이 1초 이내에 처리되어야 할 때는 Real-Time Mode를 사용하고, 그렇지 않은 경우 더 저렴한 트리거를 사용하세요. Real-Time Mode는 전용 컴퓨팅에서 계속 실행되므로 비용이 일정합니다.

  • 사기 및 위험 점수 산정. DraftKings는 라이브 스포츠 베팅의 사기 탐지에 transformWithState와 함께 Real-Time Mode를 사용합니다.
  • 개인화 및 추천. MakeMyTrip은 44ms P50 지연 시간으로 개인화된 호텔 검색 결과를 제공합니다.
  • 실시간 AI 기능 및 에이전트 컨텍스트. 동일한 파이프라인이 모델 학습 및 온라인 추론을 위한 피처를 계산하고, AI 에이전트에 최신 이벤트를 계속 공급합니다.
  • 운영 알림 및 IoT 모니터링. 센서 및 보안 신호가 몇 밀리초 만에 작업을 트리거합니다.

몇 초 또는 몇 분의 지연이 허용되는 경우, 마이크로 배치나 availableNow 트리거가 비용 측면에서 더 나은 선택입니다. 코드가 동일하므로 더 저렴한 트리거로 시작한 후 나중에 전환할 수 있습니다.

Real-Time Mode는 Apache Flink의 대안인가요?

그렇습니다. 대부분의 워크로드에 해당합니다. Real-Time Mode는 한때 Apache Flink를 운영 스트리밍의 기본값으로 만들었던 밀리초 단위의 지연 시간을 Spark에 제공하는 동시에, 배치, SQL, 머신 러닝을 위한 단일 엔진을 유지합니다. Databricks 벤치마크에서 Real-Time Mode는 상태 비저장 작업에서 Flink와 동등한 성능을 보였으며, 상태 기반 집계 및 스트림-정적 조인에서는 더 낮은 p99 지연 시간을 기록했습니다. Databricks는 이를 최대 92% 더 빠름으로 요약했습니다. 전체 비교 내용은 Apache Spark vs Apache Flink에서 확인하세요.

Databricks에서의 Real-Time Mode

Databricks는 Apache Spark의 원 창립자들이 설립했으며, 일반적으로 사용 가능한(GA) 기능으로 Real-Time Mode를 실행합니다. 오픈 소스 Spark 위에 다음 기능이 추가됩니다.

  • 오늘날의 상태 기반 Real-Time Mode: 초기 상태 로딩을 지원하는 집계, 중복 제거 및 transformWithState
  • Lakeflow Spark Declarative Pipelines: 클래식 또는 서버리스 컴퓨팅에서의 실시간 플로우
  • Unity Catalog: 실시간 및 배치 테이블을 위한 거버넌스 및 리니지

오픈 소스 Spark용으로 작성된 코드는 변경 없이 Databricks에서 실행됩니다. 체험해 보려면 Apache Spark 튜토리얼: Real-Time Mode를 따르세요.

자주 묻는 질문(FAQ)

Spark의 Real-Time Mode란 무엇인가요?

Databricks Real-Time Mode는 마이크로 배치 방식 대신 레코드가 도착하는 대로 지속적으로 처리하는 Structured Streaming 트리거입니다. 코드 재작성 없이 Spark 스트리밍의 엔드투엔드 지연 시간을 밀리초 수준으로 단축합니다.

Real-Time Mode는 연속 처리(Continuous Processing)와 같나요?

아니요. 연속 처리는 연산자 지원이 제한적이었던 초기 실험적 모드였습니다. Real-Time Mode는 장기 실행 태스크, 파이프라인 스케줄링, 스트리밍 셔플을 갖춘 새로운 설계이며 상태 기반 연산자를 지원합니다.

Real-Time Mode는 상태 기반 연산을 지원하나요?

네. Databricks에서 Databricks Real-Time Mode는 현재 집계, 중복 제거 및 transformWithState를 지원합니다. 오픈 소스 Apache Spark에서는 Spark 4.3부터 상태 기반 지원이 제공됩니다.

Real-Time Mode로 Delta Lake에 데이터를 쓸 수 있나요?

직접 쓸 수는 없습니다. Real-Time Mode는 Kafka나 foreach 싱크에 씁니다. 결과를 Delta 테이블에 저장하려면 Kafka에서 Delta로 향하는 별도의 마이크로 배치 쿼리를 실행하세요.

Real-Time Mode는 서버리스 또는 Free Edition에서 실행되나요?

Databricks Real-Time Mode는 클래식 컴퓨팅 및 서버리스 파이프라인을 포함한 Lakeflow Spark Declarative Pipelines에서 실행됩니다. 서버리스 노트북이나 잡에서는 실행되지 않으므로 Databricks Free Edition 노트북에서는 사용할 수 없습니다.

Databricks에서 Real-Time Mode 시작하기

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)

최신 게시물을 이메일로 받아보세요

블로그를 구독하고 최신 게시물을 이메일로 받아보세요.