Apache Spark™ Structured Streaming의 실시간 모드
별도의 엔진 없이 Spark 마이크로 배치보다 100배 빠르게 밀리초 단위로 데이터를 처리하세요
서버리스 컴퓨팅에서 밀리초 단위로 스트리밍 데이터 처리
실시간 모드(RTM)는 운영 워크로드에서 Spark 마이크로 배치 모드보다 최대 100배 낮은 지연 시간을 제공하여 Apache Flink와 같은 별도의 엔진이 필요하지 않습니다. 연속 처리를 지원하 여 RTM은 시간 제한이 엄격한 워크로드의 엔드투엔드 지연 시간을 최저 5ms까지 단축합니다. Apache Spark™ Declarative Pipelines에 기본 통합되어 데이터 팀이 극대화된 성능과 함께 버전을 구분할 필요 없는 실행, 자동화된 인프라 업그레이드, 다운타임이 거의 없거나 전혀 없는 유지보수 등 완전 관리형 서비스의 혜택을 누릴 수 있도록 지원합니다.
단일 실행 엔진으로 운영 워크로드의 잠재력 극대화
로직 이탈 및 코드베이스 중복 최소화
대규모 배치 학습과 초저지연 실시간 추론에 동일한 Spark API를 사용하세요. RTM은 원활한 확장성을 제공하므로 코드 변경 한 번으로 파이프라인을 시간 단위 배치에서 연속 스트리밍으로 전환하여 복잡한 이중 엔진 아키텍처의 필요성을 완전히 없애줍니다.
Flink보다 최대 92% 더 빠르게 이벤트 처리
RTM은 1초 미만의 빠른 의사 결정을 위해 설계되어 라이브 사기 탐지 및 실시간 개인화와 같은 유스케이스에서 실질적인 성과를 만들어냅니다. RTM은 지속적인 데이터 흐름, 파이프라인 스케줄링, 스트리밍 셔플을 통해 까다로운 운영 워크로드 전반에서 40ms~300ms 사이의 엄격한 P99 지연 시간을 달성합니다.
마이크로 배치 대비 최대 100배 낮은 지연 시간 제공
한 줄의 설정 변경만으로 분 단위 ETL에서 밀리초 단위의 운영 스트리밍으로 전환하세요. 지원되는 워크로 드에서 RTM은 표준 마이크로 배치보다 최대 100배 낮은 지연 시간을 제공하여 동일한 Spark 생태계 내에서 애플리케이션을 구동할 수 있게 해줍니다.
실시간 모드에 대해 자세히 알아보기
더 알아보기
Databricks Data + AI Platform에서 제공하는 다양한 통합 지능형 오퍼링을 살펴보세요.
Apache Spark™ Declarative Pipelines
자동화된 데이터 품질, 변경 데이터 캡처(CDC), 데이터 수집, 변환 및 단일 거버넌스를 통해 배치 및 스트리밍 ETL을 간소화하세요.
Genie Code
데이터를 이해하는 에이전틱 AI로 데이터 파이프라인을 구축하고 유지 관리하세요.
Zerobus Ingest
이벤트 데이터를 레이크하우스로 실시간에 가깝게 직접 전송하세요. 직접 쓰기 API는 높은 처리량과 대규모 성능을 통해 운영 부담을 줄여줍니다.
Unity Catalog
Databricks Data + AI Platform에 내장된 데이터 및 AI를 위한 업계 유일의 개방형 거버넌스 단일 솔루션으로 모든 데이터 자산을 원활하게 거버닝하세요.
다음 단계 진행하기
실시간 모드(RTM) FAQ
실시간 모드는 Apache Spark Structured Streaming의 발전된 형태로, Spark 마이크로 배치 실행보다 100배 낮은 지연 시간을 제공합니다..
파이프라인 스케줄링을 통해 쿼리 단계를 동시에 실행하고 스트리밍 셔플로 작업 간 데이터를 즉시 전달하여 지연 시간 병목 현상을 제거합니다.
이 아키텍처는 지원되는 운영 스트리밍 워크로드에서 Spark 마이크로 배치 모드 대비 최대 100배 낮은 지연 시간을 제공하여 처리 시간을 초 단위에서 밀리초 단위로 단축하고 최저 5밀리초의 엔드투엔드 지연 시간을 실현합니다.