Apache Spark™ Structured Streaming의 실시간 모드
전문화된 보조 엔진을 유지 관리할 필요 없이 Spark API에서 밀리초 단위로 데이터를 처리합니다.
Serverless compute에서 스트리밍 데이터를 밀리초 단위로 처리
실시간 모드(RTM)는 익숙한 Spark API로 밀리초 수준의 지연 시간을 제공하여 Apache Flink와 같은 별도 엔진의 필요성을 없애줍니다. RTM은 연속 처리를 지원하여 시간에 민감한 워크로드에서 최저 5ms의 지연 시간을 달성합니다. Apache Spark™ 선언적 파이프라인에 기본적으로 통합되어 데이터 팀이 최고의 성능과 버전 없는 실행, 자동화된 인프라 업그레이드, 가동 중지 시간이 거의 또는 전혀 없는 유지보수를 비롯한 완전 관리형 서비스의 이점을 누릴 수 있도록 보장합니다.
통합 실행 엔진으로 운영 워크로드를 처리하세요
로직 드리프트와 코드베이스 중복 최소화
대규모 배치 학습과 초저지연 실시간 추론에 동일한 Spark API를 사용하세요. RTM은 원활한 확장성을 지원하여 단 한 번의 코드 변경으로 파이프라인을 시간별 배치에서 연속 스트리밍으로 전환할 수 있습니다. 이로써 복잡한 듀얼 엔진 아키텍처의 필요성이 완전히 사라집니다.
Flink보다 최대 92% 더 빠르게 이벤트를 처리합니다.
RTM은 1초 미만의 의사 결정을 위해 설계되었으며, 실시간 사기 탐지 및 실시간 개인화와 같은 사용 사례에서 효과를 발휘합니다. RTM은 지속적인 데이터 흐름, 파이프라인 스케줄링 및 스트리밍 셔플을 통해 까다로운 운영 워크로드 전반에서 40ms와 300ms 사이의 엄격한 P99 지연 시간을 달성합니다.
실시간 모드에 대해 자세히 알아보기
더 자세 히 알아보기
Databricks 데이터 인텔리전스 플랫폼에서 제공하는 다른 통합된 지능형 제품을 살펴보세요.
Apache Spark™ 선언적 파이프라인
자동화된 데이터 품질, 변경 데이터 캡처(CDC), 데이터 수집, 변환 및 통합 거버넌스로 배치 및 스트리밍 ETL을 간소화합니다.
Genie Code
데이터를 이해하는 에이전트형 AI를 사용하여 데이터 파이프라인을 구축하고 유지 관리하세요.
Zerobus Ingest
이벤트 데이터를 레이크하우스로 거의 실시간으로 직접 푸시하세요. 직접 쓰기 API는 대규모 환경에서도 높은 처리량과 성능을 발휘하여 운영 부담을 줄여줍니다.
Unity Catalog
Databricks Data Intelligence Platform에 내장된 업계 유일의 통합 개방형 데이터 및 AI 거버넌스 솔루션으로 모든 데이터 자산을 원활하게 관리하세요.