Apache Spark Structured Streaming 실시간 모드를 활용한 항공 교통 관제
학습할 내용
Anant는 Apache Spark 실시간 Mode(RTM)를 사용하여 실시간 항공편 원격 측정에 대해 300ms 미만의 엔드 투 엔드 지연 시간을 달성하는 실시간 항공 교통 관제 시스템을 시연합니다. 이 아키텍처는 상태 저장 처리를 위한 Structured Streaming, 짧은 지연 시간 서빙을 위한 Lakebase, React 시각화를 위한 Databricks Apps를 결합합니다. 그는 혼잡 감지를 위한 Transform with State와 RTM Trigger 구성을 포함한 Spark 코드를 자세히 설명합니다.
![<p data-pm-slice="1 1 []">Getting Started With Apache Spark Structured Streaming Real-Time Mode</p>](https://www.databricks.com/sites/default/files/2023-07/demothumb-small-video-dataengineering.png?v=1724412526)
