Apache Spark Structured Streaming のリアルタイム Mode による航空管制

Anant は、Apache Spark のリアルタイム Mode (RTM) を使用して、ライブのフライトテレメトリーに対し 300ms 未満のエンドツーエンド レイテンシを達成する、リアルタイム航空管制システムを実演します。このアーキテクチャは、ステートフル処理のための Structured Streaming、低レイテンシのサービングのための Lakebase、React による可視化のための Databricks Apps を組み合わせています。彼は、輻輳検出のための Transform with State や RTM Trigger 設定など、Spark コードを順を追って解説します。