リアルタイム ML で航空データの活用を促進

米国運輸省（USDOT）は、運輸局の最新要件を満たすべく、航空システムの性能をリアルタイムで正確に測定・報告する商用フライトデータベースシステムを構築しています。USDOT では、データブリックスのレイクハウスプラットフォームの導入により、データの統合分析を実現。航空ダッシュボードにリアルタイムの情報を取り入れ、機械学習を活用した気づきと意思決定を可能にしています。データブリックスがもたらす高速性と効率性により、USDOT は航空パフォーマンスの変更対応に必要なリソース、航空交通量の変動によるオペレーションや乗客のエクスペリエンスへの影響について、正確な予測ができるようになりました。

分断されたデータを統合し未来を予測

民間航空会社は通常、年間数百万人のお客様にサービスを提供しています。USDOT では、航空会社における乗客サービス改善の支援およびフライトオペレーションの実践的な評価を可能にするために、航空データを活用した、内部用のリアルタイム商用航空フライトデータベース（CFD）の構築を模索していました。

USDOT では、米連邦航空局（FAA）のシステムワイド情報管理データベース（SWIM）の気象、飛行、航空情報、監視情報などの公開データを活用することで、航空貨物の輸送パターンの正確な予測、民間航空会社への明確な財務予測の提供を目指していました。しかし、さまざまなパブリッシャーが提供する複数のデータサービス、ストリーム、コンポーネントを組み合わせることは複雑です。データブリックスのようなクラウドベースのソリューションではなく、オンプレミスのプラットフォームでデータを管理していた業界ではなおさらです。

USDOT のデータサイエンティストであるメフディ・ハシミポアー（Mehdi Hashemipour）氏は、次のように述べています。「ビッグデータプラットフォームの構築は、困難です。分析対象のビッグデータがどのようになっているか、そのビッグデータの処理にはどのようなインフラが必要かを知る必要がありました。さまざまなテクノロジーを用いたシステムの設計は、極めて複雑です。ビッグデータは 100% 信頼できるものではなく、統計レポートに求められる精度からはほど遠いものでした。データの品質管理、処理するデータのリアルタイムな監視が可能であることが不可欠でした。」

このシステムには、迅速なスケーリングも求められており、性能の低下や USDOT のデータチームによる手間のかかる作業や手動のレビューを不要にすることが条件でした。

予測分析の基盤構築で成長を加速

SWIM クラウドディストリビューションサービス（SCDS）は、FAA のクラウドベースのサービスです。一般公開されている FAA の SWIM コンテンツを、FAA が承認した消費者に提供するものです。USDOT では、定時運航便、遅延・欠航便、それぞれの事象に影響を受けた乗客数などの重要な気づきを得るために、交通流管理やターミナルデータのディストリビューションなど、公開されている SWIM データセットを活用し、あらゆるデータを分析して、フライト、空港、乗客の行動に関する複数のシナリオを予測したいと考えました。

慎重に評価した結果、Microsoft Azure とデータブリックスのレイクハウスプラットフォームを採択しました。その理由は、Apache Kafka のリアルタイムストリーミングで、Oracle や Sybase などのオンプレミスのデータベースを含むさまざまなデータソースを民主化できたからです。

「データブリックスのおかげで、効率的なジョブスケジュールの作成、クラスタのスケーリング、分析や BI のための Notebook の実行ができます。」（ハシミポアー氏）

USDOT では、Delta Lake により、あらゆるデータの容易な活用、ダウンストリーム分析や機械学習ワークロードが可能な高信頼で高効率なデータパイプラインの構築が可能になっています。バッチおよびストリーミングデータのフローに柔軟に対応できるため、Tableau や Power BI などの主要ツールに情報を送ってデータ分析の気づきを視覚化したり、機械学習モデルに情報を送って交通流のパターンや乗客のニーズの理解を深め予測したりすることができます。

最近では、USDOT のデータチームの生産性も高まっています。データブリックスの活用によって、データエンジニア、データサイエンティスト、アナリストなど全てのデータチームのコラボレーションが効率化し、データをより有効に活用できています。ハシミポアー氏は次のように述べています。「作業は極めて効率的になっています。ジョブスケジュールの作成、クラスタや Notebook の実行、複数のソースからのデータの整理や分析などをシンプルに行うことができます。USDOT では、乗客のエクスペリエンスを向上させる新たな機能を提供できるようになりました。」

低コストで高みを目指す

USDOT は、データブリックスの導入によって、場所を問わず、展開、拡張できる柔軟なデータ環境を構築し、追加の SWIM、同様のストリーミング情報を低コストで分析できるようになりました。また、USDOT ではクラウドのコスト効率とデータブリックスの自動インフラ機能を活用して、独自のデータ変換や処理を行っています。これにより、他のクラウドベースソリューションと比較して、ストリーミングデータの収集と取り込みのコストが 90% 削減されています。

データブリックスは、USDOT のデータチームのニーズに対応。複数のストリームからの複雑なデータの取り込みや分析を自動化し、さまざまな分析や機械学習のワークロードのダウンストリームを可能にしました。USDOT は最小限の労力で、必要に応じて複数の環境でデータを照合し、オペレーションや性能において適した意思決定を行っています。

「何を構築、自動化すべきかを把握し、システムインフラをセキュアかつ効率的に反復できるようになりました。今ではリアルタイムな航空データの利用に制限はありません。」（ハシミポアー氏）

システムの進化にあわせて、データパイプラインをさらなる分析や機械学習のワークロードに開放し、データドリブンな予測や意思決定の精度を高め、民間航空会社による乗客へのサービス向上をターゲットに絞った情報を提供することで、USDOT はケイパビリティ向上を図っています。

U.S. Department of Transportation leverages Tableau to visualize data analytic insights that enable them to better understand and predict traffic flow patterns and passenger needs.