Coinbaseの使命は、取引、ステーキング、保管、支払い、迅速かつ無料のグローバル送金など、暗号資産のための信頼できるプラットフォームを提供し、世界に経済的自由を広げることです。ユーザーを不正行為から保護し、パーソナライズされた推奨を提供するため、Coinbaseは機械学習モデルに秒未満の精度を求めています。しかし、主にETLユースケースを対象としたマイクロバッチアーキテクチャは、かえってレイテンシを発生させ、モデルの精度に影響を与え、コンピュートコストを増大させました。Databricks上のSpark Structured Streaming Real-Time Modeに移行することで、Coinbaseはデータ基盤を変革し、特徴量計算のレイテンシをミリ秒単位に短縮、99%の特徴量一貫性を達成、そしてインフラコストを数十万ドル節約して、より正確な大規模リアルタイム不正検知を実現しました。
古いデータが不正検知モデルの足かせに
Coinbase は、不正検知、不審な取引の検出、マネーロンダリング対策 (AML) リスクの軽減といった主要なユースケースを実現するために、Machine Learning を活用しています。これらの機能を提供するには、ほぼリアルタイムで機能する高精度な ML モデルが必要です。
リアルタイム Mode（RTM）を導入する前、Coinbaseのプラットフォームチームは、アーキテクチャが許す限り、マイクロバッチモード（MBM）のSpark Structured Streamingを最適化していました。具体的には、チームはMBMのミリ秒単位の時間を最大限に活用するための革新的なソリューションを構築し、最終的に秒未満の鮮度（約800〜900ミリ秒）を達成しましたが、それには高コストな運用の負担が伴いました。遅延が発生すると、モデルのオンラインとオフラインの特徴量の一貫性に悪影響を及ぼし、複数のリスクモデルの精度が低下しました。
Spark Real-Time Modeで秒未満の精度を実現
これらのレイテンシとコストの課題を克服するため、Coinbaseは重要なリスクモデルをDatabricks上のSpark Real-Time Mode（RTM）に移行しました。RTMの導入は簡単で、エンジニアリングチームはTriggerタイプを更新するだけで済み、コアビジネスロジックを全く変更する必要はありませんでした。このRTMへのシームレスな移行によりパフォーマンスは劇的に向上し、マイクロバッチ処理からリアルタイムストリーミングへの移行で、大規模環境での処理時間が800ミリ秒以上から100〜250ミリ秒へと飛躍的に短縮されました。
この移行により、機械学習パイプラインに取り込まれるデータの鮮度が即座に向上し、一貫性がも たらされたことで、リアルタイムで同期される運用システムを正確に反映したモデルを生成できるようになりました。スムーズな導入を確実にするため、プラットフォームチームは継続的インテグレーション (CI) のガードレールを実装し、ストリーミング特徴量のセットアップを自動化する AI エージェントを作成して、RTM を既存のFeature Storeにシームレスに統合しました。
「私たちのMachine Learningエンジニアは、リアルタイム Modeの複雑な仕組みを学ぶ必要はありませんでした」と、CoinbaseのソフトウェアエンジニアであるKamila Wickramarachchi氏は述べています。「私たちはデータの鮮度と一貫性を大幅に改善しただけで、彼らはすぐにその結果に価値を見出してくれました」
わずかなコストで、より迅速な知見を
RTM を導入して以来、Coinbase はリスクモデルが最新の取引データに基づいて動作するようにすることで、不正行為を軽減する能力を向上させました。レイテンシは秒未満の鮮度にまで低下し、ステートレスな特徴量集計で 150 ミリ秒、ステートフルなストリーミング特徴量集計で 250 ミリ秒を達成しました。オンラインとオフラインの特徴量の一貫性は、最大で 98% 向上しました。
このアーキテクチャの転換により、チームは驚異的な規模と速度を達成できるようになりました。Coinbase のシニアスタッフ Machine Learning プラットフォームエンジニアである Daniel Zhou 氏は次のように説明しています。「Spark Structured Streaming のリアルタイム Mode を活用することで、エンドツーエンドのレイテンシを 80% 以上削減し、P99 で 100 ミリ秒未満を達成し、大規模なリアルタイム機械学習戦略を効率化しました。」このパフォーマンスにより、統合された単一の Spark エンジンで 250 を超える機械学習特徴量を計算できるようになります。」
パフォーマンスの向上だけでなく、RTMの導入により、Coinbaseはマイクロバッチモードで必要とされた、専門的で過剰にプロビジョニングされたクラスターを廃止することができました。これによりコスト構造が根本的に変わり、チームはコンピュートコストを半分に削減しました。
「データの鮮度と一貫性が大幅に向上したことに加え、驚くほどのコスト削減も実現しました」とWickramarachchi氏は付け加えました。「このアーキテクチャの変更により、今年だけでコンピュートコストが51%削減されると推定しています」
