SparkリアルタイムモードとLakebaseを使用したリアルタイム不正検出の構築方法

カード詐欺は数秒で発生します。盗まれたクレジットカード番号は数分で多数の購入につながる可能性があり、取引が決済されると、その資金を回収することは指数関数的に困難になります。Nilson Reportによると、金融機関は詐欺的なカード取引で年間推定330億ドルを失っており、デジタル取引量が増加するにつれて、その数字は増加する一方です。

課題は詐欺を検出することではありません。ほとんどの組織はすでに能力のある不正モデルと調整済みのルールを持っています。課題は、承認と決済の間のサブ秒ウィンドウで、疑わしい取引がクリアされる前にそれをブロックするのに十分な速さで検出すること、そして運用上の複雑さを倍増させる別個の専門的なストリーミングエンジンを追加することなくそれを実行することです。

このブログでは、新しいソリューションアクセラレータを紹介します。これは、Databricks環境に直接クローンしてデプロイできるオープンソースのリファレンス実装です。生取引の取り込みとリアルタイムMLスコアリングから、Databricks Appsで構築されたライブ監視ダッシュボードまで、Databricks Platform全体で完全なエンドツーエンドの不正検出システムを構築する方法を示しています。その中核となるのは2つのテクノロジーです。Databricks上のApache Spark Structured Streaming向けのReal-Time Mode (RTM)で、サブ300msのストリーム処理を提供し、Databricks Platformに組み込まれた完全に管理されたサーバーレスPostgresデータベースであるLakebaseです。

不正検出におけるリアルタイムのトレードオフ：スピード vs. シンプルさ

不正検出は、2つの相反する要求の交差点に位置します。

一方にはスピードがあります。不正な取引は、決済される前にミリ秒単位で特定およびブロックされなければなりません。洗練された不正グループは、高速なマイクロ購入で盗まれたカードをテストし、地理的な異常を悪用し、静的なルールでは追いつけないパターンを適応させます。

もう一方にはシンプルさがあります。データチームは、単一のプラットフォームで、統一されたガバナンス、共有データ、および1セットのツールを使用して、不正モデルを構築、トレーニング、デプロイしたいと考えています。リアルタイムスコアリングの「最後の数マイル」のためだけに別のストリーミングスタックを維持したくはありません。

これまで、チームは選択を迫られてきました。歴史的に、これらの超低レイテンシ要件を満たすことは、Apache FlinkのようなSparkとは別に専門的なエンジンを導入することを意味していました。その結果はよく知られたパターンになります。2つの並列システム、重複データ、分割されたガバナンス、そしてエンジニアリングチームが不正モデルの改善よりもパイプライン管理に時間を費やすことになります。Spark Structured StreamingでのRTMの導入により、そのトレードオフはもはや必要ありません。

RTM：複数のシステムの運用オーバーヘッドなしのサブ秒処理

RTMはSpark Structured Streamingエンジンの進化であり、特徴量エンジニアリングなどのレイテンシに敏感な運用アプリケーションでサブ秒データ処理を可能にします。

スピードの面では、RTMはミリ秒単位でイベントを処理し、ステートレス変換、結合ベースのエンリッチメント、および集計ワークロード全体でApache Flinkよりも最大92%高速です。Coinbaseのような顧客はすでにRTMを使用して250を超えるML特徴量を計算しており、サブ100msのP99処理レイテンシを達成しています。

シンプルさの面では、RTMは、隣ではなく、すでに実行しているSparkエンジン内に存在します。したがって、あなたはすぐに以下のようなメリットを享受できます。

• ロジックドリフトなし。不正スコアリングルール、特徴量エンジニアリング、ML前処理は一度だけ存在します。オフライントレーニングパイプラインで実行されるコードと同じコードが、リアルタイムスコアリング環境でも実行されます。これにより、機能のプロダクション化をより迅速かつ高精度に行うことができます。
• 1つの運用サーフェス。Spark UI、クラスター監視、ジョブ、アラートなど。すでに使用しているすべてのツールが適用されます。ストリーミングエンジンのためのセカンドオンコールローテーションはありません。
• コスト vs. 新鮮さの柔軟性。サブ秒の新鮮さがコストに見合わない場合、より遅いトリガーに戻すのは、逆方向の同じ1行のコード変更です。並列処理を手動で調整したり、コンピューティングリソースのシャットダウンと再起動をオーケストレーションしたりする時間を費やす必要はありません。

その結果、チームはもはや選択する必要がなくなり、スピードとシンプルさの両方を得ることができ、エンジニアリング時間はインフラストラクチャ管理ではなく不正シグナルの調整に戻ります。

例：クレジットカード取引における不正のブロック

これを具体的にするために、私たちのソリューションアクセラレータは、クレジットカード取引のためのリアルタイム不正検出システムを実装しています。シナリオは次のとおりです。

取引はメッセージングシステム（Kafka、Kinesisなど）からストリーミングされます。各取引には、カードID、金額、マーチャントカテゴリ、地理座標、およびチャネル（オンライン対POS）が含まれます。システムは、各取引を複数の不正シグナルに対して評価し、リスクスコアを割り当て、それを適切な結果（承認、レビューのためにフラグ付け、またはブロック）にルーティングする必要があります。すべてサブ300ms以内に行われます。

アーキテクチャは、主要な金融機関における本番不正システムの外観を反映しており、ステートフル追跡、オンラインサービングレイヤーとしてのLakebaseからの特徴量エンリッチメント、MLスコアリング、および不正アナリスト監視のためのライブDatabricks Appsが含まれています。違いは、それがすべて1つのプラットフォームで実行されることです。

構築方法

アクセラレータは4つの段階を経て進化し、各段階は前の段階の上に構築されます。これは高レベルのシステムアーキテクチャ図です。4つの主要コンポーネントにわたるクリーンなデータフローを示しています。

• Kafka (ソース): 生イベントを取り込むイベントストリーミングプラットフォーム
• Spark RTM: ストリーミングデータを処理するリアルタイムマテリアライゼーションエンジン
• Kafka / Lakebase: 処理済みデータが着地する中間レイヤー。Kafkaに戻るか、Lakebase（Databricksの低レイテンシサービングレイヤー）に入ります。
• Databricks Apps: 最終データをエンドユーザーに提供するアプリケーションレイヤー

以下の完全なエンドツーエンドデモビデオをご覧ください。または、ステップバイステップを読み続けて、正確にどのように構築したかを学びます。まずクイックスタートから始めます（外部依存関係なし）。

ステップ1：リアルタイムモードを実際に見てみましょう

リアルタイム不正インフラストラクチャを評価している金融機関にとって、迅速な価値実現は非常に重要です。Quick Start notebookを使用すると、チームはすぐにReal-Time Modeを体験でき、5分未満でコアレイテンシベンチマークとプラットフォーム適合性を検証できます。本番環境へのコミットメントの前に、Kafkaへの接続や外部の設定は不要です。Sparkの組み込みレートソースを使用して合成トランザクションを生成し、不正スコアリングロジックを適用し、結果をノートブックでライブ表示します。これはReal-Time Modeの「Hello World」です。実行してレイテンシ番号を確認し、クラスターが正しく設定されていることを検証してください。

ステップ2：不正検出パイプラインを構築する

Real-Time Modeが検証されたら、次のnotebookは、主要なFSIがリアルタイム不正決定をどのように運用化するかを反映した、本番グレードの不正検出パイプラインを構築します。これはトランザクションをエンドツーエンドで処理し、不正オペレーションとコンプライアンスチームの両方に必要な説明可能なスコアリングを提供します。トランザクションはKafkaから5つのステージを流れます。各ステージは連続して実行され、それぞれがインテリジェンスを追加します。

• 解析は、Kafkaから生のJSONを取得し、型付き列に構造化します
• ベロシティトラッキングは、ここからが面白いところです。transformWithState（カスタム状態の変換を構築するためのSparkの強力な演算子）を使用して、パイプラインはカードごとの状態をストリーム全体で維持します。過去60秒間にこのカードが何回トランザクションを行ったか？1分間に5回のトランザクションが発生したカードは、典型的なカードテストの動作を示しています。状態はTTLによって自動的に期限切れになるため、メモリの無限の増加や手動でのクリーンアップは不要です。
• エンリッチメントは、加盟店のリスクプロファイルとカード保有者データからコンテキストを追加します。これは高リスクの加盟店カテゴリ（ギフトカード、宝飾品）ですか？カード保有者は通常50ドルまたは5,000ドルを使いますか？これらのルックアップでは、ブロードキャスト結合ではなくPython辞書を使用し、ストリーミングパイプラインでレイテンシを追加する可能性のあるBroadcastExchangeのオーバーヘッドを回避します。
• スコアリングは、5つの加重不正信号（ベロシティ、地理的異常、金額偏差、加盟店カテゴリリスク、国リスク）を組み合わせて、単一の0〜100のスコアにします。各信号は専用のUDFによって計算され、重みは設定可能です。結果は説明可能なスコアになります。どの信号がどの程度貢献したかを正確に確認できます。
• ルーティングは最終的な決定を行います。トランザクションは、承認済み、手動レビューのためにフラグ付け、または自動的にブロックされたものとして分類され、適切な出力Kafkaトピックに書き込まれます。

また、さまざまなTPSレベルでのエンドツーエンドのレイテンシテストも実施しました。結果は一貫したパフォーマンスを示し、P50レイテンシは40ミリ秒未満、P99レイテンシは215〜392ミリ秒でした。これらの結果は、Databricks Platform上のRTMを使用したKafkaイン、Kafkaアウトアーキテクチャが、外部APIや追加のインフラストラクチャに依存せずに、低レイテンシで本番稼働可能なパフォーマンスを提供できることを示しています。

ステップ3：機械学習へのアップグレード

静的なルールベースの不正検出は、監査には適していますが、壊れやすいシステムを作成します。しきい値は任意です。なぜ60秒間に5回のトランザクションが「疑わしい」のでしょうか？4回や6回ではだめなのでしょうか？そして、学習がないため、システムは過去の決定から改善されません。

高度なノートブックは、このロジックをガバナンスされた機械学習モデルにアップグレードします。この移行により、リスクチームは偽陽性を減らし、新たな不正パターンに適応し、MLflowの組み込み実験追跡とバージョニングを通じて規制当局にモデルの系統を証明できます。これにより、2つの新しいプラットフォーム機能が導入されます。

• オンラインサービングレイヤーとしてのLakebase。LakebaseはDatabricksのマネージドPostgreSQLサービスです。Spark Structured StreamingのforeachシンクとカスタムLakebaseFeatureWriterを使用して、パイプラインはカードごとの特徴量、ベロシティパターン、平均トランザクション金額、地理的範囲などを継続的にLakebaseテーブルにストリーミングし、upsertセマンティクスで更新します。Lakebaseはサブミリ秒の読み取りを提供するため、外部インフラストラクチャを管理せずにリアルタイムの特徴量サービングに最適です。
• モデルのトレーニングとサービングのためのMLflow。RandomForest分類器は、実験追跡とモデルバージョニングのためにMLflowを使用して、過去のラベル付きデータでトレーニングされます。トレーニングされたモデルはSpark UDFとしてロードされ、ストリーミングパイプライン内のすべてのトランザクションに適用されます。Lakebaseからのライブ特徴量と組み合わせることで、モデルは静的ルールが見逃す特徴量間の非線形関係を学習し、新しいラベル付きデータが利用可能になるにつれて時間とともに改善されます。

ステップ4：すべてをリアルタイムで監視

運用上の可視性は、リアルタイムの規制報告義務の下で働く不正チームにとって、譲れない要件です。システムを観測可能にするために、アクセラレータには、Lakebaseから直接読み取ってライブ不正監視ダッシュボードを提供するStreamlitベースのDatabricks Appsが含まれています。これにより、不正アナリストやリスクマネージャーは、エンジニアリングサポートなしでシステムが行うすべての決定を、ライブで監査可能なビューで確認できます。ユーザーは、スコアリングされた総トランザクション数、決定の内訳（承認済み、フラグ付け、ブロック済み）、カードレベルの詳細を持つ最近の不正スコア、および不正確率分布を、すべて10秒ごとに自動更新で追跡できます。これは、技術的に機能するだけでなく、実際にも使用できるシステムにする運用レイヤーです。

重要なのは、すべてが1つのプラットフォームで実行されるということです。バッチETLとMLトレーニングを強化するのと同じSparkエンジンが、サブ300ミリ秒のストリーミングを処理します。Unity Catalogは、ストリーミングテーブルとトレーニングデータの両方をガバナンスします。MLflowは、バッチ推論またはリアルタイムスコアリングで使用されるかどうかにかかわらず、不正モデルを追跡します。すべてが同じプラットフォーム上にあるため、統合のギャップ、ガバナンスの分割、維持するセカンドスタックはありません。

はじめに

このソリューションアクセラレータは、段階的に適応できるように設計されています。シンプルに始め、必要に応じて複雑さを追加してください。

• クイックスタート：リポジトリをクローンし、`notebooks/RTM_00_Quick_Start.py`を開き、リアルタイムモードで実行するように構成されたクラスターで実行します。RTMがサブ300ミリ秒のレイテンシで合成トランザクションを処理する様子を確認できます。Kafkaや外部セットアップは不要です。
• 完全なパイプライン：Kafkaシークレットスコープをブローカーアドレスで設定し、`notebooks/RTM_01_Introduction_fraud_detection.py`を実行します。これにより、Kafkaから読み書きする完全なパース・エンリッチ・スコア・ルートパイプラインが得られます。実行すると、トランザクションが5つのステージすべてを通過し、決定が承認済み、フラグ付け、ブロック済みの出力トピックに着陸する様子がわかります。
• MLによるスコアリング：Lakebaseインスタンスを作成し、`notebooks/RTM_02_Advanced_fraud_detection_ml.py`を実行します。これにより、Lakebaseへの特徴量ストリーミング、MLflowを使用したモデルトレーニング、およびパイプラインでのMLベースのスコアリングが追加されます。完了すると、MLflowはトレーニング済みモデルをログに記録し、パイプラインはルールベースの重みに代わってMLから派生した不正スコアの放出を開始します。
• ライブ監視アプリ：`apps/`からStreamlitアプリをLakebaseリソースバインディングを持つDatabricks Appsとしてデプロイします。アプリは自動的に接続し、ライブ不正スコアの表示を開始します。

Declarative Automation Bundlesを使用すると、最も迅速に開始できます。クローンしてデプロイし、実行するだけです。

バンドルは、正しく構成されたクラスターを自動的にプロビジョニングし、すべてのノートブックを順番に実行します。

リアルタイムモードの詳細

リアルタイムモードは、AWS、Azure、GCP全体でDatabricksで一般提供されています。不正検出ソリューションアクセラレータはオープンソースであり、デプロイ可能です。

• GitHubでソリューションアクセラレータを入手する
• リアルタイムモードのドキュメント
• リアルタイムモードGAのお知らせ

(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事