メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                • パートナー
                  • クラウドプロバイダ
                    Databricks on AWS、Azure、GCP
                    • コンサルティング・SI
                      Databricks の構築・デプロイ、Databricks への移行のエキスパート
                      • 技術パートナー
                        既存のツールをレイクハウスに接続
                        • C&SI パートナー
                          レイクハウスの構築・デプロイメント、レイクハウスへの移行
                          • データパートナー
                            データコンシューマーのエコシステムにアクセス
                            • パートナーソリューション
                              業界・移行のニーズに応じたカスタムソリューション
                              • Databricks で構築
                                ビジネスの創造・マーケティング・成長
                              • Databricks プラットフォーム
                                • プラットフォームの概要
                                  データ・分析・AI のための統合プラットフォーム
                                  • データ管理
                                    データの信頼性・セキュリティ・パフォーマンス
                                    • 共有
                                      オープン、セキュア、ゼロコピーでのデータ共有
                                      • データウェアハウジング
                                        バッチ、ストリーミングデータのための ETL とオーケストレーション
                                        • ガバナンス
                                          データ・分析・AI のための統合ガバナンス
                                          • データエンジニアリング
                                            バッチ、ストリーミングデータのための ETL とオーケストレーション
                                            • 人工知能(AI)
                                              ML と生成 AI アプリケーションの構築とデプロイメント
                                              • データサイエンス
                                                データサイエンスの大規模な連携
                                                • BI
                                                  実世界データのインテリジェント分析
                                                  • アプリケーション開発
                                                    安全なデータと AI アプリを迅速に構築
                                                    • データベース
                                                      データアプリとAIエージェントのための Postgres
                                                    • 統合とデータ
                                                      • マーケットプレイス
                                                        データ、分析、AI のためのオープンマーケットプレイス
                                                        • IDE 統合
                                                          お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                          • パートナーコネクト
                                                            Databricks エコシステムの検索と統合
                                                          • ご利用料金
                                                            • Databricks のご利用料金
                                                              料金設定、DBU、その他
                                                              • コスト計算ツール
                                                                クラウド利用でのコンピュートコストの試算
                                                              • オープンソース
                                                                • オープンソーステクノロジー
                                                                  プラットフォームを支えるイノベーションをもっと詳しく
                                                                • 業界向け Databricks
                                                                  • 通信
                                                                    • メディア・エンターテイメント
                                                                      • 金融サービス
                                                                        • 官公庁・公共機関
                                                                          • 医療・ライフサイエンス
                                                                            • リテール・消費財
                                                                              • 製造
                                                                                • 全て見る
                                                                                • クロスインダストリーソリューション
                                                                                  • サイバーセキュリティ
                                                                                    • マーケティング
                                                                                    • 移行・デプロイメント
                                                                                      • データの移行
                                                                                        • プロフェッショナルサービス
                                                                                        • ソリューションアクセラレータ
                                                                                          • ソリューションアクセラレータ一覧
                                                                                            成果を加速
                                                                                          • トレーニング・認定試験
                                                                                            • トレーニング概要
                                                                                              ニーズに合わせたカリキュラムを探す
                                                                                              • Databricks アカデミー
                                                                                                Databricks ラーニングプラットフォームにサインインする
                                                                                                • 認定
                                                                                                  スキル・認定で差別化を図る
                                                                                                  • 無料版
                                                                                                    専門家向けデータとAIツールを無料で学べます
                                                                                                    • 大学との連携
                                                                                                      Databricks を教材として活用
                                                                                                    • イベント
                                                                                                      • DATA+AI サミット
                                                                                                        • Data+AI ワールドツアー
                                                                                                          • Data Intelligence Days
                                                                                                            • イベントカレンダー
                                                                                                            • ブログ・ポッドキャスト
                                                                                                              • Databricks ブログ
                                                                                                                最新情報、製品発表、その他の情報
                                                                                                                • Databricks Mosaic AIリサーチブログ
                                                                                                                  AI世代に関する最新リサーチ
                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                    ご相談・お問い合わせ
                                                                                                                    • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                      イノベーションを支えるデータリーダーのインサイト
                                                                                                                    • お役立ちリソース
                                                                                                                      • カスタマーサポート
                                                                                                                        • ドキュメント
                                                                                                                          • コミュニティ
                                                                                                                          • もっと詳しく
                                                                                                                            • リソースセンター
                                                                                                                              • デモセンター
                                                                                                                                • アーキテクチャ センター
                                                                                                                                • 企業概要
                                                                                                                                  • Databricks について
                                                                                                                                    • 経営陣
                                                                                                                                      • Databricks Ventures
                                                                                                                                        • ご相談・お問い合わせ
                                                                                                                                        • 採用情報
                                                                                                                                          • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            • プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                                • 受賞歴と業界評価
                                                                                                                                                • セキュリティと信頼
                                                                                                                                                  • セキュリティと信頼
                                                                                                                                              • 是非ご検討ください!
                                                                                                                                              • デモを見る
                                                                                                                                              • ログイン
                                                                                                                                              • Databricks 無料トライアル
                                                                                                                                              1. ブログ
                                                                                                                                              2. /
                                                                                                                                                ニュース
                                                                                                                                              3. /
                                                                                                                                                記事

                                                                                                                                              [ゲスト投稿:Tecton]レイクハウスにおけるリアルタイムの不正検知

                                                                                                                                              本記事はパートナーであるTectonのゲスト投稿です。

                                                                                                                                              Guest Post: Real-Time Fraud Detection in the Lakehouse

                                                                                                                                              Published: November 22, 2023

                                                                                                                                              ニュース1分未満

                                                                                                                                              ニック・リー、ニティン・ワグ による投稿

                                                                                                                                              この投稿を共有する

                                                                                                                                              最新の投稿を通知します

                                                                                                                                              不正行為の代償は計り知れない。 2022年には、不正行為の1つであるカード非携帯型不正行為が、米国だけで約60億ドルの損失をもたらした。 連邦取引委員会によると、米国における詐欺のトップ5は以下の通りである1:

                                                                                                                                              1. 偽者
                                                                                                                                              2. オンラインショッピング
                                                                                                                                              3. 賞品、懸賞、宝くじ
                                                                                                                                              4. 投資
                                                                                                                                              5. ビジネスと仕事の機会

                                                                                                                                              すでに多くの企業が、リアルタイムの不正防止と検知を大規模に自動化するためにAIを活用し始めている。 しかし、これは詐欺師が絶えず新しい方法を考え出し、発見をすり抜ける、猫とネズミのゲームなのだ。 AIモデルは常に進化し、最も新鮮なデータを入力として取り込む必要があるため、機能の鮮度とモデル開発のスピードが成功に不可欠となる。

                                                                                                                                              このブログでは、Tecton on Databricksを活用してリアルタイム不正検知システムを構築するための主な方法をご紹介する。 最後に実際の例をいくつか挙げているので、読んでみてほしい!

                                                                                                                                              MLフィーチャーパイプラインの拡張

                                                                                                                                              不正は、膨大で大量のネットワーク(1秒間に何千ものトランザクションがあると考える)内で特に蔓延している。 このようなネットワークで不正を摘発するためには、企業は信頼性が高くスケーラブルなストレージとコンピュートを必要としている。 Databricks Data Intelligence Platformは優れたオプションであり、特にDelta Lakeは1万社以上の企業で使用され、1日あたりエクサバイトのデータを処理している。 MLモデル側では、MLflowのような機能がMLOpsを大規模に提供する。 Databricks Model Serving は、MLflow の機械学習モデルをスケーラブルな REST API エンドポイントとして公開し、モデルをデプロイするための高可用性かつ低レイテンシのサービスを提供します。 このサービスは、需要の変化に合わせて自動的にスケールアップまたはスケールダウンするため、レイテンシー・パフォーマンスを最適化しながらインフラコストを節約できる。 Databricksは、信頼性の高いストレージ、コンピュート、モデルデプロイメント、およびモニタリングのためのセキュアな環境を提供する。

                                                                                                                                              2019年の設立以来、TectonはDatabricksと提携し、リアルタイムフィーチャーデータパイプラインという中核的な課題を解決することで、プロダクションスケールでのリアルタイム機械学習の機能を強化してきた。Tectonはフィーチャーアズコードを管理し、バッチ、ストリーミング、リアルタイムのデータソースにわたる変換とオンラインサービングからモニタリングまで、エンドツーエンドのMLフィーチャーパイプラインを自動化する。パイプライン全体は、DatabricksのコンピュートとDelta Lake上に構築される。

                                                                                                                                              TectonとDatabricksを利用することで、データチームはMLモデルのTime-to-Valueを最大化し、本番環境でモデルの正確性と信頼性を確保し、コストを管理し、MLスタックの将来性を証明することができる。

                                                                                                                                              TectonをDatabricks上で使用し、リアルタイムの不正検知を実現

                                                                                                                                              バッチ、ストリーミング、リアルタイムズMLの機能のアンロック

                                                                                                                                              データインプットの鮮度が高ければ高いほど、不正行為を検出できる可能性が高まる。Databricksは、オープンソースのデータ標準を採用した大規模でスケーラブルなクラウドオブジェクトストレージにデータを保管し、Databricks Unity Catalogによって機密性の高い不正データへのアクセスを管理する。

                                                                                                                                              TectonはLakehouseの柔軟性を活用し、膨大な不正データセットの特徴を計算する。クレジットカード詐欺を例にとると、Databricks上のTectonを使えば、最新のデータシグナルをML機能に注入するのが非常に簡単になる。ある顧客が過去1時間、1日、1週間に何件の取引を行ったかを知りたいかもしれない。このようなウィンドウ集約は、数行のコードで簡単に作成できる。さらに、オンデマンド機能は、推論時に提供されるデータを使って、機能をジャストインタイムで計算することができる。例えば、現在のトランザクションが、ある時間ウィンドウの平均しきい値より大きいか小さいかを判断するようなことができる。

                                                                                                                                              MLフィーチャーを本番環境にデプロイする

                                                                                                                                              データサイエンティストが不正検知モデルの新しいフィーチャーをいくつか開発し、本番環境で使用したいとする。Tectonで機能を定義すれば、ワンクリックでこれらの機能を本番稼動させることができる。Tectonは、最新の生データの取り込みを処理し、あなたが決定したスケジュールでフィーチャーに変換し、これらのフィーチャーをトレーニングやサービスに簡単に利用できるようにし、本番環境でのフィーチャーのパフォーマンスを監視する。テクトンはまた、コスト効率の高いパフォーマンスを最大化するために、特徴の計算と保存を最適化する。Tectonは、Delta LakeやDatabricksコンピュートなどのデータソースを活用している。

                                                                                                                                              大規模なリアルタイム推論

                                                                                                                                              リアルタイム推論は、より多くの取引が発生する前に不正をキャッチするために不可欠である。米国では、クレジットカード詐欺だけで毎年110億ドル以上の損失が発生していることを考えると、詐欺が実際に発生した瞬間に捕捉することが極めて重要である。security.orgによると、タイムリーな詐欺アラートを提供するという単純な行為でさえ、顧客は(数日や数週間ではなく)数分や数時間以内に自分の口座の詐欺を発見することができた。

                                                                                                                                               

                                                                                                                                              詐欺師の先を行くためには、不正検知モデルが、取引量の多い時期(休日など)でも、電光石火のスピードで意思決定できることを確認したい。Databricksのリアルタイムモデルサービングは、REST APIとしてMLモデルをデプロイするため、サービングインフラの管理に煩わされることなく、リアルタイムのMLアプリケーションを構築することができる。

                                                                                                                                              TectonはDatabricksのリアルタイムモデルサービングとシームレスに統合し、Databricksのオンラインストアからリアルタイム機能を取得するためのセキュアなREST APIを提供する。Tecton自体は、エンタープライズ・セキュリティのベスト・プラクティスを採用しており、SOC 2 Type 2に準拠している。

                                                                                                                                              Example architecture for fraud detection with Databricks and Tecton

                                                                                                                                              本番環境で複数のMLモデルを拡張する

                                                                                                                                              MLflow Model Registry と Databricks 上の Model Serving により、チームは複数のモデルを容易に反復し、最良の候補を本番環境に導入することができる。Tecton を使用することで、これらのモデルのいずれかに配信されたフィーチャーを簡単に管理し、オンライン ストアでの稼働時間やクエリ パフォーマンスを監視することができる。Tectonは、機能生成に宣言的な "Features-as-Code "アプローチを採用しているため、ユーザーは、次のモデル反復のニーズを満たすために、既存の機能を簡単に修正・拡張することができる。

                                                                                                                                              Easily monitor activity and uptime for your online feature store in the Tecton Web UI

                                                                                                                                              Databricks上でのTectonの使用方法についてご興味がおありですか?

                                                                                                                                              Tectonのドキュメントをチェックするか、[email protected]にメールを送ってください。

                                                                                                                                              Databricksでリアルタイムの不正検出のためのフィーチャ開発とモデルのトレーニングを行う方法を示すサンプルNotebook については、このgithubリンクにアクセスするか、サンプルNotebook をご覧ください。

                                                                                                                                              最新の投稿を通知します

                                                                                                                                              関連記事

                                                                                                                                              この投稿を共有する

                                                                                                                                              Databricksの投稿を見逃さないようにしましょう

                                                                                                                                              興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                              Sign up

                                                                                                                                              次は何ですか?

                                                                                                                                              Databricks Ventures Invests in Twelve Labs to Bring Video Intelligence to the Data Intelligence Platform

                                                                                                                                              ニュース

                                                                                                                                              December 16, 2024/1分未満

                                                                                                                                              Databricks VenturesがTwelve Labsに投資し、データインテリジェンスプラットフォームにビデオインテリジェンスを導入

                                                                                                                                              Gartner Magic Quadrant for Clod DBMS

                                                                                                                                              ニュース

                                                                                                                                              December 23, 2024/2分で読めます

                                                                                                                                              Databricks、2024年 Gartner® クラウド データベース管理システム部門の Magic Quadrant™ のリーダーの 1 社に。

                                                                                                                                              databricks logo
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              • エグゼクティブ向け
                                                                                                                                              • スタートアップ向け
                                                                                                                                              • レイクハウスアーキテクチャ
                                                                                                                                              • Mosaic Research
                                                                                                                                              導入事例
                                                                                                                                              • 注目の導入事例
                                                                                                                                              パートナー
                                                                                                                                              • クラウドプロバイダ
                                                                                                                                              • 技術パートナー
                                                                                                                                              • データパートナー
                                                                                                                                              • Databricks で構築
                                                                                                                                              • コンサルティング・SI
                                                                                                                                              • C&SI パートナー
                                                                                                                                              • パートナーソリューション
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              • エグゼクティブ向け
                                                                                                                                              • スタートアップ向け
                                                                                                                                              • レイクハウスアーキテクチャ
                                                                                                                                              • Mosaic Research
                                                                                                                                              導入事例
                                                                                                                                              • 注目の導入事例
                                                                                                                                              パートナー
                                                                                                                                              • クラウドプロバイダ
                                                                                                                                              • 技術パートナー
                                                                                                                                              • データパートナー
                                                                                                                                              • Databricks で構築
                                                                                                                                              • コンサルティング・SI
                                                                                                                                              • C&SI パートナー
                                                                                                                                              • パートナーソリューション
                                                                                                                                              製品
                                                                                                                                              レイクハウスプラットフォーム
                                                                                                                                              • プラットフォーム
                                                                                                                                              • 共有
                                                                                                                                              • データガバナンス
                                                                                                                                              • 人工知能(AI)
                                                                                                                                              • DBRX
                                                                                                                                              • データベース
                                                                                                                                              • データ管理
                                                                                                                                              • データウェアハウス
                                                                                                                                              • データエンジニアリング
                                                                                                                                              • データサイエンス
                                                                                                                                              • アプリケーション開発
                                                                                                                                              ご利用料金
                                                                                                                                              • 料金設定の概要
                                                                                                                                              • 料金計算ツール
                                                                                                                                              オープンソース
                                                                                                                                              統合とデータ
                                                                                                                                              • マーケットプレイス
                                                                                                                                              • IDE 統合
                                                                                                                                              • パートナーコネクト
                                                                                                                                              レイクハウスプラットフォーム
                                                                                                                                              • プラットフォーム
                                                                                                                                              • 共有
                                                                                                                                              • データガバナンス
                                                                                                                                              • 人工知能(AI)
                                                                                                                                              • DBRX
                                                                                                                                              • データベース
                                                                                                                                              • データ管理
                                                                                                                                              • データウェアハウス
                                                                                                                                              • データエンジニアリング
                                                                                                                                              • データサイエンス
                                                                                                                                              • アプリケーション開発
                                                                                                                                              ご利用料金
                                                                                                                                              • 料金設定の概要
                                                                                                                                              • 料金計算ツール
                                                                                                                                              統合とデータ
                                                                                                                                              • マーケットプレイス
                                                                                                                                              • IDE 統合
                                                                                                                                              • パートナーコネクト
                                                                                                                                              ソリューション
                                                                                                                                              業種別
                                                                                                                                              • 通信
                                                                                                                                              • 金融サービス
                                                                                                                                              • 医療・ライフサイエンス
                                                                                                                                              • 製造
                                                                                                                                              • メディア・エンタメ
                                                                                                                                              • 官公庁・公共機関
                                                                                                                                              • リテール・消費財
                                                                                                                                              • 全て表示
                                                                                                                                              クロスインダストリーソリューション
                                                                                                                                              • サイバーセキュリティ
                                                                                                                                              • マーケティング
                                                                                                                                              データの移行
                                                                                                                                              プロフェッショナルサービス
                                                                                                                                              ソリューションアクセラレータ
                                                                                                                                              業種別
                                                                                                                                              • 通信
                                                                                                                                              • 金融サービス
                                                                                                                                              • 医療・ライフサイエンス
                                                                                                                                              • 製造
                                                                                                                                              • メディア・エンタメ
                                                                                                                                              • 官公庁・公共機関
                                                                                                                                              • リテール・消費財
                                                                                                                                              • 全て表示
                                                                                                                                              クロスインダストリーソリューション
                                                                                                                                              • サイバーセキュリティ
                                                                                                                                              • マーケティング
                                                                                                                                              リソース
                                                                                                                                              ドキュメント
                                                                                                                                              カスタマーサポート
                                                                                                                                              コミュニティ
                                                                                                                                              トレーニング・認定試験
                                                                                                                                              • トレーニング
                                                                                                                                              • 認定
                                                                                                                                              • 無料版
                                                                                                                                              • 大学との連携
                                                                                                                                              • Databricks アカデミー
                                                                                                                                              イベント
                                                                                                                                              • DATA+AI サミット
                                                                                                                                              • Data+AI ワールドツアー
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • イベントカレンダー
                                                                                                                                              ブログ・ポッドキャスト
                                                                                                                                              • Databricks ブログ
                                                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                                              • Data Brew ポッドキャスト
                                                                                                                                              • Data+AI のチャンピオンシリーズ
                                                                                                                                              トレーニング・認定試験
                                                                                                                                              • トレーニング
                                                                                                                                              • 認定
                                                                                                                                              • 無料版
                                                                                                                                              • 大学との連携
                                                                                                                                              • Databricks アカデミー
                                                                                                                                              イベント
                                                                                                                                              • DATA+AI サミット
                                                                                                                                              • Data+AI ワールドツアー
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • イベントカレンダー
                                                                                                                                              ブログ・ポッドキャスト
                                                                                                                                              • Databricks ブログ
                                                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                                              • Data Brew ポッドキャスト
                                                                                                                                              • Data+AI のチャンピオンシリーズ
                                                                                                                                              企業情報
                                                                                                                                              企業概要
                                                                                                                                              • Databricks について
                                                                                                                                              • 経営陣
                                                                                                                                              • Databricks Ventures
                                                                                                                                              • ご相談・お問い合わせ
                                                                                                                                              採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                              • 求人情報
                                                                                                                                              プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              セキュリティと信頼
                                                                                                                                              企業概要
                                                                                                                                              • Databricks について
                                                                                                                                              • 経営陣
                                                                                                                                              • Databricks Ventures
                                                                                                                                              • ご相談・お問い合わせ
                                                                                                                                              採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                              • 求人情報
                                                                                                                                              プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              databricks logo

                                                                                                                                              Databricks Inc.
                                                                                                                                              160 Spear Street, 15th Floor
                                                                                                                                              San Francisco, CA 94105
                                                                                                                                              1-866-330-0121

                                                                                                                                              採用情報

                                                                                                                                              © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                              • プライバシー通知
                                                                                                                                              • |利用規約
                                                                                                                                              • |現代奴隷法に関する声明
                                                                                                                                              • |カリフォルニア州のプライバシー権利
                                                                                                                                              • |プライバシー設定