결제 사기 탐지: 은행과 기업이 부정 거래를 차단하는 방법

결제 사기 탐지는 금융 서비스에서 가장 데이터 집약적인 과제 중 하나가 되었습니다. 결제 사기로 인해 기업은 매년 1억 달러 이상의 비용을 지출하고 있습니다. 하지만 이 수치조차도 실제 피해를 과소평가한 것입니다. 차지백(chargeback) 수수료, 규제 당국의 조사, 평판 훼손 등이 직접적인 사기 피해를 더욱 가중시키기 때문입니다. 디지털 결제 환경에서 운영되는 은행, 가맹점, 핀테크 기업에 이제 사기 탐지에 투자할 것인가의 여부는 더 이상 고민거리가 아닙니다. 관건은 현대적인 사기 수법의 속도에 맞춰 대응할 수 있을 만큼 빠른 시스템을 어떻게 구축할 것인가입니다.

결제 사기 탐지는 도난당한 자금이 이체되기 전에 승인되지 않은 거래를 식별하고 차단하는 작업입니다. 현대적인 시스템은 구매가 이루어진 후 수 밀리초 이내에 수백 개의 데이터 포인트를 분석합니다. 기기 지문(device fingerprint), 지리적 위치 신호, 거래 이력, 행동 바이오메트릭스를 교차 참조하여 모든 결제 요청에 대한 위험 점수를 계산합니다. 위험 점수가 정의된 임계값을 초과하면 결제가 거부되거나 수동 검토 대상으로 분류됩니다.

결제 사기란 무엇이며 왜 계속 진화하는가

결제 사기는 악의적인 행위자가 도난당하거나 위조된 결제 정보를 사용하여 승인되지 않은 금융 거래를 완료할 때 발생합니다. 다양한 공격 경로에서 결제 사기가 어떻게 작동하는지 이해하는 것은 효과적인 방어 체계를 구축하기 위한 필수 전제 조건입니다. 결제 사기 트렌드를 보면, 카드 비접촉(card-not-present) 거래는 결제 단말기에서 이루어지는 실물 확인이 불가능하기 때문에 온라인 결제 사기가 가속화되고 있음을 일관되게 보여줍니다. 현재 CNP 사기는 모든 주요 시장에서 카드 사기 피해의 대부분을 차지하고 있습니다.

사기 환경은 신원 레이어(identity-layer) 공격으로도 이동하고 있습니다. 계정 탈취 사기는 피싱 공격이나 데이터 유출을 통해 획득한 도난된 자격 증명을 사용하여, 알려진 사용자로부터 시작된 것처럼 보이는 대규모 송금을 실행함으로써 결제 사기를 저지릅니다. 비즈니스 이메일 침해(BEC) 사기는 피싱 이메일에서 임원을 사칭하여 직원이 사기 계좌로 돈을 송금하도록 속입니다. 실시간 결제의 취소 불가능성으로 인해 이 두 가지 공격 유형은 특히 큰 피해를 입힙니다.

오늘날 기업이 직면한 주요 결제 사기 유형

신용카드 사기 및 CNP 공격

신용카드 사기는 도난당한 카드 정보를 사용하여 실물 위조 카드를 제작해 직접 구매하거나, CNP 사기 환경을 통해 원격으로 구매하는 행위를 포함합니다. 가맹점이 실물 카드를 확인할 수 없기 때문에 온라인 채널에서는 CNP 사기가 주를 이룹니다. 탐지 신호로는 청구지 주소와 배송지 주소의 불일치, 여러 가맹점 간의 비정상적인 거래 빈도(velocity), 카드 소유자의 기존 거래 패턴에서 벗어난 갑작스러운 구매 패턴 변화 등이 있습니다. 은행 계좌의 비정상적인 입출금 빈도를 모니터링하는 기업은 차지백이 누적되기 전에 카드 사기를 잡아낼 수 있습니다.

주소 확인 검사는 여전히 기본적인 통제 수단이지만, 정교한 사기 조직은 이를 우회하기 위해 주소를 계속 변경합니다. 가장 효과적인 대응책은 현재 행동을 과거 프로필과 비교하여 편차를 동시에 표시하는 실시간 거래 모니터링입니다.

카드 테스팅 및 계정 탈취 사기

사기꾼들이 도난당한 활성 카드를 식별하기 위해 체계적으로 소액 승인을 시도하는 카드 테스팅 사기는 종종 더 큰 사기 피해의 전조가 됩니다. 결제 단계가 간단한 가맹점을 대상으로 하는 고빈도 소액 거래가 주요 신호입니다. 결제 시도에 대한 속도 제한(rate-limiting) 규칙과 빈도 확인(velocity check)이 표준 방어 수단이며, 정상적인 고객이 차단되지 않도록 신중하게 조정해야 합니다.

계정 탈취 사기는 결제 정보 자체를 직접 겨냥하기보다는 인증 레이어를 표적으로 삼습니다. 공격자가 도난당한 자격 증명을 사용하여 계정에 액세스하면, 이메일 주소를 변경하거나 새로운 결제 수단을 추가하거나 대규모 송금을 시작할 수 있습니다. 이는 알려진 계정에서 발생한 것이므로 사기 경고를 유발하지 않습니다. MFA는 특히 자격 증명 변경 및 대규모 결제 요청과 같은 고위험 이벤트에서 가장 효과적인 억제책입니다.

APP 사기, 우호적 사기(Friendly Fraud) 및 앱 사기

APP(Authorised Push Payment) 사기는 피싱이나 사회 공학적 기법을 통해 계좌 소유자를 속여 사기 계좌로 직접 돈을 송금하도록 유도합니다. 실시간 결제의 취소 불가능성으로 인해 APP 사기는 심각한 피해를 초래합니다. 송금 시점에 고객에게 알림을 보내 비정상적인 수취인 계좌나 패턴에서 벗어난 거래 금액을 표시하는 것이 가장 효과적인 통제 수단 중 하나입니다.

우호적 사기(friendly fraud)는 고객이 합법적인 거래에 대해 이의를 제기하여 차지백을 유도할 때 발생합니다. 우호적 사기가 대규모로 발생하면 차지백 수수료로 인해 가맹점의 운영 비용이 크게 증가할 수 있습니다. 확실한 배송 확인 데이터와 환불 검증 워크플로우를 활용하면 실제 정당한 이의 제기와 의도적인 악용을 구분하는 데 도움이 됩니다.

앱 사기는 합성 신원(synthetic identity)으로 생성된 사기 계정을 통해 모바일 결제 채널을 악용합니다. 기프트 카드 사기도 이와 유사한 패턴을 따릅니다. 도난당한 결제 정보로 고액의 기프트 카드를 구매한 후 즉시 현금화하는 방식입니다. 기프트 카드 전용 위험 규칙, 구매 시점의 기기 지문 분석, 사용(redemption)에 대한 라이프사이클 추적이 표준 대응책입니다.

은행이 실시간으로 결제 사기를 탐지하는 방법

금융 기관은 규칙 기반 시스템, 머신러닝, 행동 분석을 계층화된 스택으로 결합하여 모든 거래를 동시에 평가합니다. 규칙 기반 시스템은 빈도 임계값, 지리적 불가능성 확인, 가맹점 업종별 위험 점수 산정 등 사전 정의된 기준을 적용하여 결제 시스템 전반에서 의심스러운 거래를 표시합니다. 이러한 규칙은 빠르고 해석 가능하지만, 사기꾼들이 정적 임계값 바로 아래에서 활동하는 방법을 빠르게 터득하기 때문에 지속적인 조정이 필요합니다. 규칙을 효과적으로 보정하려면 각 사기 유형과 관련된 고유한 패턴인 사기 유형론(fraud typologies)을 이해하는 것이 필수적입니다.

머신러닝 모델 및 행동 분석

머신러닝 모델은 확인된 사기 거래 및 정상 거래의 과거 데이터 세트를 학습하여 복잡한 사기 패턴을 인식합니다. Visa의 AI 모델은 이 접근 방식의 강력한 확장성을 입증했습니다. 파일럿 프로젝트를 통해 사기 탐지율이 40% 향상되었으며, 이전에는 감지되지 않았던 사기 거래의 54%를 식별해 냈습니다. 현대적인 사기 탐지 시스템은 머신러닝을 사용하여 정적 규칙으로는 표현할 수 없는 수천 개의 행동 차원에서 사기 패턴을 인식합니다.

행동 분석은 상호작용 패턴을 분석하여 정상적인 사용자와 봇 및 사기꾼을 구분합니다. 타이핑 속도, 마우스 움직임, 스크롤 동작, 세션 시간 등이 결합되어 자동화된 공격이 복제하기 극도로 어려운 행동 지문을 생성합니다. 지리적 위치 및 IP 추적은 거래의 실제 물리적 위치를 청구지 주소 및 과거 활동과 비교하여, 계정 탈취나 CNP 사기를 나타내는 불일치를 식별합니다.

실시간 사기 탐지 및 CNP 사기 통제

실시간 사기 탐지 시스템은 결제 요청이 시작되는 순간 거래 데이터를 분석하여 승인 응답이 가맹점에 반환되기 전에 종합 위험 점수를 계산합니다. 알고리즘은 결제 데이터를 과거 사기 패턴, 행동 모델, 규칙 출력과 비교하여 평가하며, 결제 전환율에 영향을 미치지 않도록 전체 점수 산정 프로세스를 100밀리초 미만으로 완료합니다.

또한 실시간 거래 모니터링을 통해 고객 레이어에서 거래 알림을 보낼 수 있습니다. 의심스러운 거래에 대해 거래 알림을 활성화하면 카드 소유자에게 즉각적인 가시성을 제공하고 탐지 기간을 단축할 수 있습니다. CNP 사기는 확인할 실물 카드가 없기 때문에 특히 강력한 실시간 사기 탐지 통제가 필요합니다. 카드 네트워크의 내장형 사기 방지 기능에는 CNP 위험 점수 산정이 포함되어 있지만, CNP 사기 패턴은 가맹점 유형에 따라 크게 다르므로 맞춤형 규칙과 ML 모델이 일반적인 네트워크 기본값보다 일관되게 더 나은 성능을 발휘합니다. 배치 검토가 아닌 거래가 발생하는 즉시 실시간으로 거래를 모니터링하는 것이야말로 기업이 도난당한 자금이 이체되기 전에 사기를 예방할 수 있는 방법입니다.

기기 지문 분석은 거래에 관여된 각 기기에 대해 고유한 식별자를 생성하므로, 공격자가 새로운 계정 자격 증명을 사용하더라도 이전에 사기 시도와 연관되었던 기기를 신뢰도 높은 신호로 활용할 수 있게 해줍니다.

대규모로 이를 구현하는 아키텍처는 Spark 실시간 모드 및 Lakebase를 사용한 실시간 사기 탐지에 대한 Databricks의 접근 방식을 참조하세요.

결제 사기 예방 전략

계층형 방어 모델 및 사기 대응 전략

효과적인 결제 사기 예방을 위해서는 기술과 프로세스 통제를 결합하여 결제 사기를 방지하고, 결제 시스템에 도달하기 전에 신원 레이어에서 사기를 방지하는 다각적인 계층형 접근 방식이 필요합니다. 계층형 스택에는 일반적으로 네트워크 수준 통제(속도 제한, IP 평판 필터링), 인증 통제(MFA, 기기 바인딩), 거래 점수 산정(실시간 ML 기반 위험 점수 산정), 승인 후 모니터링(차지백 추적, 분쟁 분석)이 포함됩니다. 통제 수단을 특정 사기 유형에 매핑하는 명확한 사기 대응 전략을 통해 가장 영향력이 큰 개입 조치에 리소스를 집중할 수 있습니다.

결제 대행사가 제공하는 기본 사기 방지 기능은 기본적인 빈도 및 규칙 기반 제어를 처리하지만, 대규모로 사기 방지를 수행하고 특정 거래 패턴에 맞게 탐지 모델을 맞춤화하려는 기업은 추가적인 제어 계층을 구축해야 합니다. 또한 사기 방지 조치는 규제 벌금을 방지하는 데도 도움이 됩니다. 특히 결제 서비스 제공업체에 사기 제어를 의무화하는 PSD2(Payment Services Directive 2) 규정 준수에 매우 중요합니다.

토큰화 및 안전한 결제

토큰화는 카드 번호, 은행 계좌 식별 정보와 같은 민감한 결제 정보를 공격자가 가로채더라도 무용지물인 비민감 식별 정보로 대체합니다. 토큰화는 온라인 결제 채널 전반에서 안전한 결제를 가능하게 하고, PCI DSS 준수를 강화하며, 저장된 카드 데이터를 공격 표면(attack surface)에서 제거하여 사기 위험을 줄입니다. 기기 기반 인증을 구현하는 디지털 지갑과 같은 안전한 결제 수단과 결합하면 토큰화는 사기꾼이 이용할 수 있는 공격 표면을 크게 줄여줍니다.

3D Secure 2 및 위임된 인증

3D Secure 2(3DS2)는 카드 미제시(card-not-present) 거래에 대해 실시간 위험 기반 인증을 지원하여 온라인 결제 보안을 향상시킵니다. 3DS2는 가맹점과 카드 발급사 간에 풍부한 거래 컨텍스트를 교환하므로, 발급사는 저위험 거래를 마찰 없이 승인하는 동시에 고위험 결제에만 추가 인증을 적용할 수 있습니다. 3DS2는 유럽 거래의 경우 PSD2에 따라 의무 사항이며, 이를 도입함으로써 카드 미제시 사기 피해가 눈에 띄게 감소했습니다. 위임된 인증(Delegated authentication)은 신뢰할 수 있는 가맹점이 발급사를 대신하여 인증을 수행할 수 있도록 함으로써 전환율을 낮추지 않으면서도 보안을 한 단계 더 강화합니다.

더 많은 사기를 잡아내면서 오탐률(False Positives) 줄이기

오탐(False positives, 정상 거래를 사기 거래로 잘못 분류하는 것)은 실제 비용을 초래합니다. 차단된 거래는 매출 손실로 이어지고, 잘못된 거절을 경험한 고객은 다시 돌아오지 않는 경우가 많기 때문입니다. 기업은 방지한 사기 피해액보다 차단된 정상 거래로 인한 매출 손실이 더 클 수 있으므로 임계값 최적화(threshold optimization)를 핵심 운영 원칙으로 삼아야 합니다.

현대적인 사기 탐지는 다양한 위험 점수 기준값(risk-score cutoff)이 매출에 미치는 영향과 사기 방지 효과를 비교 테스트하는 임계값 최적화 실험을 통해 이 문제를 해결합니다. 표적화된 수동 검토 대기열은 경계선에 있는 거래를 자동으로 거절하는 대신 담당자에게 라우팅하여 정상 거래를 보호하는 동시에 사기를 잡아냅니다. 준실시간 이상 탐지(near-real-time anomaly detection)를 학습한 머신러닝 모델은 각 고객 세그먼트의 정상적인 행동이 무엇인지 지속적으로 정교화하여, 모델에 더 많은 신호가 누적될수록 오탐률을 줄여줍니다. 맞춤형 위험 규칙을 통해 사기 방지 팀은 특정 거래 카테고리 및 고객 세그먼트에 대해 보안과 전환율 간의 균형을 맞출 수 있습니다.

사기 탐지 소프트웨어: 고려해야 할 사항

사기 탐지 솔루션은 내장형 결제 대행사 제어 기능부터 독립형 사기 관리 플랫폼에 이르기까지 다양합니다. 특정 거래 환경에서 결제 사기가 어떻게 발생하는지 이해하는 것이 솔루션 선택의 기준이 되어야 합니다. 주요 평가 기준으로는 100ms 미만의 지연 시간을 제공하는 실시간 스코어링 기능, 규칙 기반 시스템과 함께 맞춤형 머신러닝 모델 지원, 사기 분석가가 특정 거래가 플래그 지정된 이유를 이해할 수 있도록 설명 가능성(explainability) 기능을 제공하는 사기 탐지 솔루션, 신원 확인 및 기기 지문(device fingerprinting) 데이터 소스와의 통합, 투명한 오탐률 공개 등이 있습니다.

카드 네트워크의 기본 제공 사기 방지 기능은 기본적인 빈도 제어 및 카드 미제시 사기 위험 스코어링을 처리하지만, 특정 결제 데이터 및 거래 패턴에 맞게 탐지를 맞춤화해야 하는 기업은 추가적인 제어 계층을 구축해야 합니다. 계정 수준에서 거래 알림을 활성화하면 고객이 의심스러운 청구 내역을 즉시 확인할 수 있습니다.

The Databricks 사기 탐지 솔루션 가속기는 거래 데이터에서 직접 ML 기반 결제 사기 탐지를 구축하려는 기업을 위해 피처 엔지니어링(feature engineering)부터 실시간 모델 서빙에 이르는 레퍼런스 아키텍처를 제공합니다.

명의 도용 및 엔티티 분석(Entity Resolution)

합성 신원(Synthetic Identities) 및 사기 계정

명의 도용(실제 도용된 신원 사용 및 허위 정보로 합성 신원 생성 모두 포함)은 표준 계정 개설 제어를 우회하는 사기 활동을 가능하게 합니다. 합성 신원으로 생성된 사기 계정은 감지되지 않은 채 몇 달 동안 유지될 수 있으며, 사기 행위에 사용되기 전에 합법적인 계정처럼 보이도록 거래 내역을 쌓아갑니다.

엔티티 분석(Entity Resolution) 및 신원 확인

고객 엔티티 분석(Customer entity resolution)은 여러 데이터 소스에서 신원 기록을 매칭하고 중복을 제거함으로써, 명목상 서로 다른 계정이 동일한 행위자임을 시사하는 특성을 공유하는 시점을 식별하여 이러한 격차를 해소합니다. 명의 도용으로부터 고객을 보호하는 신원 프로그램은 강력한 인증을 사용하여 민감한 계정 기능에 대한 액세스를 제한하는 동시에, 검증된 사용자에게는 마찰 없는 경험을 제공해야 합니다. 보안과 고객 경험의 균형을 맞추는 것(마찰을 추가하지 않고 보안의 균형을 유지하는 것)은 신원 계층 사기 방지의 핵심 과제입니다.

결제 사기 탐지를 위한 모니터링, 메트릭 및 데이터 기반

KPI 및 사기 위험 측정

명확한 측정 프레임워크가 없는 사기 방지 팀은 영향력이 큰 제어 수단에 체계적으로 과소 투자하게 됩니다. 핵심 성과 지표(KPI)에는 사기율, 오탐률, 승인 취소(chargeback)율 및 승인 취소 수수료, 사기 탐지율, 자동 제어를 우회하는 사기에 대한 평균 탐지 시간(mean time to detection) 등이 포함됩니다.

사기 탐지를 위한 데이터 인프라

결제 사기 탐지에 어려움을 겪는 대부분의 기업은 모델 문제 이전에 데이터 문제를 겪고 있습니다. 사기 시나리오를 파악하려면 거래 데이터, 신원 데이터, 기기 데이터, 행동 데이터의 신호가 동시에 필요하지만, 이러한 데이터 세트가 서로 다른 시스템에 분산되어 있으면 모델은 부분적인 정보만 처리할 수 있습니다. 데이터 레이크하우스 아키텍처는 머신러닝 모델이 교차 채널 신호에 액세스하고 실시간으로 서빙될 수 있는 단일 플랫폼으로 데이터를 통합하여 이 문제를 해결합니다. 규제 대상 산업의 경우, 사이버 보안 및 금융 사기를 위한 레이크하우스는 사기 방지 인프라에 필요한 거버넌스 계층을 제공합니다.

결제 사기 탐지에 대해 자주 묻는 질문

결제 사기 탐지는 어떻게 작동하나요?

결제 사기 탐지는 규칙 기반 기준 및 머신러닝 위험 모델을 기반으로 거래 데이터를 실시간으로 분석하여 작동합니다. 결제 요청이 들어오면 시스템은 기기 지문, 지리적 위치, 거래 금액, 빈도, 행동 패턴 등 수백 개의 신호를 평가하고 수 밀리초 내에 위험 점수를 계산합니다. 위험 점수가 정의된 임계값을 초과하면 결제가 거절되거나 수동 검토로 라우팅됩니다. 위험 점수가 낮은 정상 거래는 마찰 없이 진행됩니다.

가장 흔한 결제 사기 유형에는 어떤 것이 있나요?

가장 흔한 결제 사기 유형으로는 신용카드 사기(도용한 카드 정보로 구매), 카드 미제시 사기(실물 카드 확인 없이 온라인 구매), 계정 탈취 사기(도용한 자격 증명으로 기존 계정에 액세스 및 남용), 승인된 푸시 결제 사기(피해자를 조종하여 사기 계좌로 송금을 유도), 우호적 사기(정상 거래에 대해 이의를 제기하여 승인 취소를 유도), 카드 테스트 사기(소액 결제로 도용한 카드를 체계적으로 테스트) 등이 있습니다.

은행은 실시간으로 결제 사기를 어떻게 탐지하나요?

은행은 규칙 기반 필터, 과거 거래 데이터를 학습한 머신러닝 모델, 행동 분석, 기기 인텔리전스를 결합한 다계층 시스템을 통해 결제 사기를 탐지합니다. 각 결제 거래는 활성화된 모든 모델에 대해 동시에 점수가 매겨지며, 고위험 거래는 자동으로 차단되거나 사기 분석가에게 에스컬레이션됩니다. 또한 은행은 포트폴리오 수준에서 거래 패턴을 모니터링하여 새로운 사기 캠페인을 나타내는 승인 취소 또는 기기 유형의 비정상적인 급증을 감지합니다.

머신러닝 모델은 결제 사기 탐지를 어떻게 개선하나요?

머신러닝 모델은 규칙 기반 시스템이 표현할 수 없는 거래 데이터의 복잡한 패턴을 식별하여 사기 탐지 성능을 향상시킵니다. 고정된 임계값을 적용하는 대신, 머신러닝 모델은 과거 데이터로부터 수백 개의 거래 피처(feature)와 사기 결과 간의 관계를 학습하므로, 새로운 사기 패턴을 인식하고 사기 수법이 진화함에 따라 적응할 수 있습니다. 행동 모델은 개별 사용자별로 정상적인 행동이 어떤 것인지 학습하므로, 공격자가 유효한 자격 증명을 가지고 있더라도 계정 탈취 공격을 즉시 탐지할 수 있습니다.

사기 탐지(fraud detection)와 사기 방지(fraud prevention)의 차이점은 무엇인가요?

부정 거래 탐지는 사기 거래가 발생하는 즉시 또는 완료된 후에 이를 식별하는 반면, 부정 거래 방지 제어는 애초에 사기 시도가 성공할 가능성을 낮춥니다. 토큰화, 다요소 인증, 3D Secure 등록, 기기 바인딩과 같은 강력한 부정 거래 방지 조치는 탐지 시스템이 걸러내야 하는 부정 거래의 양을 줄여줍니다. 효과적인 결제 부정 거래 대응 전략에는 이 두 가지가 모두 필요합니다. 방지는 공격 표면을 줄이고, 탐지는 방지망을 벗어난 부분을 포착합니다.

결제 부정 행위는 정적 제어 조치가 적응하는 속도보다 더 빠르게 진화합니다. 통합된 실시간 데이터 인프라를 기반으로 부정 탐지 시스템을 구축하여, 머신러닝 모델을 최신 거래 데이터에 대해 지속적으로 재학습시키고 결제 승인 흐름에 직접 배포할 수 있는 기업은 주기적인 규칙 업데이트와 배치 탐지 주기에 의존하는 기업보다 지속적으로 더 뛰어난 성과를 거둘 것입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)