대규모 사기 탐지 달성
"Databricks를 통해 우리는 하나의 통합된 팀이 증권 시장을 보호하기 위해 노력하는 하나의 응집력 있는 종단 간 프로세스를 갖게 되었습니다."
미국 금융산업 규제 기구(Financial Industry Regulatory Authority, FINRA)는 미국 증권 시장의 공정하고 정직한 운영을 보장해 투자자를 보호할 책임을 맡은 독립적인 비정부 기관입니다. FINRA에서는 12개 시장과 거래소, 3,700개 기업과 600,000여 명에 달하는 중개인을 감독하고 있습니다. FINRA에서는 규정을 집행하고 미국 국내 시장에서 범법 행위를 탐지, 예방하며 규정을 위반한 구성원을 징계하여 부정행위를 저지하고 있습니다.
문제점
FINRA는 투자자를 보호하기 위해 시장의 부정행위를 찾고자 합니다. 그 방법으로 자본 시장의 99%와 옵션 시장의 약 70%를 모니터링합니다. FINRA는 다양한 증권 시장에서 모든 거래 데이터(일일 1,000억 건 이상 거래)를 수집합니다. 그런 다음 머신 러닝 알고리즘을 사용하여 조사가 필요한 부정행위 패턴을 찾아냅니다. 안타깝게도 기존 아키텍처에서는 여러 가지 문제가 발생하여 증권 시장을 효과적이고 효율적으로 모니터링하기 어려웠습니다. 다음과 같은 어려움이 있었습니다.
- 데이터를 서로 다른 여러 온프레미스 시스템에 보관했는데, 이러한 시스템이 고도로 복잡하고 빌드, 확장 비용이 많이 들어 데이터 파이프라인이 취약해짐
- 개발과 프로덕션 시스템이 분절된 형태라 데이터 엔지니어가 Python 기반 머신 러닝 모델을 복잡한 SQL 문(보통 총 60-70페이지 분량의 코드)으로 변환해야 함
- 모델 개발 프로세스가 복잡해 모델 디버깅과 반복 재현이 어렵고, 여러 팀에서 코드를 재사용하는 데 한계가
- 데이터 사이언티스트 팀과 엔지니어링 팀이 나뉘어 있어 개발 주기가 김
Customer Testimonial
솔루션
Databricks는 FINRA에 통합형 데이터 분석 플랫폼을 제공하여 데이터를 민주화(democratize)하고 이전에는 사일로 형태였던 여러 팀을 하나로 모아 전반적인 출시 기간을 단축, 기능 라이브러리의 재사용성 강화, 운영 효율성 향상이라는 성과를 얻었습니다. Databricks와 함께 한 뒤로 팀원들이 ML 모델을 반복 작업하는 속도가 빨라지고 탐지 업무 규모를 확장해 하루에 수천억 건의 시장 이벤트를 다룰 수 있게 되었습니다. 그 결과 FINRA의 사기 행위 방지 실적이 크게 개선되어 미국 내 투자자를 위해 앞으로 더욱 안전한 금융 상황을 확보할 수 있게 되었습니다.
- 인프라 관리, Databricks Runtime 및 대화형 워크스페이스를 포함한 통합형 데이터 분석 플랫폼을 사용하여 머신 러닝 모델 개발 프로세스를 간소화하고, 동시에 인프라 비용까지 절감
- 대화형 워크스페이스를 사용하여 데이터 사이언스 팀에서 사일로를 극복, 반복 재현 속도가 빨라지고 모두가 같은 환경에서 선택한 코드(SQL, R 또는 Python)을 사용해 협업을 개선
- 완전 관리형 클라우드 서비스를 이용하면서 팀원이 DevOps 업무가 아닌 머신 러닝 분야에 관련된 고차원적 사안에 집중할 수 있게 됨
