코인베이스의 사명은 거래, 스테이킹, 보관, 지출, 빠르고 무료 글로벌 이체를 포함한 암호 자산에 대한 신뢰할 수 있는 플랫폼을 제공하여 세계의 경제적 자유를 높이는 거예요. 사기로부터 사용자를 보호하고 맞춤형 추천을 강화하기 위해 코인베이스는 기계 학습 모델에 1초 미만의 정밀도가 필요해요. 하지만 주로 ETL 사용 사례를 위한 마이크로배치 아키텍처는 지연 시간을 발생시켜 모델 정확도에 영향을 미치고 컴퓨팅 비용을 증가시켰어요. 코인베이스는 Databricks에서 Spark Structured Streaming 실시간 Mode로 마이그레이션하여 데이터 인프라를 혁신했어요. 기능 계산 대기 시간을 밀리초로 줄이고, 기능 일관성을 99% 달성하고, 인프라 비용을 수십만 달러 절약하여 대규모 사기 탐지를 더 정확하게 해냈어요.
오래된 데이터로 인해 사기 방지 모델은 뒤처지게 되었습니다.
코인베이스는 기계 학습을 활용하여 사기 탐지, 의심스러운 거래 탐지, 돈세탁 방지 위험 완화 같은 주요 사용 사례를 강화해요. 이러한 기능을 제공하려면 거의 실시간으로 작동하는 매우 정확한 ML 모델이 필요해요.
실시간 Mode(RTM)를 채택하기 전, Coinbase의 플랫폼 팀은 아키텍처가 허용하는 한도까지 마이크로배치 Mode(MBM)에서 Spark Structured Streaming 을 최적화했습니다. 구체적으로, 팀은 MBM의 매 밀리초를 최대한 활용하기 위해 혁신적인 솔루션을 구축하여 결국 1초 미만의 신선도(~800-900ms)에 도달했지만, 운영 부담이 컸습니다. 지연이 발생했을 때, 이는 모델의 온라인 및 오프라인 피처 일관성에 부정적인 영향을 미쳤고 여러 리스크 모델의 정확도를 저해했습니다.
Spark 실시간 모드로 1초 미만의 정밀도 지원
이러한 지연 시간 및 비용 문제를 극복하기 위해 Coinbase는 중요한 리스크 모델을 Databricks의 Spark 실시간 Mode (RTM) 로 전환했습니다. RTM 채택은 간단했습니다. 엔지니어링 팀은 Trigger 유형만 업데이트하면 되었고, 핵심 비즈니스 로직은 전혀 변경할 필요가 없었습니다. RTM으로의 원활한 전환을 통해 마이크로배치 처리에서 실시간 스트리밍으로 이동하면서 성능이 크게 향상되었고, 대규모 환경에서 800ms 이상에서 100-250ms로 단축되었습니다.
이 전환은 ML 파이프라인에 공급되는 데이터의 신선도를 즉시 개선하여, 실시간으로 동기화된 운영 시스템을 정확하게 반영하는 모델을 생성하도록 일관성을 높였습니다. 원활한 도입을 보장하기 위해 플랫폼 팀은 지속적 통합(CI) 가드레일 을 구현하고 스트리밍 피처 설정을 자동화하는 AI 에이전트를 만들어 RTM을 기존 피처 스토어에 원활하게 통합했습니다.
"저희 Machine Learning 엔지니어들은 실시간 Mode의 복잡한 내용을 배울 필요가 없었습니다."라고 Coinbase의 소프트웨어 엔지니어인 Kamila Wickramarachchi는 말했습니다. "저희는 데이터 신선도와 일관성을 대폭 개선하여 제공했을 뿐인데, 엔지니어들은 결과에서 즉시 그 가치를 확인했습니다."
훨씬 저렴한 비용으로 더 빠른 인사이트 확보
RTM을 구현한 이후 Coinbase는 리스크 모델이 가장 최신 트랜잭션 데이터에 따라 작동하도록 보장함으로써 사기를 완화하는 능력을 개선했습니다. 지연 시간이 1초 미만의 신선도로 단축되어, 상태 비저장 피처 집계의 경우 150ms, 상태 저장 스트리밍 피처 집계의 경우 250ms를 달성했습니다. 온라인 및 오프라인 피처 일관성이 최대 98% 개선되었습니다.
이러한 아키텍처 전환을 통해 팀은 놀라운 규모와 속도를 달성할 수 있었습니다. Coinbase의 수석 Machine Learning 플랫폼 엔지니어인 Daniel Zhou는 다음과 같이 설명했습니다. "Spark Structured Streaming에서 실시간 Mode를 활용하여 엔드투엔드 지연 시간을 80% 이상 단축하고, P99 기준 100ms 미만을 달성했으며, 대규모 환경에서 실시간 ML 전략을 간소화했습니다. 이러한 성능 덕분에 단일 Spark 엔진으로 250개 이상의 ML 피처를 컴퓨팅할 수 있습니다."
성능 향상 외에도 RTM을 통해 Coinbase는 마이크로배치 모드에 필요했던 기존의 특수화되고 과도하게 프로비저닝된 클러스터를 해체할 수 있었습니다. 이는 비용 구조를 근본적으로 바꾸었고, 팀은 compute 비용을 절반으로 줄였습니다.
"데이터 신선도와 일관성의 엄청난 개선 외에도 놀라운 비용 절감을 실현했습니다."라고 Wickramarachchi는 덧붙였습니다. "이러한 아키텍처 전환으로 올해에만 compute 비용이 51% 절감될 것으로 예상합니다."
