제품 설명:
유럽 최대의 결제 프로세서인 월드라인은 전 세계 50개국의 수백만 상인과 은행을 지원하며, 전 세계적으로 4위에 랭크되어 있습니다. 결제 처리부터 화폐 변환, 금융 분석까지 다양한 서비스를 제공하는 Worldline은 내부 및 외부 보고를 위한 비즈니스 인텔리전스(BI)에 더 많은 자원을 집중하고, 일단락내기 위한 머신러닝 작업에 집중하려고 했습니다. 이는 "데이터 랭글링"을 한 번에 끝내기 위한 것이었습니다. 이 핀테크 회사는 또한 거래 데이터와 고객 상호작용 분석을 이용하여 이탈 예측 및 이상 탐지를 시작하려고 했습니다. 그러나 월드라인의 글로벌 확장은 인수를 통해 파편화된 데이터 환경을 만들어냈고, 이로 인해 500억 건의 거래와 수조 유로의 데이터를 통합하고 분석을 확장하는 것이 어려워졌습니다. 레거시 온프레미스 시스템은 회사의 작업을 더욱 방해했습니다. 이러한 장애물을 극복하기 위해, 월드라인은 데이터브릭스와 협력하여 인프라 비용을 월 €200,000 줄였습니다.
여러 인수로 인한 분산된 시스템 처리
Worldline이 내부 팀에게 포괄적인 보고 데이터와 통찰력을 제공하 는 것은 유럽 최고의 결제 처리기로서의 위치를 유지하는 데 중요했습니다. 이러한 이유로, "Drive"라는 주요한 이니셔티브가 설계되었습니다. 이는 다양한 출처에서 데이터를 통합하고, 거래, 고객, 그리고 상인들에 대한 통합된 뷰를 생성하기 위한 것입니다. 이 프로젝트는 월드라인의 경영진과 비즈니스 분석가들이 재무 보고, 예측 및 판매 성과와 관련된 중요한 성과 지표(KPIs)를 모니터링할 수 있는 종합적인 대시보드를 갖추는 것을 목표로 했습니다. 통합된 뷰는 리더십과 운영 팀이 신속하게 데이터 기반의 결정을 내릴 수 있도록 돕고, BI 큐브(다차원 데이터 구조)는 분석가가 데이터를 깊게 탐색하고, 복잡한 쿼리를 수행하고, 자체 서비스 대시보드를 생성할 수 있게 해줍니다. 이제 팀들은 데이터 분석을 더 접근하기 쉽게 하고, 각각의 역할에서 더 능력있는 횡단 기능 팀을 만들기 위해 일반적인 IT 개입을 포기할 수 있습니다.
고객 중심의 솔루션에 대해 월드라인은 또한 성과를 벤치마킹하고, 환불을 처리하고, 거래 추세를 시각화하는 데 도움이 되는 데이터 인사이트를 제공하는 것을 우선시하려고 했습니다. 이 서비스들은 소규모 상점부터 대형 소매점, 심지어 항공사에 이르기까지 다양한 고객을 지원하며, 모든 고객이 일일 거래 데이터를 더 나은 운영 계획 및 내부 보고를 위해 사용하도록 도왔습니다. 동시에 월드라인은 이러한 고객을 보호하기 위해 보다 복잡한 사기 탐지 및 이상 탐지 시스템을 구현하기 위해 데이터 과학 능력을 강화하려고 했습니다. 이러한 개선 사항은 사업체가 의심스러운 활동을 식별하고 완화하는 데 도움이 되며, 상인과 고객 데이터를 모두 보호합니다.
회사가 성장함에 따라 고객, 거래 및 상인 데이터를 통합하는 것이 점점 더 어려워졌습니다 - 매년 500억 건 이상의 거래. 이를 관점으로 보면, 이는 초당 10,000 건의 거래에 해당합니다. Worldline의 상인 서비스 부문 최고 데이터 책임자인 Stephan Pirson의 말처럼, "우리는 시스템의 조각들에서 대규모 데이터를 처리하고, 큰 그림의 트렌드에서 가장 작은 거래 세부 사항까지 이동할 수 있는 것으로 전환해야 했습니다." 결국, 이것이 회사가 Databricks 데이터 인텔리전스 플랫폼에 투자하기로 결정한 이유입니다.
실시간 비즈니스 데이터를 위한 계층화된 시스템 구축
월드라인의 일관되고 확장 가능한 데이터 플랫폼으로의 전환은 인수와 합병을 통한 빠른 확장에 따른 독특한 도전을 해결하였고, 이는 파편화된 데이터 생태계와 이질적인 소스를 만들었습니다. 그들의 기술 스택의 핵심에는, Apache Spark™와 Databricks 클러스터가 배포되어 Worldline의 대규모 작업, 데이터 수집에서 실시간 처리까지의 데이터 처리를 중앙화하고 효율화했습니다. Delta Lake의 ACID 준수 아키텍처는 내부 및 외부 보고를 위해 매년 500억 건 이상의 거래를 처리하는 데 필수적인 데이터 무결성과 신뢰성을 보장했습니다. "Databricks는 우리가 데이터를 접근하는 방식을 근본적으로 변화시켰습니다,"라고 Pirson이 설명했습니다. "데이터브릭스와 함께, 우리는 데이터를 한 곳에 집중시켜 수백만 건의 거래를 분석하면서도 정확성과 속도를 유지할 수 있게 되었습니다. 이러한 변화는 우리가 혁신을 우선시하게 하여 시장에서 경쟁력을 유지하는 데 도움이 됩니다."
델타 레이크의 기반을 활용하여 월드라인은 메달리온 아키텍처를 구현하였는데, 이는 데이터 생명주기 전반에 걸쳐 준수, 정확성, 접근성을 가능하게 하는 구조화된 데이터 프레임워크입니다. 브론즈 계층에서 월드라인은 다양한 출처에서의 원시적이고 처리되지 않은 데이터를 저장하여, 재처리와 규제 요구사항을 위한 추적 가능한 저장소를 만들었습니다. Silver 레이어는 이 데이터를 변환하고 정제하여 운영 보고서 및 분석에 최적화되도록 보장했습니다. 골드 레이어는 내부 KPI 대시보드와 고객 대면 분석과 같은 고수준의 비즈니스 애플리케이션을 위해 데이터를 집계하고 정리했습니다. Apache Spark와 Azure 데이터 레이크 위에 레이어를 쌓은 이 아키텍처는 원시 데이터를 Worldline의 팀과 클라이언트를 위한 실행 가능한 인사이트로 변환하는 효율적인 파이프라인을 만들었습니다.
이 기반을 바탕으로 월드라인은 Databricks를 Power BI와 Drive 이니셔티브를 통해 통합하여, 분산된 데이터 소스를 실시간 KPI 모니터링을 위한 통합 대시보드로 통합했습니다. 협업을 개선하기 위해, Unity Catalog은 데이터 접근을 관리하고 문서화하여 85명 이상의 데이터 엔지니어와 200명의 분석가가 공유된 Databricks 노트북을 통해 데이터를 안전하게 탐색하고 분석할 수 있게 했습니다. 솔루션을 더욱 향상시키기 위해, 월드라인은 MLflow를 도입하여 머신러닝 모델의 생명주기를 관리하고, AI 기반의 사기 탐지와 이상 징후 식별을 위한 모델 훈련과 배포를 최적화했습니다. 그들의 ML 작업이 아직 성숙하고 있음에도 불구하고, 이 설정은 데이터 과학 팀이 데이터 랭글링에서 전략적 모델링으로 초점을 이동하게 했습니다. 이 결합된 Databricks 스위트는 Worldline이 파편화된 워크플로우에서 고급 분석 및 AI 이니셔티브를 주도할 준비가 된 확장 가능한 플랫폼으로 발전하게 했습니다.
팀이 성공할 수 있도록 장비를 갖추면서 인프라 비용을 줄이기
Worldline의 Databricks 채택은 그들의 데이터 인프라를 효율화하고, 그들의 팀이 인프라 관리에서 실행 가능한 비즈니스 통찰력 제공으로 전환할 수 있게 했습니다. Databricks를 통한 데이터 처리와 거버넌스의 중앙화로, 월드라인의 데이터 엔지니어와 분석가들은 데이터에 더 효율적으로 접근하고, 번거로운 온프레미스 솔루션에 대한 의존성을 줄였습니다. 이 변화는 또한 팀 간의 더 나은 협업을 촉진하였으며, 분석가들이 실시간으로 데이터와 직접 작업하고, 깊이 있는 분석을 수행하며, 심지어 데이터 엔지니어와 함께 디버깅 과정에 기여할 수 있게 되었습니다. 향상된 워크플로우는 프로젝트 시간을 단축하고 데이터 기반 의사결정을 가속화하는 팀 간의 모범 사례를 배양하였습니다. “Databricks와 함께, 우리는 데이터 프로세스를 간소화하는 것뿐만 아니라 팀 간의 효율성을 새로운 수준으로 끌어올렸습니다. "이제 우리는 우리의 상인들과 내부 이해관계자들에게 더 정확하고 시기 적절한 통찰력을 제공할 수 있게 되었습니다."라고 Pirson은 결론을 내렸습니다.
양적인 관점에서 보면, 데이터브릭스로의 전환은 주요한 재무적 및 운영적 개선을 가져왔습니다. Worldline은 인프라 비용을 주로 Cosmos DB에서 보다 비용 효율적인 Databricks의 Delta Lake로 이동한 데이터로 인해 월 €200,000의 감소를 예상하고 있습니다. 운영 효율성 향상도 동등하게 매 력적이며, 생산성은 40% 향상되었고, 스키마 보고 속도는 이제 93% 더 빠릅니다. 이런 복잡한 보고와 분석을 대규모로 처리할 수 있는 향상된 능력은 Worldline이 내부 팀과 외부 클라이언트 모두에게 높은 서비스 표준을 유지하게 해주었습니다.
즉각적인 영향 외에도 Worldline의 장기 목표는 회사 전체에서 데이터 접근성과 리터러시를 깊게 이해하는 데 대한 헌신을 반영합니다. 그들은 2025년까지 포괄적인 데이터 통합을 완료하고, Databricks를 통해 자체 서비스 분석을 장려하는 데이터 리터러시 프로그램을 전개할 계획입니다. 데이터에 대한 이해도가 높은 직원을 육성함으로써, 월드라인은 팀이 독립적으로 데이터 인사이트를 분석하고 행동할 수 있도록 돕고자 합니다. 회사는 또한 Databricks AI/BI Genie와 같은 보다 고급 AI 도구를 탐색하여, 비기술 사용자가 자연어 쿼리를 수행하여 비즈니스 성장을 촉진하는 데 도움이 되도록 통찰력에 대한 접근을 더욱 민주화하고 있습니다.