Databricks 를 통한 데이터 거버넌스 강화로 빠른 대출 서비스 제공 향상
클라우드 인프라 비용을 월 40% 절감
4배 더 빠른 데이터 처리로 대출 심사 시간 단축
“데이터브릭스 솔루션으로 분산된 데이터 분석 환경과 도구를 일원화하여 개인정보 관리 및 데이터 통합 가시성을 위한 데이터의 거버넌스를 확보할 수 있게 됐다. 뿐만 아니라, 데이터 레이크와 데이터 웨어하우스 간에 중복된 인프라나 데이터를 제거함으로써, 비용 효율적인 데이터 및 분석 환경에서 운영 효율성을 개선하고 있다”
더 많은 금융 기관이 대출 절차를 간소화하고, 다양한 개인 맞춤형 대출 상품을 제공하면서, 빅데이터 및 AI 등의 첨단 기술을 활용하여 고객이 데이터를 기반으로 대출을 선택할 수 있도록 지원하는 방안을 모색하고 있습니다. 핀다는 66개 금융 회사와 제휴를 맺어 200여개의 대출 상품을 제공하는 데이터 기반 대출 비교 플랫폼입니다. 데이터 거버넌스를 강화하고 다양한 분석 환경 문제를 해결하기 위해 Databricks를 선택했습니다. 당사는 Databricks 솔루션을 활용해 분산된 데이터 분석 환경과 도구를 일원화해 개인정보 관리 및 통합 데이터의 가시성을 높이는 데이터 거버넌스를 확보했습니다. 또한, 운영 및 장애에 신속하게 대응할 수 있게 되어 효율적인 인프라 운영이 가능해졌습니다.
레거시 인프라의 비효율적인 운영
한국의 대출 시장은 분석 및 자동화의 급속한 발전 덕분에 혁신적인 변화를 이루었습니다. 이러한 변화는 리스크 관리 개선, 더 빨라진 대출 심사, 더 쉬워진 대출 접근을 통해 한국 경제에 큰 영향을 미쳤습니다. 핀다는 대출의 장벽을 낮추고 금융 접근성을 높이는 것을 미션으로 삼고 더 큰 금융 포용을 주도하는 데 앞장서고 있습니다.
핀테크 업계에서 가장 빠르게 성장하고 있는 핀다는 마이데이터 라이선스를 통해 고객의 대출 관련 정보를 총 324개 금융기관으로부터 받아오고, 이 정보를 토대로 고객의 금융 상태를 분석하고 다양한 서비스를 제공합니다. 핀다는 이용자 수뿐만 아니라 분석 데이터도 지속해서 증가하고 있는 상황에서 다양한 분석 니즈를 위해 여러 분석 환경을 동시에 사용함에 따라 분석에 필요한 데이터에 접근 및 분석 결과를 공유하는 것이 용이하지 않고 부서 간의 협업도 어려웠습니다. 기존 레거시 환경에서는 스케일 업/스케일 다운이 거의 불가능하기 때문에 단시간에 갑자기 사용자나 연산량이 증가하면 장애로 이어지는 경우가 종종 발생했습니다. 게다가 백엔드 서비스에서 사용하는 서비스 데이터베이스의 테이블 생성, 수정 및 삭제와 같은 데이터 엔지니어링 활동을 관리하기 어려워 지속적으로 리소스를 투입해야 했고 SLA에도 영향을 미쳤습니다.
해 당 이슈의 핵심은 핀다의 레거시 Data Warehouse였습니다. 기존 Data Warehouse는 컴플라이언스 리스크를 최소화하고 분석 인프라 접근에 대한 편의성을 고려해 인프라를 간소화했습니다. 그러나 시스템은 스토리지를 관리하는 데 비효율적이어서 운영 비용이 급증했습니다. 핀다의 서희 CTO는 “관리 용이성, 비효율적인 운영 및 비용 관리 문제를 해결하려면 데이터, 분석 및 AI를 통합하기 위해 데이터 인프라를 현대화해야 할 필요성을 인식했습니다.”라고 말했습니다.
Lakehouse 플랫폼으로 운영 효율성 향상 및 리스크 최소화
핀다는 Data Lake와 Data Warehouse의 장점만을 결합하여 Data Lake의 개방성, 유연성, 머신 러닝 기능과 Data Warehouse의 안정성, 강력한 거버넌스, 성능을 제공하는 솔루션인 Databricks Lakehouse 플랫폼을 구축했습니다. 또한, 최신 Lakehouse 아키텍처를 통해 데이터, 분석, AI의 모든 작업을 하나로 통합하여 운영하였습니다. 분산된 분석 서비스 간의 사일로가 제거되어 인프라 관리가 간소화되었고 사내 GitHub과의 연동을 통해서 분석 결과를 쉽게 공유할 수 있어 협업과 팀 간 생산성도 높일 수 있었습니다.
핀다는 Delta Lake와 Spark Streaming을 통해 규모에 맞게 데이터 파이프라인 성능을 개선하고 레거시 Data Warehouse를 더 이상 운영하지 않아도 되어 데이터 복제가 필요하지 않아 운영 비용도 절감할 수 있었습니다. Databricks Unity Catalog로 모든 사용자에 대한 세분화된 데이터 접근 제어가 가능한 환경을 마련해 데이터 거버넌스를 구축했습니다. 핀다는 이러한 기능을 통해 고객 개인정보에 대한 접근을 제한하고 컴플라이언스 리스크를 최소화할 수 있는 데이터 스토리지 운영 환경을 구현했습니다.
더 빠른 대출로 고객 경험 개선
핀다는 Databricks Lakehouse를 통해 대출 승인 프로세스 속도를 더 빠르게 개선하고 고객이 더 많은 정보를 기반으로 비즈니스 결정을 내릴 수 있도록 지원합니다. 현대화된 Lakehouse 아키텍처를 구축해 월 라이센스 비용과 클라우드 리소스 비용을 약 40% 절감했습니다. 또한, 레코드 생성과 저장 사이의 시간을 8분에서 2분으로 단축해 성능도 개선했습니다. 그 결과 핀다는 보다 효율적인 분석이 가능해지고 고객에게 고부가가치 데이터 서비스를 빠르게 제공할 수 있게 되었습니다.
앞으로 핀다는 데이터를 기반으로 고객에게 정확한 재무 진단을 제공하기 위해 매진하고, 고객에게 더 나은 서비스를 제공할 수 있는 혁신적인 데이터 서비스를 개발하는 데이터 기반과 자신감을 갖게 되었습니다.
서희 CTO는 “핀다가 데이터, 분석, AI로 대출을 현대화하려는 미션에 Databricks Lakehouse가 초석이 되어주었습니다. 통합 데이터 분석과 일원화된 인프라를 통해 운영 문제에 신속하게 대응하고 비용 효율성을 유지하면서 고객에게 더 빠른 대출을 제공할 수 있게 되었습니다.”라고 설명했습니다.
