ERGO Hestia가 Lakebase와 Mosaic AI Model Serving을 통해 시장 출시 기간을 단축한 방법

차세대 실시간 가격 책정 시스템 구축

폴란드 선두 보험사 중 하나인 ERGO Hestia는 100개 이상의 모델과 1,000개 이상의 변수를 지원하는 대규모 가격 책정 플랫폼을 운영하고 있습니다. Databricks의 폴란드 내 최대 고객 중 하나인 ERGO Hestia는 최첨단 밀리초 단위 가격 책정 및 업계 최고 수준의 실행 속도 분야에서 강력한 역량을 구축해 왔습니다.

하지만 인슈어테크 분야에서 끊임없이 다음 혁신을 추구해 온 이 팀은 실시간 B2C 기능을 도입하여 수익을 더욱 극대화할 수 있는 기회를 포착했습니다. 기존 아키텍처도 매우 훌륭하게 작동했지만, 지속적인 모델 업데이트와 즉각적인 고객 대응으로 전환하면서 새로운 과제에 직면하게 되었습니다. 바로 복잡성이 증가함에 따라 혁신의 속도를 유지하는 것이었습니다. 경쟁력 있는 가격 책정 기술을 완벽히 마스터한 이 팀은 이제 차세대 실시간 가격 책정 서비스를 개척할 준비를 마쳤습니다.

긴밀하고 생산적인 파트너십을 바탕으로, ERGO Hestia와 Databricks는 차세대 실시간 가격 책정을 위해 기존 아키텍처를 개선할 방법을 함께 논의했습니다. 이러한 성공적인 협업을 통해 Lakebase를 사용하여 온라인 피처 스토어를 제공하고, Mosaic AI Model Serving Endpoints를 함께 활용하여 모든 데이터와 로직을 Databricks 에코시스템 내에 유지하는 방식으로 플랫폼을 발전시켰습니다. 이 아키텍처는 데이터와 모델 서빙을 모두 레이크하우스 내부에 유지하므로 외부 시스템이 필요 없고 모델 배포 시간을 단축합니다. Unity Catalog를 통해 거버넌스를 통합함으로써 데이터 및 모델 관리를 통합하여 과거 훈련 세트 및 모델 버전의 완전한 추적성과 장기 보존을 보장합니다. 이 아키텍처는 가격 책정 전문가에게 신뢰할 수 있는 감사 추적을 제공하여 모델 성능을 최고로 유지하면서 모든 결정이 완전히 추적되고 검증 가능하도록 합니다. 궁극적으로 이러한 혁신을 통해 팀은 혁신 속도를 높이고 시장 상황에 신속하게 대응하는 동시에 최첨단 가격 책정 모델을 지속적으로 발전시킬 수 있는 기반을 마련했습니다.

과제: 마찰 없이 속도 확장하기

기존 아키텍처는 Databricks가 메달리온 아키텍처를 통해 가격 책정 데이터를 수집 및 변환한 다음, 처리된 데이터 세트를 외부 Azure PostgreSQL 데이터베이스로 내보내는 논리적 패턴을 따랐습니다. 중간 어댑터 레이어는 캐싱을 처리하고 가격 책정 엔진에 데이터를 노출했습니다. 이는 처리량이 보통 수준일 때는 잘 작동했습니다. 하지만 데이터 볼륨이 증가하고 모델 반복이 빨라지면서, 데이터를 레이크하우스 외부로 이동하여 외부 데이터베이스와 캐싱 레이어를 거쳐 애플리케이션으로 전달하는 멀티홉 패턴이 성능과 민첩성을 제약하기 시작했습니다.

1. 운영 복잡성: 외부 데이터베이스와 맞춤형 어댑터 레이어를 유지 관리하는 것은 상당한 운영 오버헤드를 발생시켰으며, 특히 이처럼 중요한 사용 사례에서는 데이터 추출 작업의 엄청난 유지 관리 부담이 주요 과제로 떠올랐습니다. 또한 데이터 처리를 위한 Databricks와 프로덕션 서빙을 위한 PostgreSQL을 포함하여 여러 시스템에 걸쳐 파편화된 데이터 거버넌스뿐만 아니라, 요청 로직 및 통합을 처리하기 위한 맞춤형 애플리케이션 코드로 인해 계보 추적이 어려워져 컴플라이언스 및 감사 가능성이 저하되었습니다.
2. 모델 배포 속도: 이전의 멀티홉 아키텍처는 모델 로직과 기본 서빙 인프라 간의 신중한 동기화가 필요했기 때문에, 조율된 배포 기간에 대한 기술적 의존성이 발생했습니다. 팀은 이미 빠르게 반복할 수 있는 가격 책정 전문성을 갖추고 있었지만, 외부 데이터베이스와 어댑터 레이어의 복잡성으로 인해 시스템 안정성을 보장하기 위해 주로 이용자가 적은 시간대에 업데이트를 예약해야 했습니다. 이러한 특수한 오버헤드로 인해 외부 어댑터 레이어의 성능 위험을 피하기 위해 업무 시간 중 업데이트 빈도가 제한되었습니다.
3. 데이터 최신성 병목 현상: 대규모 데이터 수집은 운영 시간에 영향을 주지 않기 위해 신중한 오케스트레이션이 필요한 성능 제약을 야기했습니다. 구체적으로, 이러한 업데이트는 외부 서빙 레이어에서 종종 10배에서 20배에 달하는 지연 시간 급증을 유발하여 데이터 새로 고침을 예약된 배치 주기로 제한하는 결과를 낳았습니다. 실시간 B2C 가격 책정으로의 전략적 전환을 지원하기 위해, 팀은 이러한 운영상의 타협 없이 하루 종일 지속적인 데이터 가용성을 제공할 수 있는 아키텍처가 필요했습니다.

규제 대상 산업에서 1,000개 이상의 변수에 걸쳐 100개 이상의 모델을 관리하는 조직에 있어, 이러한 파편화는 운영상의 마찰과 거버넌스 위험을 모두 초래했습니다.

해결책: 레이크하우스 내 통합

ERGO Hestia의 혁신은 레이크하우스 내에서 모든 운영을 통합하는 세 가지 핵심 기술 요소를 기반으로 구축되었습니다.

통합 데이터 서빙을 위한 Lakebase. Databricks Lakebase는 Delta 테이블 바로 위에 관계형 트랜잭션 레이어를 제공합니다. 팀은 Sync Tables를 사용하여 처리된 데이터와 서빙 레이어 간의 지속적이고 자동화된 동기화를 구현했습니다. 이를 통해 수동 오케스트레이션과 외부 추출 작업이 필요 없어졌습니다. 그 결과, 레이크하우스 내에 존재하는 가격 책정 데이터의 단일 진실 공급원(single source of truth)이 마련되었습니다.

직접 API 액세스를 위한 Model Serving Endpoints. 별도의 캐싱 레이어와 외부 데이터베이스가 있는 중간 애플리케이션을 거치지 않고, Model Serving Endpoints는 가격 책정 엔진 애플리케이션에 데이터를 직접 노출합니다. 이를 통해 어댑터 레이어를 완전히 제거하고 요청 로직이 Databricks 내에 네이티브하게 유지되도록 보장합니다. 요청은 가격 책정 엔진에서 Model Serving Endpoints로 전달되었다가 다시 밀리초 단위로 반환되므로, 쿼리 실행과 데이터 서빙을 단일 관리형 레이어로 통합하여 아키텍처를 단순화합니다.

고속 에코시스템 통합을 위한 Model Serving. 모델은 먼저 MLflow에 로깅된 다음, 가장 우수한 버전이 Unity Catalog에 등록된 후 전용 Model Serving Endpoints를 통해 노출됩니다. 이 아키텍처는 가격 책정 전문가가 Databricks 에코시스템의 실시간 데이터에 대해 실시간으로 모델을 검증할 수 있는 단일 거버넌스 평면을 제공함으로써 기존 배포 기능을 확장합니다. 전체 모델 수명 주기가 기본 데이터 소스에 네이티브하게 연결된 상태를 유지하면서, A/B 테스트 및 회귀 테스트를 통해 성능을 비교하기 위해 여러 모델 버전을 동시에 실행할 수 있습니다. 이 접근 방식은 Unity Catalog의 데이터 및 모델 서빙 레이어 모두에 걸쳐 있는 내장된 계보 추적 및 거버넌스 제어를 통해 완전한 가시성을 보장합니다.

Databricks의 기존 ETL 파이프라인은 변경할 필요가 없었으며, 데이터는 PostgreSQL로 추출되는 대신 Lakebase로 간단히 동기화되었습니다. Model Serving은 MLflow에 등록되고 Unity Catalog에 게시된 후 Model Serving Endpoints를 통해 노출된 기존 GLM 및 ML 모델을 사용할 수 있었습니다. 배포를 오케스트레이션하기 위해 Azure DevOps에서 CI/CD 파이프라인이 활용되었습니다.

점진적 마이그레이션을 통한 성공: 혁신의 리스크 감소

한 번에 전체를 전환하는 방식 대신, ERGO Hestia는 안정성과 비즈니스 연속성을 우선시하는 단계적 접근 방식을 채택했습니다. 팀은 가장 중요도가 낮은 엔드포인트부터 시작하여 성능과 안정성을 검증한 후 미션 크리티컬 시스템으로 확장했습니다. 이 과정 동안 가격 책정 운영은 중단 없이 유지되었습니다.

1단계: 개념 증명(PoC) (1~3주 차)

팀은 제한된 포트폴리오 세그먼트를 지원하는 소규모의 명확한 범위의 데이터 엔드포인트로 아키텍처를 검증했습니다. 기존 Delta 테이블을 Lakebase에 동기화하고 Model Serving 엔드포인트를 통해 노출했습니다. Lakebase의 결정적인 장점은 컴퓨팅과 스토리지의 독특한 분리인데, 이를 통해 컴퓨팅 인프라를 수동으로 조정하지 않고도 피크 시간대의 요청 볼륨에 맞춰 시스템을 손쉽게 확장할 수 있었습니다. Databricks는 지연 시간 및 CPU 사용량뿐만 아니라 처리량 및 메모리 소비 전반에 걸쳐 내장된 관측 가능성(observability)을 제공했습니다. 성능 테스트 결과, 초당 40회 요청의 높은 부하 상황에서도 20ms의 지연 시간과 5% 미만의 CPU 사용량을 기록하며 아키텍처가 기대치를 훨씬 뛰어넘는 성능을 보여주었습니다. 이러한 초기 성공 덕분에 프로젝트를 프로덕션으로 확장하기 전에 아키텍처상의 리스크를 제거할 수 있었습니다.

2단계: 프로덕션 배포 (3~6주 차)

PoC 검증이 완료된 후, 팀은 중요도가 낮은 엔드포인트부터 프로덕션 마이그레이션을 시작했습니다. 엔드포인트가 마이그레이션될 때마다 Delta Lake와 Lakebase 간의 완벽한 데이터 일관성, 안정적이고 예측 가능한 성능, 레거시 아키텍처보다 적은 맞춤형 구성 요소 등 일관된 결과를 얻었습니다. 마이그레이션이 성공할 때마다 이해관계자들의 신뢰가 쌓였고, 이를 통해 팀은 더 위험도가 높은 엔드포인트로의 확장을 가속화할 수 있었습니다.

3단계: 트래픽 분할 및 실전 검증

단일 전환 날짜를 적용하는 대신, ERGO Hestia는 프로덕션 규모에서 트래픽 분할을 구현했습니다. 고객층의 절반은 기존 레거시 시스템으로, 나머지 절반은 새 시스템으로 라우팅했습니다. 이 접근 방식을 통해 실제 사용자 행동과 부하 패턴을 실시간으로 관찰할 수 있었습니다. 새로운 가격 책정 모델은 일관된 견적 생성을 제공했으며 모든 지연 시간 기대치를 충족했습니다. 결정적으로, 팀은 새 시스템이 설계된 대로 프로덕션 부하를 정확히 처리하는지 검증할 수 있었습니다.

이 접근 방식이 성공한 이유: 단계별 전략을 통해 각 단계의 리스크를 제거했습니다. 중요도가 낮은 영역부터 검증을 진행하여 시스템 전체의 치명적인 장애를 방지했습니다. 성공적인 마일스톤을 달성하며 조직의 신뢰를 구축했고 더 빠른 확장이 가능해졌습니다. 대규모 프로덕션 환경에서의 실제 검증을 통해 아키텍처가 설계대로 작동함을 확인했습니다. 모든 단계에서 가격 책정 업무는 고객에게 아무런 영향 없이 중단 없이 지속되었습니다.

비즈니스 성과: 혁신 속도 실현

모델 출시 시간(Time-to-Market) 단축: 이제 가격 책정 전문가는 모델을 Databricks 에코시스템 내에 직접 배포할 수 있으며, 여기서 모델은 최신 프로덕션 데이터와 자동으로 동기화됩니다. Mosaic AI와 Lakebase Online Feature Store를 통해 모델을 서빙함으로써, 팀은 외부 모델 출력값을 실시간 데이터 스트림과 동기화할 때 발생하는 일반적인 지연 시간을 제거합니다. 이러한 통합을 통해 ERGO Hestia의 기존 민첩성은 실시간 시장 데이터와 가격 책정 엔진 간의 직접적인 고속 연결과 시너지를 내게 됩니다. 이렇게 동기화된 모델을 실행할 수 있는 기능 덕분에 시장 상황과 경쟁력 있는 가격 압박에 신속하게 대응할 수 있으며, 궁극적으로 조직의 매출 증대를 이끌어냅니다.

운영 단순화: 운영의 복잡성이 아키텍처의 단순함으로 대체되었습니다. 외부 PostgreSQL 데이터베이스와 어댑터 레이어를 제거함으로써 ERGO Hestia는 Unity Catalog를 통해 단일 거버넌스 모델 아래 스택을 통합했습니다. 이러한 전환을 통해 패치 및 용량 계획에 드는 수동 오버헤드를 제거하는 동시에, 가격 책정 요청 로직을 Databricks 에코시스템 내로 중앙 집중화했습니다. 이제 로직과 데이터가 고성능 환경에서 함께 공존하게 됨에 따라, 엔지니어링 역량은 커스텀 미들웨어 유지 관리에서 모델 혁신을 주도하는 방향으로 전환되었습니다.

통합 거버넌스 및 규정 준수: 규제 산업에서는 가격 책정 결정에 어떤 데이터가 영향을 미쳤는지 정확히 증명하는 것이 매우 중요합니다. 모든 가격 책정 데이터와 모델을 Unity Catalog로 통합함으로써 ERGO Hestia는 자동 감사 추적, 버전 관리 및 액세스 제어 기능을 확보했습니다. 이제 전체 파이프라인에서 데이터 일관성이 자동으로 검증되어 테스트에 사용된 로직이 프로덕션 로직과 완벽하게 일치하도록 보장합니다. 플랫폼에 내장된 계보(lineage) 기능을 통해 특정 기간 동안 어떤 모델이 어떤 고객에게 제공되었는지 즉시 확인하고 완전히 감사할 수 있습니다. 이를 통해 수동 규정 준수 작업이 사라집니다. 이제 규정 준수 팀은 각 가격 책정 결정에 어떤 데이터가 영향을 미쳤는지, 누가 액세스 권한을 가졌는지, 변경 사항이 언제 발생했는지 정확히 증명할 수 있습니다. 모든 것이 자동으로 기록되므로 수동으로 재구성할 필요가 없으며, 조직이 완전한 신뢰를 바탕으로 매출 극대화 전략을 확장할 수 있는 기반을 제공합니다.

향후 계획: 기업 전반으로 혁신 확장

가격 책정 부서의 성공은 다른 가격 책정 영역으로 확장하기 위한 청사진을 마련하고 있습니다. ERGO Hestia는 이제 더 넓은 가격 책정 조직 전반으로 Lakebase 및 Model Serving 아키텍처를 확장하고 있습니다. 각 영역은 의사 결정 엔진을 레이크하우스 플랫폼 내로 통합하여 모델과 데이터를 통합 거버넌스를 갖춘 일급(first-class) 서비스로 제공할 예정입니다.

중요도가 낮은 소규모 엔드포인트를 통한 초기 검증으로 이 접근 방식의 효과가 입증되었습니다. 이제 가격 책정 부서는 동일한 단계별 플레이북을 사용하여 더 크고 중요한 워크로드와 더 큰 데이터베이스로 확장하고 있습니다. 중요도가 높은 데이터 세트와 복잡한 모델은 더 엄격한 검증이 필요하지만, 단계별 마이그레이션 패턴은 그대로 유지됩니다.

목표는 명확합니다. 모든 가격 책정 영역이 Lakebase로 성공적으로 마이그레이션되면 외부 Azure PostgreSQL 데이터베이스를 폐기하는 것입니다. 각 영역의 마이그레이션은 다음 단계에 대한 신뢰를 구축하여 통합된 Databricks 네이티브 가격 책정 인프라를 향한 전반적인 일정을 단축합니다.

가격 책정 업무를 넘어, 레이크하우스 내에 모든 가격 책정 데이터를 통합하면 새로운 기회가 열립니다. Databricks에서 가격 책정 인텔리전스가 통합됨에 따라, 팀은 엔지니어링 지원 없이도 AI/BI Genie를 활용하여 가격 책정 패턴을 탐색하고, 인사이트를 발견하고, 임시(ad-hoc) 비즈니스 질문에 답할 수 있습니다. 가격 책정 엔진에 제공되는 동일한 데이터가 이제 비즈니스 인텔리전스 및 AI 기반 탐색을 지원하여 레이크하우스 투자의 가치를 배가시킵니다.

이 검증된 패턴은 이제 다른 비즈니스 부서가 외부 의존성을 제거하고 자체적인 의사 결정 속도를 높일 수 있는 템플릿을 제공합니다.

결론

ERGO Hestia의 혁신은 여러 산업에 적용되는 원칙을 보여줍니다. 즉, 통합 플랫폼 내로의 통합은 운영을 단순화하는 동시에 혁신 속도를 가속화한다는 점입니다. 데이터와 모델이 Databricks Lakebase 및 Model Serving을 통해 직접 제공되는 레이크하우스 네이티브 아키텍처로 전환함으로써, 가격 책정 부서는 더 빠르고 안정적이며 지속적인 혁신이 가능한 역량을 갖추게 되었습니다.

밀리초 단위로 정의되는 시장에서 차별화 요소는 이제 모델 자체뿐만 아니라 모델이 실시간으로 현실에 반응할 수 있도록 하는 아키텍처입니다. Unity Catalog의 네이티브 A/B 테스트, 자동화된 가드레일, 지속적인 감사 추적을 통해 모든 결정의 추적 가능성을 유지하고 설정된 리스크 경계 내에서 관리할 수 있습니다.

이 아키텍처는 더 넓은 ERGO 조직과 시장 영향력 및 매출 성장을 극대화하기 위해 밀리초 단위의 가격 책정 엔진을 배포하고자 하는 모든 기업에 실질적인 레퍼런스를 제공합니다. 이제 업계의 화두는 실시간 가격 책정의 기술적 가능성이 아니라, 이를 현실로 만드는 아키텍처를 얼마나 빨리 도입할 수 있는지에 대한 것입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)