Como a ERGO Hestia reduziu o time-to-market com o Lakebase e o Mosaic AI Model Serving

Construindo a próxima geração de precificação em tempo real

A ERGO Hestia, uma das principais seguradoras da Polônia, opera uma plataforma de precificação em grande escala que suporta mais de 100 modelos e 1.000 variáveis. Como um dos maiores usuários da Databricks na Polônia, a ERGO Hestia desenvolveu uma capacidade substancial em precificação de última geração em milissegundos e velocidade de execução líder do setor.

No entanto, como a equipe busca constantemente a próxima grande inovação em tecnologia de seguros, eles identificaram uma oportunidade de maximizar ainda mais a receita ao introduzir recursos B2C em tempo real. Embora a arquitetura existente fosse altamente funcional, a transição para atualizações contínuas de modelos e resposta instantânea ao cliente revelou um novo desafio: manter a velocidade de inovação à medida que a complexidade aumentava. A equipe já dominava a arte da precificação competitiva e agora estava pronta para ser pioneira na próxima geração de entrega de precificação em tempo real.

Com base em uma parceria próxima e produtiva, a ERGO Hestia e a Databricks discutiram em conjunto como aprimorar a arquitetura anterior para a próxima geração de precificação em tempo real. Essa excelente colaboração levou à evolução da plataforma usando o Lakebase para fornecer um Online Feature Store junto com os endpoints de Mosaic AI Model Serving para manter todos os dados e lógica dentro do ecossistema da Databricks. Essa arquitetura mantém o atendimento de dados e de modelos dentro do lakehouse, eliminando sistemas externos e reduzindo o tempo de implantação de modelos. Ao unificar a governança por meio do Unity Catalog, a equipe integra o gerenciamento de dados e modelos para garantir total rastreabilidade e retenção de longo prazo de conjuntos de treinamento históricos e versões de modelos. Essa arquitetura fornece aos especialistas em precificação uma trilha de auditoria confiável para garantir que cada decisão permaneça totalmente rastreável e verificável, mantendo o desempenho máximo do modelo. Por fim, essa transformação posiciona a equipe para acelerar a velocidade de inovação e responder rapidamente às condições de mercado, enquanto avança continuamente em seus modelos de precificação de última geração.

O desafio: escalar a velocidade sem escalar o atrito

A arquitetura anterior seguia um padrão lógico em que a Databricks ingeria e transformava os dados de precificação por meio de sua arquitetura de medalhão e, em seguida, exportava os conjuntos de dados processados para um banco de dados externo Azure PostgreSQL. Uma camada de adaptador intermediária lidava com o cache e expunha os dados ao mecanismo de precificação. Isso funcionava bem quando o rendimento era moderado. No entanto, à medida que o volume de dados crescia e a iteração do modelo acelerava, o padrão de várias etapas (multi-hop), ao mover os dados para fora do lakehouse, passando por um banco de dados externo, por uma camada de cache, até o aplicativo, começou a limitar o desempenho e a agilidade.

1. Complexidade operacional: A manutenção de um banco de dados externo e de uma camada de adaptador personalizada gerou uma sobrecarga operacional significativa, pois a enorme carga de manutenção dos trabalhos de extração surgiu como o principal desafio para esses casos de uso críticos. Além disso, lidar com a governança de dados fragmentada entre sistemas, incluindo a Databricks para processamento de dados e o PostgreSQL para veiculação em produção, bem como código de aplicativo personalizado para lidar com a lógica de solicitação e integração, fez com que o rastreamento de linhagem se tornasse desafiador, prejudicando a conformidade e a auditabilidade.
2. Velocidade de implantação do modelo: A arquitetura anterior de várias etapas exigia uma sincronização cuidadosa entre a lógica do modelo e a infraestrutura de veiculação subjacente, o que criava uma dependência técnica de janelas de implantação coordenadas. Embora a equipe já possuísse a experiência em precificação para iterar rapidamente, a complexidade do banco de dados externo e da camada de adaptador fazia com que as atualizações fossem frequentemente agendadas para horários de menor movimento para garantir a estabilidade do sistema. Essa orquestração especializada limitava a frequência de atualizações durante o dia útil para evitar riscos de desempenho na camada de adaptador externa.
3. Gargalo de atualização dos dados: Grandes ingestões de dados criavam restrições de desempenho que exigiam uma orquestração cuidadosa para evitar impactos no horário de funcionamento. Especificamente, essas atualizações costumavam acionar picos de latência de 10x a 20x na camada de veiculação externa, o que restringia efetivamente as atualizações de dados a janelas de lote programadas. Para apoiar a mudança estratégica em direção à precificação B2C em tempo real, a equipe precisava de uma arquitetura que pudesse fornecer disponibilidade contínua de dados ao longo do dia, sem essas compensações operacionais.

Para uma organização que gerencia mais de 100 modelos em mais de 1.000 variáveis em um setor regulamentado, essa fragmentação criava tanto atrito operacional quanto risco de governança.

A solução: consolidação dentro do lakehouse

A transformação da ERGO Hestia foi baseada em três pilares técnicos fundamentais que unificaram todas as operações dentro do lakehouse.

Lakebase para veiculação unificada de dados. O Databricks Lakebase fornece uma camada transacional relacional diretamente sobre as tabelas Delta. Ao usar as Sync Tables, a equipe permitiu a sincronização contínua e automática entre os dados processados e a camada de veiculação. Isso eliminou a necessidade de orquestração manual e trabalhos de extração externos. O resultado é uma única fonte de verdade para os dados de precificação, residindo dentro do lakehouse.

Endpoints de Model Serving para acesso direto à API. Em vez de rotear por meio de um aplicativo intermediário com uma camada de cache separada e banco de dados externo, os endpoints de Model Serving expõem os dados diretamente ao aplicativo Pricing Engine. Isso elimina totalmente a camada de adaptador e garante que a lógica de solicitação seja mantida nativamente no Databricks. As solicitações fluem do mecanismo de precificação para os endpoints de Model Serving e voltam em milissegundos para simplificar a arquitetura, consolidando a execução de consultas e a veiculação de dados em uma única camada gerenciada.

Model Serving para integração de ecossistema de alta velocidade. Os modelos são primeiro registrados no MLflow e, em seguida, as versões vencedoras são registradas no Unity Catalog antes de serem expostas por meio de endpoints dedicados de Model Serving. Essa arquitetura estende os recursos de implantação existentes ao fornecer um único plano governado onde os especialistas em precificação podem validar modelos em relação a dados em tempo real no ecossistema Databricks. Eles podem executar várias versões de modelos simultaneamente para comparar o desempenho por meio de testes A/B e de regressão, enquanto todo o ciclo de vida do modelo permanece conectado nativamente às fontes de dados subjacentes. Essa abordagem garante visibilidade completa por meio de rastreamento de linhagem integrado e controles de governança que abrangem as camadas de dados e de veiculação de modelos no Unity Catalog.

Os pipelines de ETL existentes no Databricks não exigiram alterações e os dados simplesmente foram sincronizados com o Lakebase em vez de serem extraídos para o PostgreSQL. O Model Serving pôde usar os modelos GLM e ML existentes que foram registrados no MLflow, publicados no Unity Catalog e expostos por meio de endpoints de Model Serving. Um pipeline de CI/CD foi utilizado no Azure DevOps para orquestrar as implantações.

Sucesso por meio da migração incremental: reduzindo os riscos da transformação

Em vez de uma transição coordenada, a ERGO Hestia adotou uma abordagem em etapas que priorizou a confiança e a continuidade dos negócios. A equipe começou com os endpoints de menor criticidade enquanto validava o desempenho e a estabilidade antes de expandir para os sistemas de missão crítica. As operações de precificação permaneceram ininterruptas durante todo o processo.

Fase 1: Prova de conceito (Semanas 1–3)

A equipe validou a arquitetura com um endpoint de dados pequeno e bem delimitado, atendendo a um segmento limitado do portfólio. Eles sincronizaram a Delta Table existente com o Lakebase e a expuseram por meio de um endpoint de Model Serving. Uma vantagem determinante do Lakebase é a separação exclusiva de computação e armazenamento, o que permitiu ao sistema escalar sem esforço para atender aos volumes de pico de solicitação, sem quaisquer ajustes manuais na infraestrutura de computação. O Databricks forneceu observabilidade integrada em termos de latência e utilização de CPU, bem como rendimento e consumo de memória. Os testes de desempenho demonstraram que a arquitetura superou em muito as expectativas, com latência de 20 ms e menos de 5% de utilização de CPU, mesmo sob uma carga alta de 40 solicitações por segundo. Esse sucesso inicial eliminou o risco arquitetônico antes que o projeto fosse expandido para a produção.

Fase 2: Implantação em produção (Semanas 3–6)

Com a PoC validada, a equipe iniciou a migração para a produção, começando pelos endpoints de baixa criticidade. À medida que os endpoints eram migrados, cada um entregava resultados consistentes: consistência perfeita de dados entre o Delta Lake e o Lakebase, desempenho estável e previsível, e menos componentes personalizados necessários do que na arquitetura legada. Com cada migração bem-sucedida, a confiança das partes interessadas aumentava, permitindo que a equipe acelerasse a expansão para endpoints de maior risco.

Fase 3: Divisão de tráfego e validação no mundo real.

Em vez de adotar uma única data de transição, a ERGO Hestia implementou uma divisão de tráfego em escala de produção: metade de sua base de clientes foi direcionada para os sistemas legados e a outra metade para o novo sistema. Essa abordagem permitiu a observação em tempo real do comportamento real dos usuários e dos padrões de carga. Os novos modelos de precificação geraram cotações consistentes e atenderam a todas as expectativas de latência. O mais importante é que a equipe pôde validar que o novo sistema lidou com a carga de produção exatamente como projetado.

Por que essa abordagem funcionou: A estratégia incremental eliminou riscos em cada etapa. A validação de baixa criticidade evitou falhas catastróficas em todo o sistema. Os marcos bem-sucedidos aumentaram a confiança da organização e permitiram uma expansão mais rápida. A validação de produção em escala real confirmou que a arquitetura funcionou conforme projetado. Durante todas as fases, as operações de precificação continuaram sem interrupções e com zero impacto para os clientes.

Resultados de negócios: entregando velocidade de inovação

Time-to-market de modelos acelerado: Os especialistas em precificação agora implantam modelos diretamente no ecossistema Databricks, onde eles são sincronizados automaticamente com os dados de produção mais recentes. Ao servir modelos por meio do Mosaic AI junto com o Lakebase Online Feature Store, a equipe elimina a latência normalmente encontrada ao sincronizar saídas de modelos externos com fluxos de dados em tempo real. Essa integração garante que a agilidade existente da ERGO Hestia agora seja acompanhada por uma conexão direta de alta velocidade entre os dados de mercado em tempo real e o mecanismo de precificação. A capacidade de executar esses modelos sincronizados permite uma resposta rápida às condições de mercado e à pressão competitiva de preços, o que, em última análise, gera maior receita para a organização.

Simplificação operacional: A complexidade operacional foi substituída pela simplicidade arquitetônica. Ao remover o banco de dados PostgreSQL externo e a camada de adaptador, a ERGO Hestia unificou sua pilha sob um único modelo de governança com o Unity Catalog. Essa mudança eliminou a sobrecarga manual de aplicação de patches e planejamento de capacidade, ao mesmo tempo em que centralizou a lógica de solicitação de precificação dentro do ecossistema Databricks. Com a lógica e os dados agora vivendo juntos em um ambiente de alto desempenho, a capacidade de engenharia deixa de ser gasta na manutenção de middlewares personalizados e passa a focar na inovação de modelos.

Governança e conformidade unificadas: Em um setor regulamentado, a capacidade de comprovar exatamente o que fundamentou uma decisão de precificação é fundamental. Ao unificar todos os dados e modelos de precificação sob o Unity Catalog, a ERGO Hestia obtém trilhas de auditoria automáticas, rastreamento de versão e controles de acesso. A consistência dos dados agora é verificada automaticamente em todo o pipeline para garantir que a lógica usada nos testes corresponda perfeitamente à lógica em produção. Com a linhagem integrada da plataforma, a resposta sobre qual modelo atendeu a quais clientes durante um período específico é imediata e totalmente auditável. Isso elimina o trabalho manual de conformidade. As equipes de conformidade agora podem provar exatamente quais dados fundamentaram cada decisão de precificação, quem teve acesso e quando as alterações ocorreram. Tudo é capturado automaticamente para eliminar a necessidade de reconstrução manual, fornecendo uma base de confiança que permite à organização expandir suas estratégias de maximização de receita com total segurança.

O caminho a seguir: escalando a inovação em toda a empresa

O sucesso do departamento de precificação está estabelecendo um modelo para expansão em outros domínios de precificação. A ERGO Hestia agora está expandindo a arquitetura do Lakebase e do Model Serving por toda a sua organização de precificação. Cada domínio consolidará seus mecanismos de tomada de decisão dentro da plataforma lakehouse, servindo modelos e dados como serviços de primeira classe com governança unificada.

A validação inicial com um endpoint pequeno e de baixa criticidade comprovou a abordagem. Agora, o escritório de precificação está escalando para cargas de trabalho maiores e mais críticas, além de bancos de dados maiores, usando o mesmo roteiro incremental. Conjuntos de dados de maior risco e modelos complexos exigem uma validação mais rigorosa, mas o padrão de migração incremental permanece inalterado.

O objetivo é claro: desativar o banco de dados externo Azure PostgreSQL assim que todos os domínios de precificação tiverem migrado com sucesso para o Lakebase. A migração de cada domínio gera confiança para o próximo, acelerando o cronograma geral em direção a uma infraestrutura de precificação unificada e nativa do Databricks.

Além das operações de precificação, a consolidação de todos os dados de precificação dentro do lakehouse abre novas oportunidades. Com inteligência de precificação unificada no Databricks, as equipes podem aproveitar o AI/BI Genie para explorar padrões de preços, descobrir insights e responder a perguntas de negócios ad-hoc sem precisar de suporte de engenharia. Os mesmos dados que alimentam o mecanismo de precificação agora impulsionam o business intelligence e a descoberta orientada por IA, multiplicando o valor do investimento no lakehouse.

Esse padrão comprovado agora serve como modelo para que outras funções de negócios eliminem dependências externas e acelerem sua própria velocidade de tomada de decisão.

Conclusão

A transformação da ERGO Hestia ilustra um princípio que se aplica a todos os setores: a consolidação em uma plataforma unificada acelera a velocidade de inovação ao mesmo tempo em que simplifica as operações. Ao migrar para uma arquitetura nativa de lakehouse, onde os dados e modelos são servidos diretamente por meio do Databricks Lakebase e do Model Serving, o departamento de precificação tornou-se mais rápido, mais confiável e capaz de manter uma inovação contínua.

Em um mercado definido por milissegundos, o diferencial não é mais apenas o modelo em si, mas a arquitetura que permite que ele reaja à realidade em tempo real. Testes A/B nativos, guardrails automatizados e trilhas de auditoria contínuas no Unity Catalog garantem que cada decisão permaneça rastreável e dentro dos limites de risco definidos.

Essa arquitetura serve como uma referência prática para toda a organização ERGO e para qualquer empresa que se esforce para implantar mecanismos de precificação de milissegundos para maximizar o impacto no mercado e o crescimento da receita. A questão para o setor não é mais sobre a possibilidade técnica de precificação em tempo real, mas sobre a rapidez com que podem adotar a arquitetura que torna isso uma realidade.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original