Cómo ERGO Hestia redujo el tiempo de comercialización con Lakebase y Mosaic AI Model Serving

Construyendo la próxima generación de fijación de precios en tiempo real

ERGO Hestia, una de las compañías de seguros líderes en Polonia, opera una plataforma de fijación de precios a gran escala que admite más de 100 modelos y 1,000 variables. Como uno de los mayores usuarios polacos de Databricks, ERGO Hestia ha desarrollado una capacidad sustancial en la fijación de precios de vanguardia en milisegundos y una velocidad de ejecución líder en la industria.

Sin embargo, debido a que el equipo busca constantemente la próxima gran innovación en tecnología de seguros, identificaron una oportunidad para maximizar aún más los ingresos mediante la introducción de capacidades B2C en tiempo real. Aunque la arquitectura existente era altamente funcional, el cambio hacia actualizaciones continuas de modelos y la capacidad de respuesta instantánea al cliente reveló un nuevo desafío: mantener la velocidad de innovación a medida que aumentaba la complejidad. El equipo había dominado el arte de la fijación de precios competitivos y ahora estaba listo para ser pionero en la próxima generación de entrega de precios en tiempo real.

A partir de una colaboración estrecha y productiva, ERGO Hestia y Databricks analizaron conjuntamente cómo mejorar la arquitectura anterior para la próxima generación de fijación de precios en tiempo real. Esta gran colaboración llevó a la evolución de la plataforma utilizando Lakebase para proporcionar un Online Feature Store junto con Mosaic AI Model Serving Endpoints para mantener todos los datos y la lógica dentro del ecosistema de Databricks. Esta arquitectura mantiene tanto los datos como el servicio de modelos dentro del lakehouse, eliminando sistemas externos y reduciendo el tiempo de despliegue de modelos. Al unificar la gobernanza a través de Unity Catalog, el equipo integra la gestión de datos y modelos para garantizar una trazabilidad completa y la retención a largo plazo de los conjuntos de entrenamiento históricos y las versiones de los modelos. Esta arquitectura proporciona a los expertos en fijación de precios una pista de auditoría confiable para garantizar que cada decisión siga siendo completamente rastreable y verificable, al tiempo que se mantiene el máximo rendimiento del modelo. En última instancia, esta transformación posiciona al equipo para acelerar la velocidad de innovación y responder rápidamente a las condiciones del mercado, mientras continúan avanzando en sus modelos de fijación de precios de vanguardia.

El desafío: Escalar la velocidad sin escalar la fricción

La arquitectura anterior seguía un patrón lógico en el que Databricks ingería y transformaba los datos de precios a través de su arquitectura de medallón, y luego exportaba los conjuntos de datos procesados a una base de datos externa de Azure PostgreSQL. Una capa de adaptador intermedia manejaba el almacenamiento en caché y exponía los datos al motor de fijación de precios. Esto funcionaba bien cuando el rendimiento era moderado. Sin embargo, a medida que el volumen de datos crecía y la iteración de modelos se aceleraba, el patrón de múltiples saltos (al mover los datos fuera del lakehouse, a través de una base de datos externa, a través de una capa de almacenamiento en caché, hacia la aplicación) comenzó a limitar el rendimiento y la agilidad.

1. Complejidad operativa: El mantenimiento de una base de datos externa y una capa de adaptador personalizada generó una sobrecarga operativa significativa, ya que la enorme carga de mantenimiento de las tareas de extracción surgió como el principal desafío para estos casos de uso críticos. Además, lidiar con una gobernanza de datos fragmentada entre sistemas (incluido Databricks para el procesamiento de datos y PostgreSQL para el servicio en producción), así como con código de aplicación personalizado para manejar la lógica de solicitudes y la integración, significó que el seguimiento del linaje se volviera difícil, lo que afectó el cumplimiento y la auditabilidad.
2. Velocidad de despliegue de modelos: La arquitectura anterior de múltiples saltos requería una sincronización cuidadosa entre la lógica del modelo y la infraestructura de servicio subyacente, lo que creaba una dependencia técnica de ventanas de despliegue coordinadas. Aunque el equipo ya contaba con la experiencia en fijación de precios para iterar rápidamente, la complejidad de la base de datos externa y la capa de adaptador hacía que las actualizaciones a menudo se programaran para horas de menor actividad para garantizar la estabilidad del sistema. Esta orquestación especializada limitaba la frecuencia de las actualizaciones durante la jornada laboral para evitar riesgos de rendimiento en la capa de adaptador externa.
3. Cuello de botella en la frescura de los datos: Las grandes ingestas de datos crearon limitaciones de rendimiento que requerían una orquestación cuidadosa para evitar afectar las horas de operación. Específicamente, estas actualizaciones a menudo provocaban picos de latencia de 10 a 20 veces en la capa de servicio externa, lo que restringía efectivamente las actualizaciones de datos a ventanas de lotes programadas. Para respaldar el movimiento estratégico hacia la fijación de precios B2C en tiempo real, el equipo necesitaba una arquitectura que pudiera ofrecer disponibilidad continua de datos durante todo el día sin estas compensaciones operativas.

Para una organización que gestiona más de 100 modelos a través de más de 1,000 variables en una industria regulada, esta fragmentación creó tanto fricción operativa como riesgos de gobernanza.

La solución: Consolidación dentro del lakehouse

La transformación de ERGO Hestia se basó en tres pilares técnicos fundamentales que unificaron todas las operaciones dentro del lakehouse.

Lakebase para el servicio de datos unificado. Databricks Lakebase proporciona una capa transaccional relacional directamente sobre las tablas Delta. Al utilizar Sync Tables, el equipo habilitó la sincronización continua y automática entre los datos procesados y la capa de servicio. Esto eliminó la necesidad de orquestación manual y tareas de extracción externas. El resultado es una fuente única de verdad para los datos de precios, que reside dentro del lakehouse.

Endpoints de Model Serving para acceso directo a la API. En lugar de enrutar a través de una aplicación intermedia con una capa de almacenamiento en caché separada y una base de datos externa, los endpoints de Model Serving exponen los datos directamente a la aplicación del motor de fijación de precios. Esto elimina por completo la capa de adaptador y garantiza que la lógica de solicitud se mantenga de forma nativa dentro de Databricks. Las solicitudes fluyen desde el motor de precios hacia los endpoints de Model Serving y de regreso en milisegundos para simplificar la arquitectura al consolidar la ejecución de consultas y el servicio de datos en una sola capa administrada.

Model Serving para una integración de ecosistema de alta velocidad. Los modelos se registran primero en MLflow y luego las versiones ganadoras se registran en Unity Catalog antes de exponerse a través de endpoints de Model Serving dedicados. Esta arquitectura amplía las capacidades de despliegue existentes al proporcionar un único plano gobernado donde los expertos en precios pueden validar modelos con datos en tiempo real en el ecosistema de Databricks. Pueden ejecutar múltiples versiones de modelos simultáneamente para comparar el rendimiento mediante pruebas A/B y de regresión, mientras que todo el ciclo de vida del modelo permanece conectado de forma nativa a las fuentes de datos subyacentes. Este enfoque garantiza una visibilidad completa a través del seguimiento de linaje integrado y los controles de gobernanza que abarcan tanto las capas de datos como las de servicio de modelos en Unity Catalog.

Las canalizaciones ETL existentes en Databricks no requirieron cambios y los datos simplemente se sincronizaron con Lakebase en lugar de extraerse a PostgreSQL. Model Serving pudo utilizar los modelos GLM y ML existentes que estaban registrados en MLflow, publicados en Unity Catalog y expuestos a través de endpoints de Model Serving. Se utilizó una canalización de CI/CD en Azure DevOps para orquestar los despliegues.

Éxito a través de la migración incremental: Reducción de riesgos en la transformación

En lugar de una transición coordinada, ERGO Hestia adoptó un enfoque por etapas que priorizó la confianza y la continuidad del negocio. El equipo comenzó con los endpoints de menor criticidad mientras validaba el rendimiento y la estabilidad antes de expandirse a los sistemas de misión crítica. Las operaciones de fijación de precios no se interrumpieron en ningún momento.

Fase 1: Prueba de concepto (Semanas 1 a 3)

El equipo validó la arquitectura con un endpoint de datos pequeño y bien delimitado que daba servicio a un segmento de cartera limitado. Sincronizaron la tabla Delta existente con Lakebase y la expusieron a través de un endpoint de Model Serving. Una ventaja determinante de Lakebase es la separación única de cómputo y almacenamiento, lo que permitió que el sistema se escalara sin esfuerzo para satisfacer los volúmenes máximos de solicitudes sin ningún ajuste manual en la infraestructura de cómputo. Databricks proporcionó observabilidad integrada en la latencia y la utilización de la CPU, así como en el rendimiento y el consumo de memoria. Las pruebas de rendimiento demostraron que la arquitectura superó con creces las expectativas con una latencia de 20 ms y menos del 5% de utilización de la CPU, incluso bajo una carga alta de 40 solicitudes por segundo. Este éxito temprano eliminó el riesgo arquitectónico antes de que el proyecto se expandiera a producción.

Fase 2: Despliegue en producción (Semanas 3 a 6)

Con la PoC validada, el equipo comenzó la migración a producción empezando por los endpoints de baja criticidad. A medida que los endpoints se migraban, cada uno ofreció resultados consistentes: consistencia perfecta de datos entre Delta Lake y Lakebase, rendimiento estable y predecible, y menos componentes personalizados requeridos que en la arquitectura heredada. Con cada migración exitosa, la confianza de las partes interesadas creció, lo que permitió al equipo acelerar la expansión a endpoints de mayor riesgo.

Fase 3: División del tráfico y validación en el mundo real.

En lugar de aceptar una única fecha de transición, ERGO Hestia implementó una división del tráfico a escala de producción: la mitad de su base de clientes se dirigió a través de los sistemas heredados y la otra mitad a través del nuevo sistema. Este enfoque permitió observar en el mundo real el comportamiento real de los usuarios y los patrones de carga. Los nuevos modelos de fijación de precios generaron cotizaciones de manera constante y cumplieron con todas las expectativas de latencia. Fundamentalmente, el equipo pudo validar que el nuevo sistema gestionaba la carga de producción exactamente como se había diseñado.

Por qué funcionó este enfoque: la estrategia incremental eliminó el riesgo en cada etapa. La validación de baja criticidad evitó fallos catastróficos en todo el sistema. Los hitos alcanzados con éxito generaron confianza en la organización y permitieron una expansión más rápida. La validación de producción en el mundo real a escala confirmó que la arquitectura funcionaba según lo diseñado. Durante todas las fases, las operaciones de fijación de precios continuaron sin interrupciones y con un impacto nulo en los clientes.

Resultados comerciales: acelerar la velocidad de innovación

Tiempo de comercialización de modelos acelerado: los expertos en fijación de precios ahora implementan modelos directamente dentro del ecosistema de Databricks, donde se sincronizan automáticamente con los datos de producción más recientes. Al servir modelos a través de Mosaic AI junto con el Lakebase Online Feature Store, el equipo elimina la latencia que suele producirse al sincronizar los resultados de modelos externos con flujos de datos en tiempo real. Esta integración garantiza que la agilidad actual de ERGO Hestia se complemente ahora con una conexión directa de alta velocidad entre los datos del mercado en tiempo real y el motor de fijación de precios. La capacidad de ejecutar estos modelos sincronizados permite responder rápidamente a las condiciones del mercado y a la presión competitiva de los precios, lo que en última instancia genera mayores ingresos para la organización.

Simplificación operativa: la complejidad operativa se ha sustituido por la simplicidad arquitectónica. Al eliminar la base de datos externa PostgreSQL y la capa de adaptación, ERGO Hestia unificó su pila bajo un único modelo de gobernanza con Unity Catalog. Este paso eliminó la carga de trabajo manual de aplicar parches y planificar la capacidad, al tiempo que centralizó la lógica de las solicitudes de precios dentro del ecosistema de Databricks. Al estar la lógica y los datos integrados en un entorno de alto rendimiento, la capacidad de ingeniería pasa de mantener middleware personalizado a impulsar la innovación de modelos.

Gobernanza y cumplimiento unificados: en un sector regulado, la capacidad de demostrar exactamente qué información fundamentó una decisión de precios es fundamental. Al unificar todos los datos y modelos de precios bajo Unity Catalog, ERGO Hestia obtiene registros de auditoría automáticos, seguimiento de versiones y controles de acceso. La coherencia de los datos se verifica ahora automáticamente en todo el pipeline para garantizar que la lógica utilizada en las pruebas coincida perfectamente con la lógica en producción. Con el linaje integrado de la plataforma, la respuesta a qué modelo atendió a qué clientes durante un período específico es inmediata y totalmente auditable. Esto elimina el trabajo manual de cumplimiento. Los equipos de cumplimiento ahora pueden demostrar exactamente qué datos fundamentaron cada decisión de precios, quién tenía acceso y cuándo se produjeron los cambios. Todo se registra automáticamente para eliminar la necesidad de una reconstrucción manual, al tiempo que se proporciona una base de confianza que permite a la organización escalar sus estrategias de maximización de ingresos con total seguridad.

El camino a seguir: escalar la innovación en toda la empresa

El éxito del departamento de fijación de precios está sentando las bases para escalar en todos los ámbitos de precios. ERGO Hestia está expandiendo ahora la arquitectura de Lakebase y Model Serving a toda su organización de precios. Cada área consolidará sus motores de toma de decisiones dentro de la plataforma lakehouse, sirviendo modelos y datos como servicios de primer nivel con una gobernanza unificada.

La validación inicial con un endpoint pequeño y de baja criticidad demostró la viabilidad del enfoque. Ahora, la oficina de precios está escalando a cargas de trabajo más grandes y críticas, así como a bases de datos de mayor tamaño, utilizando la misma estrategia incremental. Los conjuntos de datos de mayor riesgo y los modelos complejos requieren una validación más rigurosa, pero el patrón de migración incremental sigue siendo el mismo.

El objetivo es claro: retirar la base de datos externa Azure PostgreSQL una vez que todos los ámbitos de precios se hayan migrado con éxito a Lakebase. La migración de cada área genera confianza para la siguiente, lo que acelera el cronograma general hacia una infraestructura de precios unificada y nativa de Databricks.

Más allá de las operaciones de fijación de precios, la consolidación de todos los datos de precios dentro del lakehouse abre nuevas oportunidades. Con la inteligencia de precios unificada en Databricks, los equipos pueden aprovechar AI/BI Genie para explorar patrones de precios, descubrir información y responder a preguntas comerciales específicas sin necesidad de soporte de ingeniería. Los mismos datos que alimentan el motor de precios ahora impulsan la inteligencia empresarial y el descubrimiento basado en IA, multiplicando el valor de la inversión en el lakehouse.

Este patrón comprobado ahora sirve de plantilla para que otras funciones comerciales eliminen las dependencias externas y aceleren su propia velocidad de toma de decisiones.

Conclusión

La transformación de ERGO Hestia ilustra un principio aplicable a todos los sectores: la consolidación dentro de una plataforma unificada acelera la velocidad de innovación al tiempo que simplifica las operaciones. Al migrar a una arquitectura nativa de lakehouse donde los datos y los modelos se sirven directamente a través de Databricks Lakebase y Model Serving, el departamento de fijación de precios se ha vuelto más rápido, más confiable y capaz de mantener una innovación constante.

En un mercado definido por milisegundos, el factor diferenciador ya no es solo el modelo en sí, sino la arquitectura que le permite reaccionar a la realidad en tiempo real. Las pruebas A/B nativas, las medidas de protección automatizadas y los registros de auditoría continuos en Unity Catalog garantizan que cada decisión sea trazable y se mantenga dentro de los límites de riesgo establecidos.

Esta arquitectura sirve como referencia práctica para la organización ERGO en general y para cualquier empresa que se esfuerce por implementar motores de fijación de precios de milisegundos para maximizar el impacto en el mercado y el crecimiento de los ingresos. La pregunta para el sector ya no es sobre la posibilidad técnica de fijar precios en tiempo real, sino sobre la rapidez con la que pueden adoptar la arquitectura que lo hace realidad.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original