Crea una característica una vez y úsala en todas partes: una definición declarativa impulsa el entrenamiento en un momento dado y la clasificación en caliente en línea a p95 de 34 ms, con señales de sesión activas en menos de 130 ms.
por Tian Tan, Sixuan He, Nick Joung y Julia Brouillette
La personalización en tiempo real depende de entender qué quieren los clientes en el momento. Cuando un cliente de banca minorista revisa sus cuentas, explora tarjetas de crédito o abre una calculadora de préstamos, cada interacción indica su intención actual. Una oferta relevante debe llegarle mientras aún está en la sesión.
El desafío es hacer que esa intención esté disponible para el modelo. Los datos de flujo de clics sin procesar deben agregarse en características con ventanas de tiempo con dos propósitos: entrenar con valores históricos tal como existían en un momento dado y servir predicciones usando valores actuales con una latencia de milisegundos. Construir estas tuberías por separado crea definiciones de características duplicadas que pueden desviarse con el tiempo y degradar la precisión del modelo.
Databricks Feature Views resuelve esto permitiéndote definir características una sola vez tanto para el entrenamiento como para el servicio. En este blog, exploraremos un Solution Accelerator de código abierto que utiliza Feature Views para construir un recomendador de la siguiente mejor oferta (NBO) en tiempo real para servicios financieros.

El acelerador incluye dos partes: un recomendador que utiliza características por lotes y una extensión que añade streaming e intención dentro de la sesión. Ambos están construidos de extremo a extremo en Databricks, con notebooks ejecutables que puedes clonar y desplegar.
Las recomendaciones en tiempo real requieren tanto consistencia como velocidad. Las características deben calcularse de la misma manera durante el entrenamiento y el servicio para evitar el sesgo entre entrenamiento y servicio, lo que puede degradar la precisión del modelo. En el momento de la inferencia, esas características también deben recuperarse y evaluarse en milisegundos.
Tradicionalmente, cumplir con ambos requisitos significaba mantener sistemas separados: una tubería por lotes para las características de entrenamiento y un trabajo de streaming escrito a mano para el servicio en línea. Esto crea una lógica duplicada que puede desviarse con el tiempo.
Feature Views elimina la necesidad de definiciones de características separadas. Declaras la lógica una vez y Databricks la reutiliza en el entrenamiento y el servicio:
En el momento del entrenamiento, el create_training_set API recupera los valores de las características tal como existían en cada evento etiquetado, evitando fugas de datos futuros. En el momento de la inferencia, el punto de extremo de Model Serving obtiene características por lotes de la tienda en línea utilizando customer_id.
Ambos flujos de trabajo utilizan las mismas definiciones de características, evitando inconsistencias entre transformaciones sin conexión y en línea implementadas por separado.
El acelerador implementa un recomendador de la siguiente mejor oferta (NBO) en tiempo real para la banca minorista. A medida que un cliente navega por cuentas, explora tarjetas de crédito o usa una calculadora de préstamos, el sistema clasifica un catálogo de ofertas, incluidas mejoras de tarjetas de crédito, productos de ahorro y préstamos personales, para recomendar la opción más relevante durante la sesión.
El recomendador combina un contexto de cliente estable, como saldos, gastos, antigüedad y banda de riesgo, con la actividad reciente de flujo de clics que captura la intención dentro de la sesión. Un único modelo de clasificación utiliza ambos tipos de datos, mientras que Feature Views mantiene las definiciones de características consistentes entre el entrenamiento sin conexión y el servicio en línea.
El acelerador incluye tres pasos, entregados como notebooks ejecutables en dos partes que comparten un catálogo, un esquema, una tienda en línea y definiciones de características.

Feature Views te permite declarar características sobre tablas por lotes y transmisiones de Kafka en vivo utilizando el mismo enfoque:
Característica | Declarada como | Qué le aporta al modelo |
Saldo promedio de 30 días |
| Comportamiento continuo |
Gasto de 90 días |
| Comportamiento de periodo fijo |
Nivel de lealtad, banda de riesgo, ingresos, antigüedad |
| Contexto de cliente estable |
Visualizaciones de categorías en los últimos 10 minutos |
| Intención más reciente en la sesión |
Interés de categoría a 30 días |
| Ventana larga, vanguardia reciente |
Relación gasto-ingresos |
| Derivada, calculada por solicitud |
Para las características de streaming, apunta la declaración a un tema de Kafka en lugar de a una tabla. Feature Views agrega continuamente eventos a la tienda en línea sin un trabajo de streaming escrito a mano separado o lógica de características duplicada.
SawtoothWindow hace que las ventanas de streaming más largas sean prácticas. Por ejemplo, un recuento de categorías de 30 días se mantiene actualizado a medida que llegan nuevos eventos sin volver a calcular todo el historial para cada evento.
Utilizando el Feature Engineering SDK, una unión basada en el punto temporal reconstruye el valor de cada característica tal como existía en el momento de la etiqueta histórica, evitando fugas de datos futuros. El conjunto de entrenamiento resultante alimenta un clasificador LightGBM registrado en Unity Catalog.
Debido a que el entrenamiento y el servicio utilizan las mismas declaraciones de características, las características no pueden divergir a través de transformaciones sin conexión y en línea implementadas por separado.
El clasificador se ejecuta en un punto de extremo de Model Serving optimizado para rutas. Cada solicitud contiene {customer_id, candidate offers, session context}. El punto de extremo recupera las características del cliente de la tienda en línea por clave y evalúa las 40 ofertas directamente, sin un paso adicional de reducción de candidatos.
Un segundo punto de extremo de Feature Serving optimizado para rutas expone los valores de las características, lo que permite a la aplicación mostrar por qué se seleccionó una oferta sin consultar directamente la tienda en línea.

Dos mediciones importan más para un recomendador en tiempo real: qué tan rápido un clic se convierte en una característica visible para el modelo y si el entrenamiento y el servicio producen valores de características idénticos.
Evaluamos el acelerador de extremo a extremo utilizando su configuración más pequeña: un punto de extremo de servicio pequeño y una tienda en línea de nodo único, sin ajustes. Los eventos de streaming se volvieron visibles para el modelo en aproximadamente una décima de segundo, mientras que las rutas de entrenamiento y servicio produjeron valores idénticos.
Cada par de barras muestra la mediana (p50) y el percentil 95 (p95) de la latencia. Las dos primeras miden la latencia de la solicitud y son directamente comparables. La tercera mide la frescura de las características, desde la ingesta de eventos hasta la disponibilidad en línea, en lugar del tiempo que espera un usuario. La línea discontinua marca el presupuesto de 50 ms que ambas rutas de servicio cumplen.
Una solicitud de ranking completa, que incluye la recuperación de características en línea y la inferencia, se ajusta a un presupuesto de 50 ms en el endpoint más pequeño. Añadir la característica de transmisión en directo aumenta la latencia en solo 3-4 ms.
El endpoint de ranking mantuvo aproximadamente 56 solicitudes por segundo (RPS), mientras que el endpoint de Feature Serving mantuvo aproximadamente 390 RPS antes de que la latencia p95 superara los 50 ms.
El rendimiento medido rastreó la concurrencia dividida por el tiempo de servicio dentro del 15%, proporcionando una fórmula práctica de dimensionamiento:
required concurrency = 4 × ceil(target RPS ÷ measured RPS at your SLO)
Basándose en estos resultados, admitir 150 solicitudes de ranking por segundo dentro de un objetivo de nivel de servicio (SLO) p95 de 50 ms requiere una concurrencia de 12.
Utilizamos los notebooks de pruebas comparativas del acelerador con endpoints activos, un cliente en la misma región y carga ligera. Con las claves de solicitudes distribuidas entre 2000 clientes utilizando una distribución de Zipf para aumentar los fallos de caché, la latencia de ranking midió 33 ms p50 y 48 ms p95.
Medimos la frescura de las características por evento, desde la escritura en Kafka hasta que el valor se vuelve legible en el almacén en línea. Para mayor coherencia, comparamos los valores materializados sin conexión con el almacén en línea para cada cliente utilizando la igualdad segura frente a nulos.
Estos resultados tienen dos limitaciones. En primer lugar, los endpoints de ranking utilizan el escalado a cero, por the que la primera solicitud después de un período de inactividad puede incurrir en un inicio en frío de decenas de segundos. En segundo lugar, la latencia informada combina la recuperación de características y la inferencia. Por lo tanto, la medición de 27 ms no es directamente comparable con las pruebas comparativas que informan únicamente la latencia de lectura de características.
El acelerador demuestra un recomendador en tiempo real funcional, no un aumento de ingresos comprobado. Como utiliza datos sintéticos, no afirmamos mejoras en la conversión. En su lugar, ofrece a los equipos un punto de partida para medir el impacto empresarial.
Antes de pasar a producción, los equipos también deben implementar controles de elegibilidad, consentimiento, idoneidad y supresión. El ranking de ofertas es un paso de modelado, no una decisión final de oferta. El acelerador demuestra la ingeniería de características y la infraestructura de servicio, no estas reglas de negocio.
El acelerador le permite comenzar con características por lotes y luego agregar streaming en tiempo real sin necesidad de reconstruir su infraestructura de características.
Utilice Declarative Automation Bundles (DABs) para implementar el acelerador:
El orden de implementación importa: La aplicación depende de los endpoints de servicio de la Parte 2, que los notebooks crean en tiempo de ejecución. Implemente los trabajos, ejecute la Parte 1 y la Parte 2, y luego implemente la aplicación. Todo se ejecuta en procesos sin servidor (serverless) gobernados por Unity Catalog.
Feature Views le permiten definir características una sola vez para un entrenamiento correcto en un punto temporal determinado y un servicio en línea de baja latencia en AWS, Azure y GCP. Explore el acelerador para ver cómo se combinan las características por lotes y de streaming en un recomendador en tiempo real.
¿Qué son Feature Views?
Feature Views le permiten definir transformaciones de características una sola vez y reutilizarlas en el entrenamiento de modelos y el servicio en línea. Admiten características por lotes y de streaming, con valores históricos correctos en un punto temporal para el entrenamiento y acceso de baja latencia a los valores actuales para la inferencia.
¿Cómo evitan Feature Views el desfase entre entrenamiento y servicio (train/serve skew)?
Feature Views utilizan definiciones de características compartidas entre el entrenamiento y el servicio, evitando las incoherencias causadas por el mantenimiento de lógicas de transformación separadas. La API de create_training_set también utiliza uniones basadas en puntos temporales para reconstruir los valores de las características tal como existían en cada etiqueta histórica, evitando fugas de datos futuros.
¿Pueden Feature Views admitir características de streaming en tiempo real?
Sí. Feature Views pueden agregar continuamente eventos de Kafka en un almacén en línea sin necesidad de un trabajo de streaming escrito a mano independiente. El acelerador demuestra esto utilizando RollingWindow para la actividad reciente de la sesión y SawtoothWindow para ventanas históricas más largas.
¿Qué rendimiento alcanza el acelerador de la siguiente mejor oferta (next-best-offer)?
En la configuración de la prueba comparativa, el endpoint de ranking alcanzó una latencia p95 de 34 ms, incluyendo la recuperación de características en línea y la inferencia. El endpoint de ranking mantuvo aproximadamente 56 solicitudes por segundo, mientras que el endpoint de Feature Serving mantuvo aproximadamente 390 solicitudes por segundo antes de superar el presupuesto de latencia p95 de 50 ms.
¿Qué necesito para ejecutar el acelerador de la siguiente mejor oferta?
Necesitará un espacio de trabajo de Databricks, un perfil configurado de la CLI de Databricks y el repositorio de GitHub del acelerador. La Parte 1 implementa el recomendador de características por lotes utilizando Declarative Automation Bundles. La Parte 2 también requiere una conexión de Kafka en Unity Catalog y conectividad con Amazon MSK para incorporar la actividad de la sesión en directo.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.