Desbloquee campañas de marketing fluidas y rentables con Lakebase

Recientemente, Deichmann publicó una historia de cliente describiendo cómo Lakebase permitió un marketing omnicanal sin interrupciones. Este blog cubre el lado técnico de la historia.

Cada empresa minorista necesita aprovechar los datos para ofrecer campañas de marketing personalizadas y de alto rendimiento. Sin embargo, observamos algunas ineficiencias en toda la industria:

• Las empresas pagan por recursos de base de datos subutilizados: los segmentos de clientes utilizados para campañas personalizadas a menudo se almacenan en una base de datos OLTP desde la cual las herramientas de marketing los leen. Cuando se lanzan campañas de marketing, hay un pico en las solicitudes a la base de datos, pero por lo demás, la utilización de la base de datos es baja.
• Las necesidades cambiantes de los equipos de marketing añaden una carga operativa a los equipos de datos: los profesionales de datos crean nuevos segmentos de clientes en el Lakehouse, y cada nueva solicitud de Marketing resulta en un paquete de pipelines de sincronización Lakehouse-a-OLTP para crear, mantener y monitorear.

Una lakebase es una arquitectura nueva y abierta que combina los mejores elementos de las bases de datos transaccionales con la flexibilidad y la economía del data lake. Databricks Lakebase Postgres, nuestra implementación de la arquitectura lakebase, resuelve estos problemas:

• Al separar el almacenamiento del cómputo, los datos pueden almacenarse de forma económica en almacenes de objetos sin escalar el cómputo linealmente. Esto significa que el número y la diversidad de atributos de cliente pueden aumentar significativamente sin requerir recursos de cómputo adicionales. A medida que los datos crecen pero el tráfico de la base de datos no, los costos de Lakebase se mantienen más bajos que los de las bases de datos OLTP tradicionales.
• Impulsado por un cómputo Postgres elástico y sin servidor, Lakebase se escala instantáneamente con la demanda y se reduce cuando está inactivo en menos de un segundo. Los costos se alinean directamente con el uso, lo que lo hace ideal para cargas de trabajo intermitentes como campañas de marketing programadas. Los clientes de Lakebase pagan solo por los recursos que necesitan, lo que reduce los costos y elimina la necesidad de dimensionar y planificar su cómputo con anticipación.
• Al integrarse sin problemas con el Lakehouse, la sincronización entre Lakebase y el Lakehouse está totalmente gestionada, es fiable y eficiente, liberando a los profesionales de datos de la carga de la creación y el mantenimiento de pipelines.

Integración de Lakebase con SAP Engagement Cloud

Para ilustrar los beneficios de usar Lakebase como base de datos backend para nuestra plataforma de campañas de marketing, mostraremos cómo integrar Lakebase con SAP Engagement Cloud, una plataforma de marketing omnicanal, y lanzar una campaña de marketing personalizada basada en segmentos de clientes creados previamente en el Lakehouse.

Paso 1: Crear y configurar un nuevo proyecto de Lakebase

Configuramos nuestra instancia de Postgres creando un nuevo proyecto de escalado automático de Lakebase. Un proyecto es el contenedor de nivel superior para nuestros recursos de base de datos. Un proyecto recién creado incluye una base de datos de producción, que será la instancia de PostgreSQL a la que se conectará SAP Engagement Cloud.

Las campañas de marketing se basan en disparadores temporales. Cuando se activa una campaña, SAP Engagement Cloud consulta la base de datos para recuperar prospectos que cumplen los criterios especificados. Estos mecanismos inducen picos periódicos dentro de períodos de baja actividad prolongados. Por esta razón, para el cómputo, escalamos a 0 durante los períodos de baja actividad prolongados, eliminando los costos de cómputo para estos períodos, y establecemos una capacidad media de 16 CU (~32 GB RAM) como máximo para los picos. Incluso si el rango de memoria elegido es relativamente grande, la velocidad y reactividad del escalado automático de Lakebase eliminan el riesgo de subutilización de recursos, lo que reduce el TCO y la necesidad de dimensionar y aprovisionar nuestra base de datos.

Una vez configurado el cómputo de Lakebase, necesitamos crear los roles necesarios para SAP Engagement Cloud. Lakebase soporta roles OAuth para identidades de Databricks y roles de contraseña nativos de Postgres. Dado que Engagement Cloud no puede manejar la rotación horaria de tokens que ocurre con los roles OAuth, utilizaremos roles nativos de Postgres. Los roles de Postgres se pueden crear de varias maneras; utilizaremos la interfaz de usuario de Lakebase para generar una contraseña de alta entropía. Capture la contraseña inmediatamente y guárdela en un gestor de secretos. Recomendamos rotar las contraseñas generando nuevas de forma regular.

Luego, otorgamos los permisos necesarios al rol de Postgres de SAP Engagement Cloud recién creado para nuestro esquema utilizado para nuestros segmentos de clientes sincronizados ejecutando estos comandos en la consola SQL de Lakebase.

Paso 2: Conectar SAP Engagement Cloud a Lakebase

SAP Engagement Cloud requiere un certificado CA para conectarse a una instancia de PostgreSQL. Lakebase utiliza certificados emitidos por Let's Encrypt, por lo que el certificado raíz requerido es ISRG Root X1.

Podemos obtener el certificado raíz con:

Podemos inspeccionar el certificado exportado para confirmar que es correcto:

Al configurar nuestra nueva conexión PostgreSQL en SAP Engagement Cloud, pegaremos el contenido de este archivo cuando se nos solicite un certificado CA.

Paso 3: Sincronizar los segmentos de clientes con Lakebase

Con la conexión y el rol creados, podemos sincronizar nuestros segmentos de clientes del Lakehouse a Lakebase. Para esto, necesitamos crear una tabla sincronizada a partir de la tabla a sincronizar. Las tablas sincronizadas de Databricks crean una copia gestionada de nuestros datos de Unity Catalog en Lakebase, poniéndolos a disposición de las aplicaciones que necesitan consultas OLTP de baja latencia.

Hay varios modos de sincronización disponibles: instantánea, activado y continuo. En nuestro caso, y muy a menudo, los segmentos de clientes se recalculan por la noche en lotes, reemplazando una porción significativa del conjunto de datos. Cuando se actualiza más del 10% de los datos, recomendamos el modo instantánea, que ofrece un rendimiento 10 veces superior al modo activado. A partir de ahí, se crea un pipeline gestionado y los datos se sincronizan. Hacer que los nuevos segmentos de clientes estén disponibles para Engagement Cloud ahora requiere solo unos pocos clics, acelerando el tiempo de comercialización y reduciendo la carga operativa.

Además, debido a la separación de cómputo y almacenamiento de Lakebase, el tamaño y la diversidad de los datos disponibles para Engagement Cloud pueden crecer sin tener que escalar los recursos de cómputo como en las bases de datos clásicas, manteniendo los costos bajos. Sin embargo, es importante tener en cuenta que Databricks Lakebase está optimizado para búsquedas puntuales de alta concurrencia y consultas OLTP cortas, no para grandes escaneos o OLAP clásico.

Sincronizar datos operativos con el Lakehouse

Más allá de los segmentos de clientes generados, las campañas de marketing pueden incorporar datos de otras aplicaciones. Por ejemplo, los clientes pueden registrarse para recibir notificaciones sobre reposiciones de productos o nuevas llegadas en una categoría o marca específica. Las aplicaciones pueden usar Lakebase como una base de datos Postgres estándar para almacenar estos datos de notificación, poniéndolos a disposición de Engagement Cloud para la segmentación de campañas. Cualquier dato escrito en Lakebase puede luego sincronizarse con el Lakehouse para análisis a través de Lakehouse Sync—un pipeline nativo y continuo basado en CDC desde Lakebase Postgres a las tablas Delta de Unity Catalog que hace que los datos operativos estén disponibles para análisis más ricos e IA.

Optimización del rendimiento

Lakebase es Postgres, y podemos optimizar el rendimiento de manera similar a una base de datos Postgres clásica.

La creación de índices es una de las optimizaciones más fáciles, impactantes y comunes. Cuando se activan las campañas de marketing, SAP Engagement Cloud lanza consultas para recuperar IDs de clientes filtrados por una cláusula WHERE.

Cree un índice basado en esta condición de filtrado. Los índices se pueden crear en Lakebase escribiendo en la consola SQL de Lakebase:

En el caso de SAP Engagement Cloud, los índices ya deberían proporcionarnos el rendimiento que necesitamos. Si se requieren optimizaciones adicionales, primero debemos identificar las consultas más largas y frecuentes utilizando pg_stat_statements o utilizando la interfaz de usuario de Databricks Lakebase, que proporciona el rendimiento de las consultas y un conjunto de métricas para monitorear la base de datos.

Las consultas más largas y problemáticas se pueden analizar utilizando:

PREFETCH y FILECACHE son específicos de Lakebase y muestran, respectivamente, cuántas solicitudes de precarga se emitieron/acertaron/desperdiciaron y cuáles fueron los aciertos/fallos contra la Caché de Archivos Local (LFC). La interfaz de usuario de Databricks Lakebase también proporciona una interfaz práctica para ejecutar estos análisis.

A partir de ahí, podríamos explorar opciones de optimización adicionales como:

• Cambiar la configuración de work_mem: aumentarla a 256 MB para una computación más grande puede ser beneficioso.
• Ajustar autovacuum_vacuum_scale_factor a un valor más bajo en tablas con una alta tasa de rotación, y vigilar el hinchamiento con pg_stat_user_tables.

Conclusión

Lakebase, con su tecnología única y su estrecha integración con el Lakehouse, puede proporcionar un servicio de baja latencia para segmentos de clientes creados por cargas de trabajo analíticas y de IA.

Lakebase reduce drásticamente el TCO al autoescalar agresivamente y escalar a cero cuando los recursos no se utilizan, eliminando los costos de los recursos inactivos.

La integración de Lakebase con el Lakehouse elimina la carga operativa de mantener las tuberías de sincronización, reduce drásticamente el tiempo de comercialización para nuevos segmentos de clientes y permite campañas de marketing más personalizadas, impulsando un mayor compromiso en un período de tiempo más corto.

¿Listo para modernizar su pila de marketing? Pruebe Databricks Lakebase Postgres hoy mismo y vea cómo el OLTP sin servidor combinado con el Lakehouse puede reducir su TCO y acelerar la entrega de campañas. Visite la página del producto Lakebase de Databricks, lea la historia de cliente de Deichmann, o póngase en contacto con su equipo de cuentas de Databricks para definir una prueba de concepto adaptada a sus cargas de trabajo de campañas de marketing.

(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original