Débloquez des campagnes marketing fluides et rentables avec Lakebase

Récemment, Deichmann a publié un témoignage client décrivant comment Lakebase a permis un marketing omnicanal fluide. Ce blog couvre l'aspect technique de cette histoire.

Chaque entreprise de vente au détail doit exploiter les données pour proposer des campagnes marketing personnalisées et performantes. Néanmoins, nous constatons certaines inefficacités dans le secteur :

• Les entreprises paient pour des ressources de base de données sous-utilisées : les segments de clientèle utilisés pour les campagnes personnalisées sont souvent stockés dans une base de données OLTP à partir de laquelle les outils marketing les lisent. Lorsque les campagnes marketing sont lancées, il y a un pic de requêtes de base de données, mais en dehors de cela, l'utilisation de la base de données est faible.
• Les besoins changeants des équipes marketing ajoutent une charge opérationnelle aux équipes de données : les professionnels des données créent de nouveaux segments de clientèle dans le Lakehouse, et chaque nouvelle demande du marketing entraîne la création, la maintenance et la surveillance d'un ensemble de pipelines de synchronisation Lakehouse-vers-OLTP.

Une lakebase est une nouvelle architecture ouverte qui combine les meilleurs éléments des bases de données transactionnelles avec la flexibilité et l'économie du data lake. Databricks Lakebase Postgres, notre implémentation de l'architecture lakebase, résout ces problèmes :

• En séparant le stockage du calcul, les données peuvent être stockées à moindre coût dans des stockages d'objets sans mise à l'échelle linéaire du calcul. Cela signifie que le nombre et la diversité des attributs clients peuvent augmenter considérablement sans nécessiter de ressources de calcul supplémentaires. À mesure que les données augmentent mais que le trafic de la base de données ne le fait pas, les coûts de Lakebase restent inférieurs à ceux des bases de données OLTP traditionnelles.
• Alimenté par un calcul Postgres élastique et sans serveur, Lakebase s'adapte instantanément à la demande et se réduit lorsqu'il est inactif en moins d'une seconde. Les coûts s'alignent directement sur l'utilisation, ce qui le rend idéal pour les charges de travail en rafale comme les campagnes marketing planifiées. Les clients de Lakebase ne paient que pour les ressources dont ils ont besoin, ce qui réduit les coûts et élimine la nécessité de dimensionner et de planifier leur calcul à l'avance.
• En s'intégrant de manière transparente au Lakehouse, la synchronisation entre Lakebase et le Lakehouse est entièrement gérée, fiable et efficace, déchargeant les professionnels des données du fardeau de la création et de la maintenance des pipelines.

Intégration de Lakebase avec SAP Engagement Cloud

Pour illustrer les avantages de l'utilisation de Lakebase comme base de données backend pour notre plateforme de campagnes marketing, nous allons montrer comment intégrer Lakebase avec SAP Engagement Cloud, une plateforme de marketing omnicanal, et lancer une campagne marketing personnalisée basée sur des segments de clientèle préalablement créés dans le Lakehouse.

Étape 1 : Créer et configurer un nouveau projet Lakebase

Nous avons configuré notre instance Postgres en créant un nouveau projet Lakebase Autoscaling. Un projet est le conteneur de niveau supérieur pour nos ressources de base de données. Un projet nouvellement créé comprend une base de données de production, qui sera l'instance PostgreSQL à laquelle SAP Engagement Cloud se connectera.

Les campagnes marketing reposent sur des déclencheurs basés sur le temps. Lorsqu'une campagne est déclenchée, SAP Engagement Cloud interroge la base de données pour récupérer les prospects qui répondent aux critères spécifiés. Ces mécanismes induisent des pics périodiques au sein de périodes de faible activité prolongées. Pour cette raison, pour le calcul, nous réduisons à 0 pendant les périodes de faible activité prolongées, éliminant ainsi les coûts de calcul pour ces périodes, et nous définissons une capacité moyenne de 16 CU (~32 Go de RAM) comme maximum pour les pics. Même si la plage de mémoire choisie est relativement grande, la vitesse et la réactivité de l'autoscaling de Lakebase éliminent le risque de sous-utilisation des ressources, ce qui réduit le TCO et la nécessité de dimensionner et de provisionner notre base de données.

Une fois le calcul Lakebase configuré, nous devons créer les rôles nécessaires pour SAP Engagement Cloud. Lakebase prend en charge les rôles OAuth pour les identités Databricks et les rôles de mot de passe Postgres natifs. Étant donné qu'Engagement Cloud ne peut pas gérer la rotation horaire des jetons pour les rôles OAuth, nous utiliserons des rôles Postgres natifs. Les rôles Postgres peuvent être créés de différentes manières ; nous utiliserons l'interface utilisateur de Lakebase pour générer un mot de passe à haute entropie. Capturez le mot de passe immédiatement et stockez-le dans un gestionnaire de secrets. Nous recommandons de faire pivoter les mots de passe en en générant de nouveaux à intervalles réguliers.

Nous accordons ensuite les autorisations nécessaires au rôle Postgres SAP Engagement Cloud nouvellement créé pour notre schéma utilisé pour nos segments de clientèle synchronisés en exécutant ces commandes dans la console SQL de Lakebase.

Étape 2 : Connecter SAP Engagement Cloud à Lakebase

SAP Engagement Cloud nécessite un certificat CA pour se connecter à une instance PostgreSQL. Lakebase utilise des certificats émis par Let's Encrypt, le certificat racine requis est donc ISRG Root X1.

Nous pouvons obtenir le certificat racine avec :

Nous pouvons inspecter le certificat exporté pour confirmer qu'il est correct :

Lors de la configuration de notre nouvelle connexion PostgreSQL dans SAP Engagement Cloud, nous collerons le contenu de ce fichier lorsque nous serons invités à fournir un certificat CA.

Étape 3 : Synchroniser les segments de clientèle avec Lakebase

Une fois la connexion et le rôle créés, nous pouvons synchroniser nos segments de clientèle du Lakehouse vers Lakebase. Pour cela, nous devons créer une table synchronisée à partir de la table à synchroniser. Les tables synchronisées Databricks créent une copie gérée de nos données Unity Catalog dans Lakebase, les rendant disponibles pour les applications nécessitant des requêtes de style OLTP à faible latence.

Plusieurs modes de synchronisation sont disponibles : instantané (snapshot), déclenché (triggered) et continu (continuous). Dans notre cas, et très souvent, les segments de clientèle sont recalculés chaque nuit par lots, remplaçant une partie significative de l'ensemble de données. Lorsque plus de 10 % des données sont mises à jour, nous recommandons le mode instantané, qui offre des performances 10 fois supérieures au mode déclenché. À partir de là, un pipeline géré est créé et les données sont synchronisées. Mettre de nouveaux segments de clientèle à la disposition d'Engagement Cloud ne prend désormais que quelques clics, ce qui accélère la mise sur le marché et réduit la charge opérationnelle.

De plus, grâce à la séparation du calcul et du stockage de Lakebase, la taille et la diversité des données disponibles pour Engagement Cloud peuvent augmenter sans avoir à mettre à l'échelle les ressources de calcul comme dans les bases de données classiques, ce qui maintient les coûts bas. Néanmoins, il est important de garder à l'esprit que Databricks Lakebase est optimisé pour les recherches ponctuelles à haute concurrence et les requêtes OLTP courtes, et non pour les analyses volumineuses ou l'OLAP classique.

Synchroniser les données opérationnelles avec le Lakehouse

Au-delà des segments de clientèle générés, les campagnes marketing peuvent intégrer des données provenant d'autres applications. Par exemple, les clients peuvent s'inscrire pour recevoir des notifications concernant les réapprovisionnements de produits ou les nouvelles arrivées dans une catégorie ou une marque spécifique. Les applications peuvent utiliser Lakebase comme une base de données Postgres standard pour stocker ces données de notification, les rendant disponibles pour Engagement Cloud pour le ciblage des campagnes. Toutes les données écrites dans Lakebase peuvent ensuite être synchronisées avec le Lakehouse pour l'analyse via Lakehouse Sync—un pipeline natif et continu basé sur le CDC de Lakebase Postgres vers les tables Delta de Unity Catalog qui rend les données opérationnelles disponibles pour des analyses plus riches et l'IA.

Optimisation des performances

Lakebase est Postgres, et nous pouvons optimiser les performances de manière similaire à une base de données Postgres classique.

La création d'index est l'une des optimisations les plus simples, les plus efficaces et les plus courantes. Lorsque les campagnes marketing sont déclenchées, SAP Engagement Cloud envoie des requêtes pour récupérer les identifiants clients filtrés par une clause WHERE.

Créez un index basé sur cette condition de filtrage. Les index peuvent être créés dans Lakebase en écrivant dans la console SQL de Lakebase :

Dans le cas de SAP Engagement Cloud, les index devraient déjà nous offrir les performances nécessaires. Si des optimisations supplémentaires sont requises, nous devrions d'abord identifier les requêtes les plus longues et les plus fréquentes en utilisant pg_stat_statements ou en utilisant l'interface utilisateur (UI) de Databricks Lakebase, qui fournit les performances des requêtes et un ensemble de métriques pour surveiller la base de données.

Les requêtes les plus longues et les plus problématiques peuvent être analysées en utilisant :

PREFETCH et FILECACHE sont spécifiques à Lakebase et montrent, respectivement, combien de requêtes de prélecture ont été émises/réussies/gaspillées et quels ont été les succès/échecs par rapport au cache de fichiers local (LFC). L'interface utilisateur (UI) de Databricks Lakebase fournit également une interface pratique pour exécuter ces analyses.

À partir de là, nous pourrions explorer des options d'optimisation supplémentaires, telles que :

• Modifier la configuration de work_mem – l'augmenter à 256 Mo pour un calcul plus important peut être bénéfique.
• Ajuster autovacuum_vacuum_scale_factor à une valeur inférieure sur les tables avec un taux de rotation élevé, surveiller le gonflement avec pg_stat_user_tables.

Conclusion

Lakebase, avec sa technologie unique et son intégration étroite avec le Lakehouse, peut offrir une diffusion à faible latence de segments de clientèle créés par des charges de travail analytiques et d'IA.

Lakebase réduit drastiquement le TCO en s'auto-adaptant agressivement et en se mettant à l'échelle zéro lorsque les ressources sont inutilisées, éliminant ainsi les coûts liés aux ressources inactives.

L'intégration de Lakebase avec le Lakehouse supprime le fardeau opérationnel de la maintenance des pipelines de synchronisation, réduit considérablement le délai de mise sur le marché pour de nouveaux segments de clientèle, et permet des campagnes marketing plus personnalisées, générant un engagement accru en un laps de temps plus court.

Prêt à moderniser votre pile marketing ? Essayez Databricks Lakebase Postgres dès aujourd'hui et découvrez comment l'OLTP sans serveur combiné au Lakehouse peut réduire votre TCO et accélérer la livraison de vos campagnes. Visitez la page produit Lakebase de Databricks, lisez l'étude de cas client Deichmann, ou contactez votre équipe de compte Databricks pour définir un projet pilote adapté à vos charges de travail de campagnes marketing.

(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original