Sblocca campagne di marketing fluide ed economiche con Lakebase

Recentemente, Deichmann ha pubblicato una storia di successo che descrive come Lakebase ha abilitato un marketing omnicanale senza interruzioni. Questo blog copre il lato tecnico della storia.

Ogni azienda di vendita al dettaglio deve sfruttare i dati per offrire campagne di marketing personalizzate e ad alte prestazioni. Tuttavia, osserviamo alcune inefficienze nel settore:

• Le aziende pagano per risorse di database sottoutilizzate: i segmenti di clientela utilizzati per campagne personalizzate sono spesso archiviati in un database OLTP da cui gli strumenti di marketing li leggono. Quando vengono lanciate campagne di marketing, si verifica un picco nelle richieste al database, ma altrimenti l'utilizzo del database è basso.
• Le mutevoli esigenze dei team di marketing aggiungono un onere operativo ai team di dati: i professionisti dei dati creano nuovi segmenti di clientela nel Lakehouse e ogni nuova richiesta dal Marketing comporta un pacchetto di pipeline di sincronizzazione Lakehouse-to-OLTP da creare, mantenere e monitorare.

Un lakebase è un'architettura nuova e aperta che combina i migliori elementi dei database transazionali con la flessibilità e l'economicità del data lake. Databricks Lakebase Postgres, la nostra implementazione dell'architettura lakebase, risolve questi problemi:

• Separando lo storage dal compute, i dati possono essere archiviati in modo economico negli object store senza scalare il compute linearmente. Ciò significa che il numero e la diversità degli attributi dei clienti possono aumentare in modo significativo senza richiedere risorse di compute aggiuntive. Man mano che i dati crescono ma il traffico del database no, i costi di Lakebase rimangono inferiori a quelli dei database OLTP tradizionali.
• Alimentato da un compute Postgres elastico e serverless, Lakebase scala istantaneamente con la domanda e si riduce quando è inattivo in meno di un secondo. I costi si allineano direttamente con l'utilizzo, rendendolo ideale per carichi di lavoro a picchi come campagne di marketing pianificate. I clienti Lakebase pagano solo per le risorse di cui hanno bisogno, riducendo i costi ed eliminando la necessità di dimensionare e pianificare in anticipo il proprio compute.
• Integrandosi perfettamente con il Lakehouse, la sincronizzazione tra Lakebase e Lakehouse è completamente gestita, affidabile ed efficiente, liberando i professionisti dei dati dall'onere della creazione e manutenzione delle pipeline.

Integrazione di Lakebase con SAP Engagement Cloud

Per illustrare i vantaggi dell'utilizzo di Lakebase come database di backend per la nostra piattaforma di campagne di marketing, mostreremo come integrare Lakebase con SAP Engagement Cloud, una piattaforma di marketing omnicanale, e lanciare una campagna di marketing personalizzata basata su segmenti di clientela precedentemente creati nel Lakehouse.

Passaggio 1: Creare e configurare un nuovo progetto Lakebase

Abbiamo impostato la nostra istanza Postgres creando un nuovo progetto Lakebase Autoscaling. Un progetto è il contenitore di primo livello per le nostre risorse di database. Un progetto appena creato include un database di produzione, che sarà l'istanza PostgreSQL a cui si connetterà SAP Engagement Cloud.

Le campagne di marketing si basano su trigger temporizzati. Quando viene attivata una campagna, SAP Engagement Cloud interroga il database per recuperare i potenziali clienti che soddisfano i criteri specificati. Queste meccaniche inducono picchi periodici all'interno di lunghi periodi di inattività. Per questo motivo, per il compute, scaliamo a 0 per i periodi di inattività prolungati, eliminando i costi di compute per questi periodi, e impostiamo una capacità media di 16 CU (~32 GB di RAM) come massimo per i picchi. Anche se l'intervallo di memoria scelto è relativamente ampio, la velocità e la reattività dell'autoscaling di Lakebase eliminano il rischio di sottoutilizzo delle risorse, il che riduce il TCO e la necessità di dimensionare e pianificare il nostro database.

Una volta impostato il compute di Lakebase, dobbiamo creare i ruoli necessari per SAP Engagement Cloud. Lakebase supporta ruoli OAuth per identità Databricks e ruoli con password Postgres nativi. Poiché Engagement Cloud non può gestire la rotazione dei token oraria che avviene per i ruoli OAuth, utilizzeremo ruoli Postgres nativi. I ruoli Postgres possono essere creati in vari modi; utilizzeremo l'interfaccia utente di Lakebase per generare una password ad alta entropia. Cattura immediatamente la password e archiviala in un secret manager. Si consiglia di ruotare le password generando nuove password a intervalli regolari.

Quindi concediamo le autorizzazioni necessarie al ruolo Postgres di SAP Engagement Cloud appena creato per il nostro schema utilizzato per i nostri segmenti di clientela sincronizzati eseguendo questi comandi nella console SQL di Lakebase.

Passaggio 2: Connettere SAP Engagement Cloud a Lakebase

SAP Engagement Cloud richiede un certificato CA per connettersi a un'istanza PostgreSQL. Lakebase utilizza certificati emessi da Let's Encrypt, quindi il certificato radice richiesto è ISRG Root X1.

Possiamo ottenere il certificato radice con:

Possiamo ispezionare il certificato esportato per confermare che sia corretto:

Quando configureremo la nostra nuova connessione PostgreSQL in SAP Engagement Cloud, incolleremo il contenuto di questo file quando richiesto per un certificato CA.

Passaggio 3: Sincronizzare i segmenti di clientela con Lakebase

Con la connessione e il ruolo creati, possiamo sincronizzare i nostri segmenti di clientela dal Lakehouse a Lakebase. Per questo, dobbiamo creare una tabella sincronizzata dalla tabella da sincronizzare. Le tabelle sincronizzate di Databricks creano una copia gestita dei nostri dati Unity Catalog in Lakebase, rendendoli disponibili alle applicazioni che necessitano di query a bassa latenza in stile OLTP.

Sono disponibili diverse modalità di sincronizzazione: snapshot, triggered e continuous. Nel nostro caso, e molto spesso, i segmenti di clientela vengono ricalcolati ogni notte in batch, sostituendo una porzione significativa del set di dati. Quando viene aggiornato più del 10% dei dati, consigliamo la modalità snapshot, che offre prestazioni 10 volte superiori rispetto alla modalità triggered. Da lì, viene creata una pipeline gestita e i dati vengono sincronizzati. Rendere disponibili nuovi segmenti di clientela a Engagement Cloud ora richiede solo pochi clic, accelerando il time-to-market e riducendo l'onere operativo.

Inoltre, grazie alla separazione tra compute e storage di Lakebase, la dimensione e la diversità dei dati disponibili per Engagement Cloud possono crescere senza dover scalare le risorse di compute come nei database classici, mantenendo bassi i costi. Tuttavia, è importante tenere presente che Databricks Lakebase è ottimizzato per ricerche puntuali ad alta concorrenza e query OLTP brevi, non per scansioni di grandi dimensioni o OLAP classici.

Sincronizzare i dati operativi nel Lakehouse

Oltre ai segmenti di clientela generati, le campagne di marketing possono incorporare dati da altre applicazioni. Ad esempio, i clienti potrebbero iscriversi per ricevere notifiche su rifornimenti di prodotti o nuovi arrivi in una categoria o marchio specifico. Le applicazioni possono utilizzare Lakebase come database Postgres standard per archiviare questi dati di notifica, rendendoli disponibili a Engagement Cloud per il targeting delle campagne. Qualsiasi dato scritto in Lakebase può quindi essere sincronizzato nel Lakehouse per l'analisi tramite Lakehouse Sync, una pipeline nativa basata su CDC continua da Lakebase Postgres a tabelle Delta di Unity Catalog che rende i dati operativi disponibili per analisi più ricche e AI.

Ottimizzazione delle prestazioni

Lakebase è Postgres e possiamo ottimizzare le prestazioni in modo simile a un database Postgres classico.

La creazione di indici è una delle ottimizzazioni più semplici, di maggiore impatto e comuni. Quando vengono attivate le campagne di marketing, SAP Engagement Cloud invia query per recuperare gli ID dei clienti filtrati da una clausola WHERE.

Creare un indice basato su questa condizione di filtro. Gli indici possono essere creati in Lakebase scrivendo nella console SQL di Lakebase:

Nel caso di SAP Engagement Cloud, gli indici dovrebbero già fornirci le prestazioni di cui abbiamo bisogno. Se sono necessarie ulteriori ottimizzazioni, dovremmo prima identificare le query più lunghe e frequenti utilizzando pg_stat_statements o utilizzando l'interfaccia utente di Databricks Lakebase, che fornisce le prestazioni delle query e una serie di metriche per monitorare il database.

Le query più lunghe e problematiche possono essere analizzate utilizzando:

PREFETCH e FILECACHE sono specifici di Lakebase e mostrano, rispettivamente, quante richieste di prefetch sono state emesse/confermate/sprecate e quali sono stati i successi/fallimenti rispetto alla Cache Locale dei File (LFC). L'interfaccia utente di Databricks Lakebase fornisce anche un'interfaccia pratica per eseguire queste analisi.

Da lì, potremmo esplorare ulteriori opzioni di ottimizzazione come:

• Modifica della configurazione di work_mem: aumentarla a 256 MB per un maggiore calcolo può essere vantaggioso.
• Ottimizza autovacuum_vacuum_scale_factor a un valore inferiore su tabelle con un alto tasso di turnover, fai attenzione al bloat con pg_stat_user_tables.

Conclusione

Lakebase, con la sua tecnologia unica e la stretta integrazione con il Lakehouse, può fornire un servizio a bassa latenza dei segmenti di clientela creati da carichi di lavoro analitici e di IA.

Lakebase riduce drasticamente il TCO scalando aggressivamente in modo automatico e riducendo a zero quando le risorse non vengono utilizzate, eliminando i costi per le risorse inattive.

L'integrazione di Lakebase con il Lakehouse rimuove l'onere operativo di mantenere pipeline di sincronizzazione, riduce il time-to-market per nuovi segmenti di clientela e abilita campagne di marketing più personalizzate, aumentando l'engagement in un periodo di tempo più breve.

Pronto a modernizzare il tuo stack di marketing? Prova oggi Databricks Lakebase Postgres e scopri come OLTP serverless combinato con il Lakehouse può ridurre il tuo TCO e accelerare la consegna delle campagne. Visita la pagina del prodotto Lakebase di Databricks, leggi la storia del cliente Deichmann o contatta il tuo team account Databricks per definire un proof of concept su misura per i tuoi carichi di lavoro di campagne di marketing.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale