Erschließen Sie nahtlose und kostengünstige Marketingkampagnen mit Lakebase

Vor kurzem hat Deichmann eine Kundenstory veröffentlicht, die beschreibt, wie Lakebase nahtloses Omnichannel-Marketing ermöglicht hat. Dieser Blog behandelt die technische Seite der Geschichte.

Jedes Einzelhandelsunternehmen muss Daten nutzen, um personalisierte, leistungsstarke Marketingkampagnen durchzuführen. Dennoch sehen wir einige Ineffizienzen in der Branche:

• Unternehmen zahlen für unterausgelastete Datenbankressourcen: Kundensegmente, die für personalisierte Kampagnen verwendet werden, werden oft in einer OLTP-Datenbank gespeichert, aus der Marketing-Tools sie lesen. Wenn Marketingkampagnen gestartet werden, gibt es einen Spitzenwert bei den Datenbankanfragen, aber ansonsten ist die Datenbankauslastung gering.
• Die sich ändernden Bedürfnisse von Marketingteams stellen eine operative Belastung für Datenteams dar: Datenpraktiker erstellen neue Kundensegmente im Lakehouse, und jede neue Anfrage vom Marketing führt zu einem Paket von Synchronisierungs-Pipelines vom Lakehouse zu OLTP, die erstellt, gepflegt und überwacht werden müssen.

Ein Lakebase ist eine neue, offene Architektur, die die besten Elemente von Transaktionsdatenbanken mit der Flexibilität und Wirtschaftlichkeit des Data Lake kombiniert. Databricks Lakebase Postgres, unsere Implementierung der Lakebase-Architektur, löst diese Probleme:

• Durch die Trennung von Speicher und Rechenleistung können Daten kostengünstig in Objektspeichern gespeichert werden, ohne die Rechenleistung linear skalieren zu müssen. Das bedeutet, dass die Anzahl und Vielfalt der Kundenattribute erheblich gesteigert werden kann, ohne dass zusätzliche Rechenressourcen erforderlich sind. Da die Daten wachsen, aber der Datenbankverkehr nicht, bleiben die Kosten für Lakebase niedriger als die traditioneller OLTP-Datenbanken.
• Angetrieben von einer elastischen, serverlosen Postgres-Rechenleistung skaliert Lakebase bei Bedarf sofort hoch und skaliert in weniger als einer Sekunde wieder herunter, wenn es im Leerlauf ist. Die Kosten richten sich direkt nach der Nutzung, was es ideal für bursty Workloads wie geplante Marketingkampagnen macht. Lakebase-Kunden zahlen nur für die Ressourcen, die sie benötigen, wodurch die Kosten gesenkt und die Notwendigkeit, ihre Rechenleistung im Voraus zu dimensionieren und zu planen, entfällt.
• Durch die nahtlose Integration mit dem Lakehouse ist die Synchronisierung zwischen Lakebase und dem Lakehouse vollständig verwaltet, zuverlässig und effizient, wodurch die Erstellung und Wartung von Pipelines von den Datenpraktikern entlastet wird.

Integration von Lakebase mit SAP Engagement Cloud

Um die Vorteile der Verwendung von Lakebase als Backend-Datenbank für unsere Marketingkampagnenplattform zu veranschaulichen, zeigen wir, wie Lakebase mit SAP Engagement Cloud, einer Omnichannel-Marketingplattform, integriert und eine personalisierte Marketingkampagne basierend auf zuvor im Lakehouse erstellten Kundensegmenten gestartet wird.

Schritt 1: Erstellen und Konfigurieren eines neuen Lakebase-Projekts

Wir richten unsere Postgres-Instanz ein, indem wir ein neues Lakebase Autoscaling-Projekt erstellen. Ein Projekt ist der übergeordnete Container für unsere Datenbankressourcen. Ein neu erstelltes Projekt enthält eine Produktionsdatenbank, die die PostgreSQL-Instanz sein wird, mit der sich SAP Engagement Cloud verbindet.

Marketingkampagnen basieren auf zeitgesteuerten Auslösern. Wenn eine Kampagne ausgelöst wird, fragt SAP Engagement Cloud die Datenbank ab, um Interessenten abzurufen, die die angegebenen Kriterien erfüllen. Diese Mechanik verursacht periodische Spitzenwerte bei längeren Tiefs. Aus diesem Grund skalieren wir für die Rechenleistung für die längeren Tiefs auf 0, wodurch die Rechenkosten für diese Zeiträume entfallen, und legen eine mittlere Kapazität von 16 CU (~32 GB RAM) als Maximum für die Spitzenwerte fest. Selbst wenn der gewählte Speicherbereich relativ groß ist, eliminieren die Geschwindigkeit und Reaktionsfähigkeit des Lakebase-Autoscalings das Risiko einer Unterauslastung der Ressourcen, was die TCO senkt und die Notwendigkeit der Dimensionierung und Bereitstellung unserer Datenbank reduziert.

Sobald die Lakebase-Rechenleistung eingestellt ist, müssen wir die notwendigen Rollen für SAP Engagement Cloud erstellen. Lakebase unterstützt OAuth-Rollen für Databricks-Identitäten und native Postgres-Passwortrollen. Da Engagement Cloud die stündliche Token-Rotation für OAuth-Rollen nicht handhaben kann, verwenden wir native Postgres-Rollen. Postgres-Rollen können auf verschiedene Arten erstellt werden; wir verwenden die Lakebase UI, um ein Passwort mit hoher Entropie zu generieren. Erfassen Sie das Passwort sofort und speichern Sie es in einem Secret Manager. Wir empfehlen, Passwörter zu rotieren, indem wir regelmäßig neue generieren.

Anschließend gewähren wir der neu erstellten SAP Engagement Cloud Postgres-Rolle die notwendigen Berechtigungen für unser Schema, das für unsere synchronisierten Kundensegmente verwendet wird, indem wir diese Befehle in der Lakebase SQL-Konsole ausführen.

Schritt 2: Verbinden von SAP Engagement Cloud mit Lakebase

SAP Engagement Cloud benötigt ein CA-Zertifikat, um sich mit einer PostgreSQL-Instanz zu verbinden. Lakebase verwendet von Let's Encrypt ausgestellte Zertifikate, daher ist das erforderliche Stammzertifikat ISRG Root X1.

Wir können das Stammzertifikat mit folgendem Befehl abrufen:

Wir können das exportierte Zertifikat überprüfen, um sicherzustellen, dass es korrekt ist:

Bei der Konfiguration unserer neuen PostgreSQL-Verbindung in SAP Engagement Cloud fügen wir den Inhalt dieser Datei ein, wenn wir nach einem CA-Zertifikat gefragt werden.

Schritt 3: Synchronisieren der Kundensegmente mit Lakebase

Mit der erstellten Verbindung und Rolle können wir unsere Kundensegmente vom Lakehouse mit Lakebase synchronisieren. Dazu müssen wir eine synchronisierte Tabelle aus der zu synchronisierenden Tabelle erstellen. Databricks Synced Tables erstellen eine verwaltete Kopie unserer Unity Catalog-Daten in Lakebase, wodurch sie für Anwendungen verfügbar sind, die OLTP-ähnliche Abfragen mit geringer Latenz benötigen.

Mehrere Synchronisierungsmodi sind verfügbar: Snapshot, Triggered und Continuous. In unserem Fall werden Kundensegmente sehr oft nächtlich im Batch neu berechnet, wobei ein erheblicher Teil der Daten ersetzt wird. Wenn mehr als 10 % der Daten aktualisiert werden, empfehlen wir den Snapshot-Modus, der eine 10-mal bessere Leistung als der Triggered-Modus bietet. Von dort aus wird eine verwaltete Pipeline erstellt und die Daten werden synchronisiert. Neue Kundensegmente sind nun mit wenigen Klicks für Engagement Cloud verfügbar, was die Markteinführungszeit beschleunigt und die operative Belastung reduziert.

Darüber hinaus kann aufgrund der Trennung von Rechenleistung und Speicher in Lakebase die Größe und Vielfalt der für Engagement Cloud verfügbaren Daten wachsen, ohne dass die Rechenressourcen wie in klassischen Datenbanken skaliert werden müssen, wodurch die Kosten niedrig bleiben. Dennoch ist es wichtig zu bedenken, dass Databricks Lakebase für Abfragen mit hoher Nebenläufigkeit und kurze OLTP-Abfragen optimiert ist, nicht für große Scans oder klassisches OLAP.

Synchronisieren von operativen Daten in das Lakehouse

Über die generierten Kundensegmente hinaus können Marketingkampagnen Daten aus anderen Anwendungen einbeziehen. Kunden können sich beispielsweise anmelden, um Benachrichtigungen über Produktnachbestellungen oder Neuankünfte in einer bestimmten Kategorie oder Marke zu erhalten. Anwendungen können Lakebase als Standard-Postgres-Datenbank verwenden, um diese Benachrichtigungsdaten zu speichern, wodurch sie für Engagement Cloud zur Kampagnenausrichtung verfügbar sind. Alle in Lakebase geschriebenen Daten können dann über Lakehouse Sync – eine native, kontinuierliche CDC-basierte Pipeline von Lakebase Postgres zu Unity Catalog Delta-Tabellen, die operative Daten für reichhaltigere Analysen und KI verfügbar macht – für Analysen in das Lakehouse synchronisiert werden.

Leistungsoptimierung

Lakebase ist Postgres, und wir können die Leistung ähnlich wie bei einer klassischen Postgres-Datenbank optimieren.

Das Erstellen von Indizes ist eine der einfachsten, wirkungsvollsten und häufigsten Optimierungen. Wenn Marketingkampagnen ausgelöst werden, sendet SAP Engagement Cloud Abfragen, um Kunden-IDs abzurufen, die durch eine WHERE-Klausel gefiltert werden.

Erstellen Sie einen Index basierend auf dieser Filterbedingung. Indizes können in Lakebase erstellt werden, indem Sie in der Lakebase SQL-Konsole Folgendes eingeben:

Bei SAP Engagement Cloud sollten Indizes uns bereits die benötigte Leistung bringen. Wenn zusätzliche Optimierungen erforderlich sind, sollten wir zuerst die längsten und häufigsten Abfragen mit pg_stat_statements oder über die Databricks Lakebase UI identifizieren, welche die Abfrageleistung und eine Reihe von Metriken zur Überwachung der Datenbank liefert.

Die längsten und problematischsten Abfragen können analysiert werden mit:

PREFETCH und FILECACHE sind spezifisch für Lakebase und zeigen, wie viele Prefetch-Anfragen ausgegeben/erfolgreich waren/verschwendet wurden bzw. wie die Treffer/Fehler gegen den Local File Cache (LFC) waren. Die Databricks Lakebase UI bietet auch eine praktische Schnittstelle, um diese Analysen durchzuführen.

Von dort aus könnten wir zusätzliche Optimierungsoptionen untersuchen wie:

• Änderung der Konfiguration von work_mem – eine Erhöhung auf 256 MB für größere Rechenleistung kann vorteilhaft sein.
• Optimierung von autovacuum_vacuum_scale_factor auf Tabellen mit hoher Änderungsrate, achten Sie auf Bloat mit pg_stat_user_tables.

Fazit

Lakebase kann mit seiner einzigartigen Technologie und der engen Integration in das Lakehouse eine schnelle Bereitstellung von Kundensegmenten ermöglichen, die durch analytische und KI-Workloads erstellt wurden.

Lakebase reduziert den TCO drastisch, indem es aggressiv autoskaliert und auf Null skaliert, wenn Ressourcen ungenutzt sind, und Kosten für Leerlaufressourcen eliminiert.

Die Integration von Lakebase mit dem Lakehouse beseitigt den operativen Aufwand für die Wartung von Synchronisationspipelines, verkürzt die Markteinführungszeit für neue Kundensegmente und ermöglicht personalisiertere Marketingkampagnen, die in kürzerer Zeit zu höherem Engagement führen.

Sind Sie bereit, Ihren Marketing-Stack zu modernisieren? Probieren Sie Databricks Lakebase Postgres noch heute aus und sehen Sie, wie serverloses OLTP in Kombination mit dem Lakehouse Ihren TCO senken und die Kampagnenlieferung beschleunigen kann. Besuchen Sie die Databricks Lakebase Produktseite, lesen Sie die Deichmann-Kundenstory oder kontaktieren Sie Ihr Databricks Account Team, um ein Proof of Concept für Ihre Marketingkampagnen-Workloads zu besprechen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag