Direkt zum Hauptinhalt
Plattform

Erstelle ein Echtzeit-Empfehlungssystem für das nächstbeste Angebot mit Databricks Feature Views

Erstellen Sie ein Feature einmal und stellen Sie es überall bereit – eine deklarative Definition ermöglicht punktgenaues Training und schnelles Online-Ranking bei einer p95-Latenz von 34 ms, wobei Session-Signale in unter 130 ms live verfügbar sind.

von Tian Tan, Sixuan He, Nick Joung und Julia Brouillette

  • Einmal erstellen, überall bereitstellen: Feature Views vereinen Batch- und Streaming-Features für Training und Bereitstellung.
  • In Echtzeit personalisieren: Angebote mithilfe von Live-Kundenverhalten bei einer p95-Latenz von 34 ms bewerten.
  • Umsetzung beschleunigen: Ein End-to-End-Empfehlungssystem mit einem einsatzbereiten Solution Accelerator bereitstellen.

Echtzeit-Personalisierung hängt davon ab, zu verstehen, was Kunden im Moment wollen. Wenn ein Bankkunde seine Konten überprüft, Kreditkarten erkundet oder einen Kreditrechner bedient, signalisiert jede Interaktion seine aktuelle Absicht. Ein relevantes Angebot muss ihn erreichen, solange er sich noch in der Session befindet.

Die Herausforderung besteht darin, diese Absicht dem Modell verfügbar zu machen. Rohe Clickstream-Daten müssen für zwei Zwecke in zeitlich begrenzte Features aggregiert werden: das Training mit historischen Werten, wie sie zu einem bestimmten Zeitpunkt existierten, und das Bereitstellen von Vorhersagen mit aktuellen Werten bei einer Latenz im Millisekundenbereich. Der getrennte Aufbau dieser Pipelines erzeugt doppelte Feature-Definitionen, die im Laufe der Zeit abweichen und die Modellgenauigkeit verschlechtern können.

Databricks Feature Views lösen dieses Problem, indem Sie Features einmal sowohl für das Training als auch für das Serving definieren können. In diesem Blog gehen wir einen Open-Source- Solution Accelerator durch, der Feature Views verwendet, um ein Echtzeit-Empfehlungssystem für das nächste beste Angebot (NBO) im Finanzsektor zu erstellen. 

Der Accelerator besteht aus zwei Teilen: einem Empfehlungssystem mit Batch-Features und einer Erweiterung, die Streaming- und In-Session-Absichten hinzufügt. Beide sind von Anfang bis Ende auf Databricks aufgebaut, mit ausführbaren Notebooks, die Sie klonen und bereitstellen können.

Konsistente Echtzeit-Features für Training und Serving

Echtzeit-Empfehlungen erfordern sowohl Konsistenz als auch Geschwindigkeit. Features müssen während des Trainings und des Servings auf dieselbe Weise berechnet werden, um Train/Serve-Skew zu vermeiden, welcher die Modellgenauigkeit verringern kann. Zum Zeitpunkt der Inferenz müssen diese Features zudem in Millisekunden abgerufen und bewertet werden.

Traditionell bedeutete die Erfüllung beider Anforderungen die Pflege getrennter Systeme: eine Batch-Pipeline für Trainings-Features und einen manuell geschriebenen Streaming-Job für das Online-Serving. Dadurch entsteht doppelte Logik, die mit der Zeit abweichen kann.

Feature Views machen separate Feature-Definitionen überflüssig. Sie deklarieren die Logik einmal, und Databricks verwendet sie für Training und Serving wieder:

  • Batch-Features werden in Offline-Delta-Tabellen für ein punktgenaues Training (Point-in-Time-Correctness) und in einem Onlinespeicher für das Serving mit geringer Latenz materialisiert.
  • Streaming-Features werden kontinuierlich in den Onlinespeicher aggregiert, während historische Werte für das Training punktgenau aus Quellereignissen berechnet werden. Im Gegensatz zu Batch-Features werden sie nicht in einem Offlinespeicher materialisiert.

Beim Training ruft der create_training_set API Feature-Werte so ab, wie sie zu jedem markierten Ereignis existierten, wodurch Datenlecks in die Zukunft verhindert werden. Zum Zeitpunkt der Inferenz ruft der Model Serving-Endpunkt Batch-Features aus dem Onlinespeicher ab unter Verwendung von customer_id.

Beide Workflows verwenden dieselben Feature-Definitionen, wodurch Inkonsistenzen zwischen separat implementierten Offline- und Online-Transformationen vermieden werden.

Echtzeit-Empfehlungen für das nächste beste Angebot

Der Accelerator implementiert ein Echtzeit-Empfehlungssystem für das nächste beste Angebot (NBO) im Retail-Banking. Während ein Kunde Konten durchstöbert, Kreditkarten erkundet oder einen Kreditrechner nutzt, bewertet das System einen Katalog von Angeboten – darunter Kreditkarten-Upgrades, Sparprodukte und Privatkredite –, um während der Session die relevanteste Option zu empfehlen.

Das Empfehlungssystem kombiniert stabilen Kundenkontext wie Guthaben, Ausgaben, Kundenhistorie und Risikoklasse mit aktuellen Clickstream-Aktivitäten, die die In-Session-Absicht erfassen. Ein einziges Ranking-Modell nutzt beide Datenarten, während Feature Views die Feature-Definitionen über das Offline-Training und das Online-Serving hinweg konsistent halten.

Wie wir es gebaut haben

Der Accelerator umfasst drei Schritte, bereitgestellt als ausführbare Notebooks in zwei Teilen, die sich Katalog, Schema, Onlinespeicher und Feature-Definitionen teilen.

Schritt 1: Batch- und Streaming-Features definieren

Mit Feature Views können Sie Features über Batch-Tabellen und Live-Kafka-Streams mit demselben Ansatz deklarieren:

Feature

Deklariert als

Was es dem Modell liefert

30-Tage-Durchschnittssaldo

SlidingWindow

Rollierendes Verhalten 

90-Tage-Ausgaben

TumblingWindow

Verhalten über einen festen Zeitraum

Treuestufe, Risikoklasse, Einkommen, Kundenhistorie

ColumnSelection

Stabiler Kundenkontext

Kategorieaufrufe in den letzten 10 Minuten

RollingWindow in einem Stream

Frischere In-Session-Absicht

30-Tage-Kategorieinteresse

SawtoothWindow

Langes Zeitfenster, frischer Trend

Verhältnis von Ausgaben zu Einkommen

CustomUDF

Abgeleitet, pro Anfrage berechnet

Für Streaming-Features verweisen Sie in der Deklaration auf ein Kafka-Topic anstelle einer Tabelle. Feature Views aggregieren Ereignisse kontinuierlich in den Onlinespeicher, ohne dass ein separater, manuell geschriebener Streaming-Job oder doppelte Feature-Logik erforderlich ist.

SawtoothWindow macht längere Streaming-Fenster praktikabel. Beispielsweise bleibt eine 30-Tage-Kategoriezählung aktuell, wenn neue Ereignisse eintreffen, ohne dass die gesamte Historie für jedes Ereignis neu berechnet werden muss.

Schritt 2: Mit punktgenauen Features trainieren

Mithilfe des Feature Engineering SDK rekonstruiert ein Point-in-Time-Join den Wert jedes Features so, wie er zum Zeitpunkt des historischen Labels existierte, und verhindert so Datenlecks in die Zukunft. Das resultierende Trainingsset speist einen LightGBM-Ranker, der im Unity Catalog registriert ist.

Da Training und Serving dieselben Feature-Deklarationen verwenden, können Features nicht durch separat implementierte Offline- und Online-Transformationen voneinander abweichen.

Schritt 3: Empfehlungen in Echtzeit bereitstellen

Der Ranker läuft auf einem routenoptimierten Model Serving-Endpunkt. Jede Anfrage enthält {customer_id, candidate offers, session context}. Der Endpunkt ruft Kunden-Features anhand des Schlüssels aus dem Onlinespeicher ab und bewertet alle 40 Angebote direkt, ohne einen zusätzlichen Schritt zur Einschränkung der Kandidaten.

Ein zweiter routenoptimierter Feature Serving-Endpunkt stellt die Feature-Werte bereit, sodass die Anwendung anzeigen kann, warum ein Angebot ausgewählt wurde, ohne den Onlinespeicher direkt abzufragen.

Latenz, Feature-Frische und Durchsatz im Benchmark testen

Für ein Echtzeit-Empfehlungssystem sind zwei Messungen am wichtigsten: wie schnell aus einem Klick ein für das Modell sichtbares Feature wird und ob Training und Serving identische Feature-Werte liefern.

Wir haben den Accelerator von Anfang bis Ende mit seiner kleinsten Konfiguration getestet: einem kleinen Serving-Endpunkt und einem Onlinespeicher mit einem einzelnen Knoten, ohne Optimierung. Streaming-Ereignisse wurden in etwa einem Zehntel einer Sekunde für das Modell sichtbar, während die Trainings- und Serving-Pfade identische Werte lieferten.

Abbildung 1: Drei Latenzen, die ein Echtzeit-Empfehlungssystem definieren

Jedes Balkenpaar zeigt die Median-Latenz (p50) und die Latenz beim 95. Perzentil (p95). Die ersten beiden messen die Anfragelatenz und sind direkt vergleichbar. Die dritte misst die Feature-Frische von der Ereigniserfassung bis zur Online-Verfügbarkeit und nicht die Wartezeit des Benutzers. Die gestrichelte Linie markiert das Budget von 50 ms, das beide Serving-Pfade einhalten.

Eine vollständige Ranking-Anfrage, einschließlich Online-Feature-Retrieval und Inferenz, passt bei der kleinsten Endpunktgröße in ein Budget von 50 ms. Das Hinzufügen des Live-Streaming-Features erhöht die Latenz um nur 3-4 ms.

Durchsatz und Kapazitätsplanung

Der Ranking-Endpunkt hielt etwa 56 Anfragen pro Sekunde (RPS) stand, während der Feature-Serving-Endpunkt etwa 390 RPS bewältigte, bevor die p95-Latenz 50 ms überstieg.

Der gemessene Durchsatz entsprach der Concurrency geteilt durch die Servicezeit auf 15 % genau, was eine praktische Formel für die Dimensionierung liefert:

required concurrency = 4 × ceil(target RPS ÷ measured RPS at your SLO)

Basierend auf diesen Ergebnissen erfordert die Unterstützung von 150 Ranking-Anfragen pro Sekunde innerhalb eines 50 ms p95 Service Level Objectives (SLO) eine Concurrency von 12.

Wie wir gemessen haben

Wir haben die Benchmark-Notebooks des Accelerators mit warmen Endpunkten, einem Client innerhalb der Region und geringer Last verwendet. Bei über 2.000 Kunden verteilten Anfrageschlüsseln unter Verwendung einer Zipf-Verteilung zur Erhöhung der Cache-Misses betrug die gemessene Ranking-Latenz 33 ms p50 und 48 ms p95.

Wir haben die Feature-Aktualität pro Ereignis gemessen, vom Kafka-Schreibvorgang bis zu dem Zeitpunkt, zu dem der Wert im Online Store lesbar wurde. Zur Konsistenz haben wir offline materialisierte Werte für jeden Kunden mithilfe von Null-sicherer Gleichheit mit dem Online Store verglichen.

Diese Ergebnisse haben zwei Einschränkungen. Erstens verwenden Ranking-Endpunkte Scale-to-Zero, sodass die erste Anfrage nach einer Inaktivitätsphase einen Kaltstart von Dutzenden von Sekunden verursachen kann. Zweitens kombiniert die gemeldete Latenz Feature-Retrieval und Inferenz. Die Messung von 27 ms ist daher nicht direkt mit Benchmarks vergleichbar, die ausschließlich die Latenz beim Lesen von Features angeben.

Der Business Case: Schnellere Iteration, messbare Ergebnisse

Der Accelerator demonstriert einen funktionierenden Echtzeit-Empfehlungsdienst, keine bewiesene Umsatzsteigerung. Da er synthetische Daten verwendet, beanspruchen wir keine Verbesserungen bei der Conversion für uns. Stattdessen bietet er Teams einen Ausgangspunkt, um die geschäftlichen Auswirkungen zu messen.

  • Weniger Pipeline-Wartung: Eine einzige Feature-Schicht ersetzt drei manuell gewartete Pipelines. Batch, Streaming und Serving teilen sich deklarative Definitionen, wobei Governance und Lineage-Tracking in Unity Catalog integriert sind, um Audits in regulierten Finanzdienstleistungen zu unterstützen.
  • Schnellere Implementierung: Klonen Sie das Repository, stellen Sie das Bundle bereit und führen Sie es aus. Teil 1 bietet einen governten Ranker mit Online-Feature-Lookups, während Teil 2 Live-In-Session-Intent ohne einen separaten Feature-Stack hinzufügt.
  • Eine Baseline für A/B-Testing: Vergleichen Sie den Streaming-basierten Ranker, der den Intent berücksichtigt, mit einem reinen Batch-Modell unter Verwendung inkrementell akzeptierter Angebote pro berechtigter Session und Deckungsbeitrag, wobei Beschwerde- und Opt-out-Raten als Leitplanken dienen.

Vor der Produktion müssen Teams außerdem Kontrollen für Berechtigung, Einwilligung, Eignung und Unterdrückung implementieren. Das Ranking von Angeboten ist ein Modellierungsschritt und keine endgültige Angebotsentscheidung. Der Accelerator demonstriert die Feature-Engineering- und Serving-Infrastruktur, nicht jedoch diese Geschäftsregeln.

Erste Schritte mit dem Solution Accelerator

Mit dem Accelerator können Sie mit Batch-Features beginnen und dann Echtzeit-Streaming hinzufügen, ohne Ihre Feature-Infrastruktur neu aufbauen zu müssen.

  • Teil 1 – Grundlagen zu Feature Views: Klonen Sie das Repository, konfigurieren Sie ein Databricks CLI-Profil, stellen Sie das Bundle bereit und führen Sie Teil 1 aus, um einen governten Ranker mit Online-Feature-Lookups zu erstellen.
  • Teil 2 – Echtzeit-Streaming: Konfigurieren Sie eine Unity Catalog Kafka-Verbindung und die Erreichbarkeit von Amazon MSK und führen Sie dann Teil 2 aus. Dadurch werden der Katalog, die Features, der Online Store und der Ranker aus Teil 1 wiederverwendet.
  • Demo und Monitoring: Starten Sie die Recommender-Databricks-App und öffnen Sie das AI/BI-Latenz-Dashboard.

Verwenden Sie Declarative Automation Bundles (DABs), um den Accelerator bereitzustellen:

Die Reihenfolge der Bereitstellung ist wichtig: Die App ist von den Serving-Endpunkten aus Teil 2 abhängig, die von den Notebooks zur Laufzeit erstellt werden. Stellen Sie die Jobs bereit, führen Sie Teil 1 und Teil 2 aus und stellen Sie dann die App bereit. Alles läuft auf einer serverlosen Compute-Infrastruktur, die durch Unity Catalog gesteuert wird.

Erfahren Sie mehr über Feature Views

Mit Feature Views können Sie Features einmalig für ein zeitpunktkorrektes Training (Point-in-Time-Correctness) und ein Online-Serving mit geringer Latenz über AWS, Azure und GCP hinweg definieren. Erkunden Sie den Accelerator, um zu sehen, wie Batch- und Streaming-Features in einem Echtzeit-Empfehlungsdienst zusammenführen.

FAQs

Was sind Feature Views?

Mit Feature Views können Sie Feature-Transformationen einmal definieren und über das Modelltraining und das Online-Serving hinweg wiederverwenden. Sie unterstützen Batch- und Streaming-Features mit zeitpunktkorrekten historischen Werten für das Training und einen Zugriff mit geringer Latenz auf aktuelle Werte für die Inferenz.

Wie verhindern Feature Views einen Train/Serve-Skew?

Feature Views verwenden gemeinsame Feature-Definitionen über das Training und das Serving hinweg und vermeiden so Inkonsistenzen, die durch die Pflege separater Transformationslogik entstehen. Die create_training_set API verwendet außerdem zeitpunktbezogene Joins (Point-in-Time Joins), um Feature-Werte so zu rekonstruieren, wie sie zu jedem historischen Label existierten, wodurch Datenlecks in die Zukunft (Data Leakage) verhindert werden.

Können Feature Views Echtzeit-Streaming-Features unterstützen?

Ja. Feature Views können Ereignisse von Kafka kontinuierlich in einem Online Store aggregieren, ohne dass ein separater, handgeschriebener Streaming-Job erforderlich ist. Der Accelerator demonstriert dies mit RollingWindow für aktuelle Session-Aktivitäten und SawtoothWindow für längere historische Zeitfenster.

Welche Leistung erzielt der Next-Best-Offer-Accelerator?

In der Benchmark-Konfiguration erreichte der Ranking-Endpunkt eine p95-Latenz von 34 ms, einschließlich Online-Feature-Retrieval und Inferenz. Der Ranking-Endpunkt hielt etwa 56 Anfragen pro Sekunde stand, während der Feature-Serving-Endpunkt etwa 390 Anfragen pro Sekunde bewältigte, bevor das p95-Latenzbudget von 50 ms überschritten wurde.

Was benötige ich, um den Next-Best-Offer-Accelerator auszuführen?

Sie benötigen einen Databricks-Arbeitsbereich, ein konfiguriertes Databricks CLI-Profil und das GitHub-Repository des Accelerators. Teil 1 stellt den Batch-Feature-Empfehlungsdienst mithilfe von Declarative Automation Bundles bereit. Teil 2 erfordert zusätzlich eine Unity Catalog Kafka-Verbindung und Amazon MSK-Konnektivität, um Live-Session-Aktivitäten einzubeziehen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag

Verwandte Tags:

Data Science und ML und Finanzdienstleistungen

Erhalten Sie die neuesten Beiträge in Ihrem Posteingang

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.