Einführung von Feature-Views

In einer perfekten Welt werden ML-Features nur einmal erstellt. Doch für viele Teams führt ein Feature, das in einem Notebook funktioniert, immer noch zu doppelter Logik, instabilen Pipelines, einmaligen Backfills, der Anbindung von Online-Speichern und Governance-Overhead. Bei Echtzeit-Anwendungsfällen wie Betrugserkennung, Personalisierung und Empfehlungen ist diese Komplexität noch schwieriger zu bewältigen, da Modelle auf aktuelle Signale angewiesen sind, um präzise Vorhersagen zu treffen. Zu den häufigen Herausforderungen gehören:

• Erneutes Implementieren der Feature-Logik für Echtzeit- und historisches Training
• Training/Serving-Skew, der die Modellleistung beeinträchtigt
• Auffinden und Wiederverwenden von Features über verschiedene Anwendungsfälle hinweg
• Backfilling von Features mit langem historischem Rückblick in den Online-Store
• Warten komplexer Produktionsinfrastruktur in großem Maßstab
• Verwalten und Verfolgen der Lineage über Komponenten und Pipelines hinweg

Databricks freut sich, die Public Preview von Feature Views bekannt zu geben – ein Framework zur Erstellung verwalteter Feature-Pipelines direkt in Databricks. Mit Feature Views erstellen Sie ein Feature nur einmal und überlassen der Plattform alles Weitere, vom Experimentieren bis zum Echtzeit-Serving.

Was sind Feature Views?

Ein Feature View ist eine einfache, leistungsstarke Abstraktion, die den gesamten ML-Lebenszyklus abdeckt. Ein Data Scientist oder ML-Engineer definiert seine Feature-Logik – die Quelle, die Entität, die Zeitreihenspalte und die Berechnung. Aus dieser einen Definition generiert der Feature Store von Databricks historische, zeitpunktgenaue Daten für Experimente und Training. Sobald sie bereit sind, materialisieren die Benutzer den Feature View, und Databricks führt die Pipelines aus, die Feature-Daten für eine effiziente Inferenz berechnen.

Die gleiche Feature-Definition unterstützt sowohl Batch- als auch Streaming-Quellen. Experimentieren und Produktivsetzen sind für beide Quellen identisch. Der Wechsel von einer Batch-Quelle zu einer Streaming-Quelle erfordert lediglich wenige Zeilen Code.

Hier ist dieselbe Feature-View-Definition, die als Streaming- und als Batch-Feature ausgeführt wird.

Warum Feature Views?

1. Eine Definition, kein Skew

Die häufigste Fehlerquelle bei Echtzeit-ML ist die Diskrepanz zwischen der Berechnung eines Features für das Training und der Berechnung beim Serving. Feature Views schließen diese Lücke von vornherein: Es gibt eine einzige Definition, und die Plattform berechnet sowohl die Trainingswerte als auch die Online-Inferenzwerte auf Basis dieser Definition, sodass sie übereinstimmen. Für ML-Teams bedeutet dies deutlich weniger Code-Wartung und einen viel einfacheren Weg in die Produktion.

Bessere Empfehlungen für Hunderte Millionen von Reisenden beginnen mit besseren Features. Feature Views reduzieren unseren Feature-Code drastisch – unsere Data Scientists sind schneller und können sich darauf konzentrieren, was den Wert für Reisende steigert, anstatt sich mit der Berechnung zu beschäftigen.—Jules Marshall, Sr. Director of Data, Skyscanner

2. Genie Code für Experimente

Starten Sie schnell und einfach mit dem Feature Engineering Client SDK und Genie Code. Das SDK macht es einfach, Features lokal in einem Notebook zu deklarieren, sie sofort korrekt über historische Daten zu berechnen und einen zeitpunktgenauen Trainingsdatensatz zu erstellen.

Da Databricks Feature-Definitionen, Feature-Daten, Modelltraining und MLflow in einer einzigen Umgebung zusammenführt, können Data Scientists in einem einzigen Notebook von der Feature-Idee zum Modellexperiment übergehen.

Mit Genie Code können Teams Feature Views nutzen, um One-Shot-Workflows für Modellexperimente auszuführen: Identifizieren der richtigen Datenquellen, Generieren von Feature-Ideen und Experimentieren mit Modellen und Daten in einem einzigen Notebook.

3. Produktionsbereite Pipelines, die Sie nicht selbst betreiben müssen

Wenn ein Feature bereit für die Produktion ist, registrieren Sie es in Unity Catalog und rufen Sie materialize_features auf. Databricks erstellt und verwaltet die Pipelines in Ihrem Namen und schreibt in die entsprechenden Online- und Offline-Stores.

Produktionsbereit bedeutet qualitativ hochwertige Daten, skalierbare Infrastruktur und geschäftskritische Zuverlässigkeit. Feature Views orchestriert im Hintergrund bewährte GA-Produkte wie Lakebase und RTM und optimiert das Zusammenspiel der Komponenten zur Unterstützung von Feature-Serving-Workloads. Sonderfälle funktionieren direkt out of the box, wie das Backfilling langer Zeitfenster, Stream-Features oder das Löschen veralteter Zeilen aus dem Online-Store.

4. Echtzeit-Aktualität, wenn Sie sie brauchen

Für Anwendungsfälle, bei denen jedes neue Ereignis sofort den an das Modell übergebenen Wert ändern soll, unterstützen Feature Views Streaming-Features aus Kafka und bieten eine End-to-End-p99-Latenz von 200 ms vom Ereignis bis zur Online-Verfügbarkeit. Ein RollingWindow blickt vom Zeitstempel jedes Ereignisses mit Millisekunden-Auflösung zurück, sodass ein Aggregat wie „Summe der Transaktionen in den letzten 10 Minuten“ immer aktuell ist.

Im Hintergrund orchestriert Databricks die Komponenten, die dies so schnell machen: Spark Realtime Mode verarbeitet Ereignisse kontinuierlich und aktualisiert rollierende Aggregate pro Ereignis, anstatt auf Microbatches zu warten; Lakebase dient als Streaming-optimierter Online-Store, der die Schreibverstärkung bei häufigen, kleinen Upserts minimiert; und Model Serving ruft Features zum Inferenzzeitpunkt ab. Sie erstellen das Rolling-Window-Feature – die Plattform baut die Pipeline.

5. In Unity Catalog verwaltet, plattformübergreifend integriert

Materialisierte Features sind Daten und sollten auch wie Daten verwaltet werden. In Databricks sind Feature Views erstklassige Unity Catalog-Objekte – auffindbar, zugriffsgesteuert und mit vollständiger Lineage nachverfolgbar. Features werden zusammen mit dem Modell bereitgestellt: Wenn Sie ein Modell mit MLflow protokollieren, werden dessen Feature-Abhängigkeiten aufgezeichnet, und zum Inferenzzeitpunkt ruft Model Serving die erforderlichen Features automatisch ab – ohne benutzerdefinierten Lookup-Code, ohne manuelle Anbindung. In Kombination mit MLflow, Model Serving und Genie Code machen Feature Views Databricks zu einer zentralen Plattform für die Entwicklung, Bereitstellung und Governance Ihres gesamten ML-Stacks.

Genie Code ist nativ in Feature Views integriert, sodass Data Scientists Features auf Basis einfacher Prompts erstellen und iterieren können. Bitten Sie das Tool einfach, neue Features zu einem Notebook hinzuzufügen, und Genie Code generiert den passenden Code im Kontext unter Verwendung der bereits in Databricks vorhandenen Daten und Governance.

Wie Teams Feature Views nutzen

• Finanzdienstleistungsteams nutzen RollingWindow-Streaming-Features für Transaktionssignale im Subsekundenbereich zur Betrugserkennung.
• Personalisierungs- und Empfehlungsteams erfassen die aktuellste In-Session-Absicht eines Nutzers, um das Engagement zu steigern, während dieselben Definitionen offline für das Modelltraining wiederverwendet werden.
• Plattformteams konsolidieren zuvor fragmentierte Feature-Pipelines in verwaltete Unity Catalog-Objekte und beseitigen so den Betriebsaufwand für selbstverwaltete Online-Stores und Stream-Prozessoren.

Erste Schritte

Um loszulegen, bitten Sie Genie einfach, Feature Views zu verwenden, um ein neues Experiment zu erstellen.

Es kann Ihnen dabei helfen, ein Feature zu definieren, die Relevanz für Ihr Dataset zu analysieren, ein Trainingsset zu erstellen und – sobald Sie bereit für die Produktion sind – dieses zu registrieren und zu materialisieren. Die Streaming-Materialisierung erfordert zusätzlich einen Workspace im Enterprise-Tarif in einer Region, die Lakebase unterstützt.

Um mehr zu erfahren, lesen Sie die Dokumentation:

• Lesen Sie die Feature Views- Dokumentation, um Ihr erstes Feature zu definieren
• Probieren Sie das Feature Views- Schnellstart-Notebook aus, um direkt mit dem Code zu arbeiten
• In der Dokumentation zum Modelltraining mit Feature Views und zur Materialisierung von Feature Views finden Sie Informationen zu den vollständigen Trainings- und Bereitstellungs-Workflows

Mit Feature Views können Sie ein Feature einmal erstellen und es für Experimente, Batch-Verarbeitung und Echtzeit-Bereitstellung verwenden – ohne die zugrunde liegende Infrastruktur selbst verwalten zu müssen. Nutzen Sie ein bestehendes Batch-Feature und sehen Sie, wie viel stärker das Signal mit Aktualisierungen im Millisekundenbereich ist, und lassen Sie Databricks die Pipelines ausführen, die dies ermöglichen.

Wenn Sie an solchen Herausforderungen arbeiten möchten – wir stellen ein.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag