Open-Jev in SQL auf Databricks ausführen

Am Wochenende wurden „System One“-Entscheidungsmodelle wie Jev eingeführt. Dabei handelt es sich um eine wachsende Klasse von Foundation-Modellen, die in der Lage sind, gut kalibrierte Entscheidungen aus einer diskreten Auswahl von Optionen zu treffen. Diese Modelle sind in der Regel extrem schnell und kostengünstig, was eine Vielzahl von Anwendungen auf großen Datenmengen ermöglicht. Die potenziellen Anwendungsfälle reichen von der Analyse von Kundensupport-Transkripten bis hin zur Anwendung komplexer Entscheidungen in großem Umfang auf Ihre gesamten Daten.

Die Open-Source-Community war ebenfalls aktiv und hat Open-Weight-Versionen dieser Entscheidungsmodelle veröffentlicht, von Smelf-open-jev über Laya bis hin zu Kev. Das volle Potenzial dieser Modelle entfaltet sich jedoch erst, wenn sie auf große Datenmengen zugreifen können. Heute freuen wir uns, Ihnen zu zeigen, wie Sie Open-Weight-Entscheidungsmodelle auf Databricks bereitstellen und direkt auf Ihren governed Daten ausführen können. Sie können auf diese Modelle sogar direkt über Ihre SQL-Konsole oder über Produktions-Jobs in Lakeflow mittels ai_query zugreifen. Darüber hinaus ermöglichen es Produkte wie die AI Runtime, diese Modelle anzupassen oder nachträglich zu trainieren, um sie auf Ihren spezifischen Unternehmenskontext abzustimmen.

In diesem Beitrag zeigen wir Ihnen, wie Sie ein solches Modell, SemIf-OpenJev, direkt in Databricks verwenden können, um Hotelbewertungen als gut oder schlecht zu klassifizieren.

Vom Notebook zum Endpunkt

Wir haben den Workflow in ein importierbares Databricks-Notebook gepackt.

Der Einstieg erfordert nur drei Schritte:

1. Wählen Sie den Modellnamen/das Schema aus
2. Wählen Sie Serverless GPU
3. Klicken Sie auf Run All

Das Notebook nutzt die Databricks AI Runtime, um serverlose On-Demand-GPU-Rechenleistung bereitzustellen, ohne dass Sie eine GPU-Infrastruktur einrichten oder verwalten müssen.

Von dort aus führt es folgende Schritte aus:

• Herunterladen der SemIf-OpenJev-Modelldateien.
• Protokollieren und Registrieren des Modells mithilfe von Express Deployments.
• Automatisches Erstellen eines GPU-Model-Serving-Endpunkts.

Zu diesem Zeitpunkt wird der Open-Source-Klassifikator hinter einem verwalteten Endpunkt ausgeführt, den Sie aus Anwendungen – oder direkt aus SQL – aufrufen können.

Das Modell mit ai_query aus SQL aufrufen

Ein praktischer Aspekt dieses Setups ist, dass der Endpunkt keine standardmäßige Chat-Completions-Schnittstelle bereitstellen muss.

Databricks ai_query unterstützt beliebige benutzerdefinierte Modell-APIs, sodass Sie das strukturierte Anfrageformat von SemIf direkt aus SQL senden können.

Zum Beispiel:

Jetzt können Sie das Modell auf bereits in Databricks gespeicherte Bewertungen anwenden und die ausgewählte Klassifizierung sowie die Optionswahrscheinlichkeiten als strukturierte Spalten zurückerhalten.

Erste Schritte

Entscheidungsmodelle entwickeln sich rasant weiter, und Open-Source-Implementierungen wie SemIf-OpenJev machen es viel einfacher, selbst mit diesem Muster zu experimentieren.

Importieren Sie das Notebook direkt in Ihren Databricks-Workspace, wählen Sie Serverless GPU aus und klicken Sie auf Run All, um loszulegen. Probieren Sie es anschließend mit Ihren eigenen Daten aus, fügen Sie Ihre eigenen Entscheidungskriterien ein und sehen Sie, wie sich dieses Muster in Ihre Anwendungen integrieren lässt.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag