Wir stellen ai_decide vor: Treffen Sie schnelle Entscheidungen auf Ihren governed Daten

Heute führen wir eine neue Databricks AI Function ai_decide ein, die schnelle Entscheidungen auf Basis Ihrer verwalteten Daten trifft.

Wir sehen, dass viele Teams LLMs für Aufgaben einsetzen, die keine komplexe logische Schlussfolgerung und Textgenerierung erfordern. Zu welcher Kategorie gehört dieses Support-Ticket? Muss dieses Dokument manuell überprüft werden? Welches Modell sollte diesen Prompt verarbeiten?

Diese Fragen bilden die Grundlage für viele hochskalierbare Enterprise-Workflows unserer Kunden – von der Verarbeitung von Millionen von Dokumenten bis hin zur Steuerung von Echtzeit-App-Logik. Die Verwendung von LLMs für diese kleineren, strukturierten Entscheidungen bedeutet jedoch zusätzliche Latenzzeiten und Kosten, die sich auf Unternehmensebene summieren. Ein Entscheidungsmodell wie  Jev von TypeSafe AI schließt diese Lücke: Anstatt Text zu generieren, nimmt es unstrukturierte Eingaben und eine Reihe von Fragen entgegen und liefert direkt Entscheidungen und deren Wahrscheinlichkeiten zurück.

ai_decide ist eine neue Databricks AI Function, die auf einem Entscheidungsmodell basiert. Sie wertet eine oder mehrere Fragen in Bruchteilen einer Sekunde im Vergleich zum Text aus und gibt für jede Frage entweder eine Wahrscheinlichkeit, eine Auswahl aus benannten Kriterien oder eine Bewertung auf einer geordneten Skala zurück. Da ai_decide für schnelle Entscheidungen optimiert ist, bietet sie bei ähnlichen Aufgaben eine geringere Latenz und niedrigere Kosten als ein LLM.

Testen Sie ai_decide noch heute

ai_decide ist ab sofort als Beta-Version auf Databricks verfügbar. Rufen Sie sie über SQL auf, um strukturierte Entscheidungen in großem Umfang auf Ihren Daten zu treffen, oder über die REST-API für Echtzeitanwendungen und Agenten. Für Teams, die bereits mit der TypeSafe AI-API arbeiten, ist die Funktion ai_decide direkt kompatibel.

Sie wissen nicht, wo Sie anfangen sollen? Wenn Sie unstrukturierte Daten haben und diese klassifizieren, bewerten oder entscheiden müssen, was als Nächstes passiert, ist ai_decide genau das Richtige für Sie. Hier sind einige Anwendungsfälle, die Sie noch heute ausprobieren können:

Kundenbewertungen analysieren, um wiederkehrende Produktprobleme zu identifizieren

Sie erhalten jeden Monat Tausende von Produktbewertungen. Kunden beschreiben alles – von verwirrenden Einrichtungsanweisungen bis hin zu fehlerhaften Abrechnungen.

Mit ai_decide können Sie jede Bewertung in einer einzigen SQL-Abfrage mit dem Hauptproblem kennzeichnen und angeben, ob der Kunde das Produkt zurückgeben möchte. Aggregieren Sie diese Tags nach Produkt und Monat, um wiederkehrende Beschwerden zu verfolgen und zu sehen, welche Probleme am häufigsten zusammen mit gemeldeten Rücksendungen auftreten.

User-Prompts an das richtige Modell weiterleiten

Nehmen wir an, Sie sind ein Softwareunternehmen, das einen AI-Assistenten entwickelt. Ihre Benutzer bitten den Assistenten um alles Mögliche – vom Umschreiben eines Satzes bis hin zum Entwurf einer Datenbankarchitektur. Ihnen stehen mehrere Modelle mit unterschiedlichen Kosten und Funktionen zur Verfügung, und Sie möchten für jede Anfrage ein geeignetes Modell auswählen.

Verwenden Sie ai_decide, um den Schwierigkeitsgrad und das erforderliche logische Denkvermögen des Prompts zu bestimmen. Leiten Sie die Anfrage dann an das entsprechende Modell weiter.

Ein Beispielergebnis response.answers:

KI-generierte Antworten mit einem Judge bewerten

Nehmen wir an, Sie betreiben einen Online-Shop mit einem AI-Support-Assistenten. Vor der Veröffentlichung einer neuen Version möchten Sie dessen Antworten anhand Ihrer Rückerstattungsrichtlinie bewerten. Sie haben eine Reihe von Kundenfragen, generierten Antworten und Referenzrichtlinien.

Verwenden Sie ai_decide als Judge, um zu prüfen, ob eine Antwort der Richtlinie entspricht, und um zu bewerten, wie vollständig sie die Anfrage des Kunden beantwortet.

Hier ist ein Beispiel für eine Ergebniszeile, die response.answers zeigt:

Die nächste Aktion in Echtzeitanwendungen bestimmen

Da ai_decide eine Entscheidung in Bruchteilen einer Sekunde liefert, ist sie schnell genug, um eine Anwendung in Echtzeit zu steuern, bei der jede Entscheidung vom Zustand des vorherigen Moments abhängt.

Zur Veranschaulichung haben wir eine Live-Demo von Snake erstellt, die auf Databricks Apps gehostet wird. ai_decide spielt das Spiel: Bei jedem Tick sendet die App das aktuelle Spielfeld an ai_decide und fragt, in welche Richtung sich die Schlange als Nächstes bewegen soll.

Da sich die gesamte Entscheidungsschleife in Bruchteilen einer Sekunde schließt, können Sie ai_decide für jede Echtzeitentscheidung einsetzen, die ein Agent oder eine Anwendung treffen muss: welches Tool aufgerufen, welcher Zweig gewählt oder welche Aktion als Nächstes ausgeführt werden soll.

Erste Schritte 

ai_decide ist ab sofort als Beta-Version verfügbar. Verwenden Sie sie in SQL, um verwaltete Daten in großem Umfang zu klassifizieren, zu bewerten und Entscheidungen zu treffen, oder rufen Sie die REST-API auf, um Echtzeitanwendungen und Agenten mit schnellen Entscheidungen auszustatten. Neben der verwalteten Funktion gibt es ein breites und wachsendes Ökosystem von Open-Weight-Entscheidungsmodellen, von denen Sie jedes direkt in SQL auf Databricks bereitstellen und ausführen können. Unseren aktuellen Open-Jev-Leitfaden finden Sie hier.

Erkunden Sie die ai_decide-SQL-Dokumentation oder starten Sie mit der REST-API.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag