Presentazione di ai_decide: prendi decisioni rapide sui tuoi dati governati

Oggi lanciamo una nuova funzione Databricks AI ai_decide che consente di prendere decisioni rapide sui tuoi dati governati.

Vediamo che molti team utilizzano gli LLM per attività che non richiedono un ragionamento complesso e la generazione di testi. A quale categoria appartiene questo ticket di supporto? Questo documento richiede una revisione umana? Quale modello dovrebbe gestire questo prompt?

Queste domande alimentano molti dei workflow aziendali su larga scala dei nostri clienti, dall'elaborazione di milioni di documenti al controllo della logica delle app in tempo reale. Tuttavia, l'uso di LLM per queste decisioni più piccole e strutturate comporta una latenza e costi aggiuntivi che si accumulano su scala aziendale. Un modello decisionale come Jev di TypeSafe AI colma questo divario: invece di generare testo, accetta un input non strutturato e un insieme di domande e restituisce direttamente le decisioni e le relative probabilità.

ai_decide è una nuova funzione Databricks AI alimentata da un modello decisionale. Valuta una o più domande rispetto al testo in una frazione di secondo e, per ogni domanda, restituisce una probabilità, una scelta tra criteri definiti o un punteggio su una scala ordinata. Poiché ai_decide è ottimizzato per decisioni rapide, offre una latenza e costi inferiori rispetto a un LLM per attività simili.

Prova ai_decide oggi stesso

ai_decide è ora disponibile su Databricks in Beta. Richiamalo da SQL per prendere decisioni strutturate su larga scala sui tuoi dati o tramite la REST API per applicazioni e agenti in tempo reale. Per i team che già sviluppano con l'API di TypeSafe AI, la funzione ai_decide è direttamente compatibile.

Non sai da dove iniziare? Se hai dati non strutturati e hai bisogno di classificarli, valutarli o decidere cosa fare dopo, ai_decide è la soluzione ideale. Ecco alcuni casi d'uso che puoi provare oggi stesso:

Analizza le recensioni dei clienti per identificare problemi ricorrenti con i prodotti

Ricevi migliaia di recensioni di prodotti ogni mese. I clienti descrivono di tutto, dalle istruzioni di configurazione confuse agli addebiti di fatturazione errati.

Con ai_decide, puoi taggare ogni recensione con il suo problema principale e indicare se il cliente desidera restituire il prodotto in un'unica query SQL. Aggrega questi tag per prodotto e mese per monitorare i reclami ricorrenti e vedere quali problemi si presentano più spesso in associazione ai resi segnalati.

Indirizza i prompt degli utenti al modello corretto

Ipotizziamo che tu sia un'azienda di software che sviluppa un assistente AI. I tuoi utenti chiedono all'assistente di fare di tutto, dalla riscrittura di una frase alla progettazione dell'architettura di un database. Hai a disposizione diversi modelli con costi e funzionalità differenti e desideri scegliere il modello appropriato per ciascuna richiesta.

Usa ai_decide per determinare il livello di ragionamento e la difficoltà del prompt. Quindi indirizza la richiesta al modello corrispondente.

Un esempio di risultato response.answers:

Valuta le risposte generate dall'AI con un giudice

Ipotizziamo che tu gestisca un negozio online con un assistente di supporto AI. Prima di rilasciare una nuova versione, desideri valutare le sue risposte rispetto alla tua politica di rimborso. Hai a disposizione un insieme di domande dei clienti, risposte generate e politiche di riferimento.

Usa ai_decide come giudice per verificare se una risposta segue la politica e valutare quanto accuratamente risponda alla richiesta del cliente.

Ecco un esempio di riga risultante, che mostra response.answers:

Determina l'azione successiva nelle applicazioni in tempo reale

Poiché ai_decide restituisce una decisione in una frazione di secondo, è sufficientemente veloce da guidare un'applicazione in tempo reale, in cui ogni decisione dipende dallo stato del momento precedente.

Per dimostrarlo, abbiamo creato una demo live di Snake, ospitata su Databricks Apps. ai_decide gioca la partita: a ogni tick, l'app invia la griglia di gioco corrente a ai_decide e chiede: in quale direzione deve muoversi il serpente?

Poiché l'intero ciclo decisionale si chiude in una frazione di secondo, puoi inserire ai_decide alla base di qualsiasi decisione in tempo reale che un agente o un'applicazione deve prendere: quale strumento chiamare, quale ramo prendere, quale azione eseguire successivamente.

Inizia subito 

ai_decide è ora disponibile in Beta. Usalo in SQL per classificare, valutare e prendere decisioni su dati governati su larga scala, oppure chiama la REST API per aggiungere decisioni rapide ad applicazioni e agenti in tempo reale. Oltre alla funzione gestita, esiste un ecosistema ampio e in crescita di modelli decisionali open-weight, e puoi servire ed eseguire ognuno di essi direttamente in SQL su Databricks. Consulta la nostra recente guida dettagliata su open-Jev qui.

Esplora la documentazione SQL di ai_decide o inizia a usare l'API REST.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale