Eseguire open-Jev in SQL su Databricks

Durante il fine settimana sono stati lanciati i modelli decisionali "System One" come Jev, una classe in rapida crescita di modelli di base (foundation model) in grado di produrre decisioni ben calibrate a partire da un insieme discreto di opzioni. Questi modelli sono solitamente estremamente veloci ed economici, consentendo un'ampia gamma di applicazioni su grandi volumi di dati. I potenziali casi d'uso variano dall'analisi delle trascrizioni del supporto clienti all'applicazione di decisioni complesse su scala su tutti i dati.

Anche la community open source si è data da fare per lanciare versioni a pesi aperti (open weight) di questi modelli decisionali, da Smelf-open-jev a Laya e Kev. Ma la potenza di questi modelli si sblocca solo quando possono accedere a grandi quantità di dati. Oggi siamo entusiasti di condividere come sia possibile servire modelli decisionali open weight su Databricks ed eseguirli direttamente sui dati governati. È anche possibile accedere a questi modelli direttamente dalla console SQL o dai job di produzione in Lakeflow tramite ai_query. Inoltre, prodotti come AI Runtime consentono di personalizzare o eseguire il post-addestramento di questi modelli per adattarli al contesto aziendale specifico.

In questo post mostreremo come utilizzare uno di questi modelli, SemIf-OpenJev, direttamente in Databricks, per classificare le recensioni degli hotel come positive o negative.

Da notebook a endpoint

Abbiamo pacchettizzato il flusso di lavoro in un Databricks Notebook importabile.

Per iniziare bastano tre passaggi:

1. Scegli il nome/schema del modello
2. Seleziona Serverless GPU
3. Fai clic su Esegui tutto

Il notebook utilizza Databricks AI Runtime per fornire calcolo GPU serverless e on-demand, senza richiedere la configurazione o la gestione dell'infrastruttura GPU.

Da lì, il notebook:

• Scarica i file del modello SemIf-OpenJev.
• Esegue il log e registra il modello utilizzando Express Deployments.
• Crea automaticamente un endpoint GPU Model Serving.

A quel punto, avrai il classificatore open source in esecuzione dietro un endpoint gestito che potrai chiamare dalle applicazioni o direttamente da SQL.

Chiamare il modello da SQL con ai_query

Un aspetto utile di questa configurazione è che l'endpoint non deve necessariamente esporre un'interfaccia standard di completamento chat (chat-completions).

Databricks ai_query supporta API di modelli personalizzati arbitrari, consentendoti di inviare il formato di richiesta strutturato di SemIf direttamente da SQL.

For example:

Ora puoi applicare il modello alle recensioni già memorizzate in Databricks e ottenere la classificazione selezionata e le probabilità delle opzioni come colonne strutturate.

Inizia subito

I modelli decisionali si stanno evolvendo rapidamente e le implementazioni open source come SemIf-OpenJev rendono molto più semplice sperimentare questo pattern in prima persona.

Importa il notebook direttamente nel tuo workspace Databricks, seleziona Serverless GPU e fai clic su Esegui tutto per iniziare. Da lì, provalo sui tuoi dati, inserisci i tuoi criteri decisionali e scopri come questo pattern si adatta alle tue applicazioni.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale