Annuncio della GA della condivisione dei modelli AI

Un ringraziamento speciale a Daniel Benito (CTO, Bitext), Antonio Valderrabanos (CEO, Bitext), Chen Wang (Lead Solution Architect, AI21 Labs), Robbin Jang (Alliance Manager, AI21 Labs) e Alex Godfrey (Partner Marketing Lead, AI21 Labs) per i loro preziosi spunti e contributi a questo blog

Siamo lieti di annunciare la disponibilità generale (General Availability) della condivisione dei modelli AI all'interno di Delta Sharing di Databricks e del Databricks Marketplace. Questo traguardo segue l' annuncio della Public Preview a gennaio 2024. Dal lancio della Public Preview, abbiamo collaborato con nuovi clienti e provider di condivisione di modelli AI come Bitext, AI21 Labs e Ripple per semplificare ulteriormente la condivisione dei modelli AI.

Puoi condividere e distribuire facilmente i modelli AI in modo sicuro utilizzando Delta Sharing. La condivisione può avvenire all'interno della tua organizzazione o all'esterno, tra diversi cloud, piattaforme e regioni. Inoltre, Databricks Marketplace ora offre oltre 75 modelli AI, inclusi nuovi modelli AI specifici per il settore di John Snow Labs, OLA Krutrim e Bitext, oltre a modelli foundation come Databricks DBRX, Llama 3, AI21 Labs, Mistral e molti altri. In questo blog esamineremo l'esigenza aziendale di condividere i modelli AI ed esploreremo nel dettaglio i casi d'uso basati sul modello foundation Jamba 1.5 Mini di AI21 e sui modelli Bitext.

Inoltre, i modelli AI sono ora immediatamente disponibili pronti all'uso su Unity Catalog, semplificando il processo di accesso e distribuzione dei modelli in modo efficiente. Questo sviluppo non solo semplifica l'esperienza utente, ma migliora anche l'accessibilità dei modelli AI, supportando un'integrazione e una distribuzione fluide su varie piattaforme e regioni.

3 vantaggi della condivisione dei modelli AI

Ecco i 3 vantaggi della condivisione dei modelli AI con Databricks riscontrati con i primi utilizzatori e i partner di lancio

1. Costi inferiori: la condivisione dei modelli AI con Delta Sharing riduce il costo totale di proprietà (TCO) riducendo al minimo le spese di acquisizione, sviluppo e infrastruttura. Le organizzazioni possono accedere a modelli predefiniti o di terze parti, condivisi tramite Delta Sharing o provenienti dal Databricks Marketplace, riducendo l'investimento iniziale e i tempi di sviluppo. La condivisione dei modelli con Delta Sharing tra cloud e piattaforme ottimizza l'uso dell'infrastruttura, riducendo la ridondanza e le spese, e consente di distribuire i modelli più vicino agli utenti finali per ridurre al minimo la latenza.
2. Qualità di produzione: Delta Sharing consente di acquisire modelli adatti ai casi d'uso dei clienti e di potenziarli con un'unica piattaforma per l'intero ciclo di vita dell'AI. Condividendo i modelli nella piattaforma Databricks, i clienti ottengono l'accesso a funzionalità di AI e governance per portare in produzione qualsiasi modello. Ciò include funzionalità di sviluppo dei modelli end-to-end, dalla distribuzione (serving) al fine-tuning, insieme alle funzionalità di sicurezza e gestione di Unity Catalog come la derivazione dei dati (lineage) e il monitoraggio del Lakehouse, garantendo un'elevata affidabilità dei modelli e dei dati associati.
3. Controllo completo: quando si lavora con modelli di terze parti, la condivisione dei modelli AI consente di avere il pieno controllo sui relativi modelli e set di dati. Poiché Delta Sharing consente ai clienti di acquisire interi pacchetti di modelli, il modello e i dati rimangono nell'infrastruttura del cliente, sotto il suo controllo. Non è necessario inviare dati riservati a un provider che distribuisce il modello per conto del cliente.

Quindi, come funziona la condivisione dei modelli AI?

La condivisione dei modelli AI è supportata da Delta Sharing. I provider possono condividere i modelli AI con i clienti direttamente tramite Delta Sharing o inserendoli nel Databricks Marketplace, che utilizza a sua volta Delta Sharing.

Delta Sharing semplifica l'uso dei modelli AI ovunque ne avrai bisogno. Puoi addestrare i modelli ovunque e poi utilizzarli ovunque senza doverli spostare manualmente. I pesi del modello (ovvero i parametri che il modello AI ha appreso durante l'addestramento) verranno inseriti automaticamente nell'endpoint di distribuzione (ovvero il luogo in cui il modello "risiede"). Ciò elimina la necessità di complessi spostamenti di modelli dopo ogni addestramento o fine-tuning, garantendo un'unica fonte di verità e semplificando il processo di distribuzione. Ad esempio, i clienti possono addestrare i modelli nel cloud e nella regione che offrono l'infrastruttura di addestramento più conveniente, per poi distribuire il modello in un'altra regione più vicina agli utenti finali, riducendo al minimo la latenza di inferenza (ovvero il tempo impiegato da un modello AI per elaborare i dati e fornire risultati).

Il Databricks Marketplace, supportato da Delta Sharing, ti consente di trovare e utilizzare facilmente oltre 75 modelli AI. Puoi configurare questi modelli come se fossero sul tuo sistema locale e Delta Sharing li aggiornerà automaticamente durante la distribuzione o gli upgrade. Puoi anche personalizzare i modelli con i tuoi dati per attività come la gestione di una knowledge base. Come provider, ti basta una sola copia del tuo modello per condividerla con tutti i tuoi clienti Databricks.

Qual è l'impatto sul business?

Dall'annuncio della Public Preview della condivisione dei modelli AI a gennaio 2024, abbiamo collaborato con diversi clienti e partner per garantire che la condivisione dei modelli AI offra un risparmio significativo sui costi per le organizzazioni

"Utilizziamo modelli di apprendimento per rinforzo (RL) in alcuni dei nostri prodotti. Rispetto ai modelli di apprendimento supervisionato, i modelli RL presentano tempi di addestramento più lunghi e molte fonti di casualità nel processo di addestramento. Questi modelli RL devono essere distribuiti in 3 workspace in regioni AWS separate. Con la condivisione dei modelli possiamo avere un unico modello RL disponibile in più workspace senza doverlo addestrare nuovamente o senza dover eseguire complessi passaggi manuali per spostarlo." — Mihir Mavalankar, Machine Learning Engineer, Ripple

Jamba 1.5 Mini di AI21 Labs: portare i modelli AI a contesto ampio sul Databricks Marketplace

AI21 Labs, leader nell'AI generativa e nei modelli linguistici di grandi dimensioni, ha pubblicato Jamba 1.5 Mini, parte della famiglia di modelli Jamba 1.5, sul Databricks Marketplace. Jamba 1.5 Mini di AI21 Labs introduce un approccio innovativo ai modelli linguistici AI per l'uso aziendale. La sua innovativa architettura ibrida Mamba-Transformer consente una finestra di contesto effettiva di 256K token, insieme a velocità e qualità eccezionali. Grazie all'ottimizzazione di Mini per un uso efficiente delle risorse di calcolo, può gestire lunghezze di contesto fino a 140K token su una singola GPU.

"AI21 Labs è lieta di annunciare che Jamba 1.5 Mini è ora disponibile sul Databricks Marketplace. Con Delta Sharing, le aziende possono accedere alla nostra architettura Mamba-Transformer, dotata di una finestra di contesto da 256K, garantendo velocità e qualità eccezionali per soluzioni AI trasformative"— Pankaj Dugar, SVP & GM, AI21 Labs

Una finestra di contesto effettiva di 256K token nei modelli AI si riferisce alla capacità del modello di elaborare e considerare 256.000 token di testo contemporaneamente. Questo è importante perché consente al modello di AI21 di gestire set di dati ampi e complessi, rendendolo particolarmente utile per attività che richiedono la comprensione e l'analisi di informazioni estese, come documenti lunghi o flussi di lavoro complessi e ricchi di dati, e migliorando la fase di recupero (retrieval) di qualsiasi flusso di lavoro basato su RAG. L'architettura ibrida di Jamba garantisce che la qualità del modello non si degradi all'aumentare del contesto, a differenza di quanto si osserva solitamente con le finestre di contesto dichiarate degli LLM basati su Transformer.

Guarda questo video tutorial che mostra come ottenere il modello AI21 Jamba 1.5 Mini dal Databricks Marketplace, eseguirne il fine-tuning e distribuirlo

Casi d'uso

La finestra di contesto da 256k di Jamba 1.5 Mini consente ai modelli di gestire in modo efficiente l'equivalente di 800 pagine di testo in un singolo prompt. Ecco alcuni esempi di come i clienti Databricks in diversi settori possono utilizzare questi modelli

1. Elaborazione dei documenti: i clienti possono utilizzare Jamba 1.5 Mini per riassumere rapidamente lunghi report, contratti o articoli di ricerca. Per gli istituti finanziari, i modelli possono riassumere i report sugli utili, analizzare le tendenze di mercato da lunghi documenti finanziari o estrarre informazioni rilevanti dai documenti normativi
2. Miglioramento dei workflow agentici: per gli operatori sanitari, il modello può assistere nei complessi processi decisionali medici analizzando molteplici fonti di dati dei pazienti e fornendo raccomandazioni terapeutiche.
3. Miglioramento dei processi di retrieval-augmented generation (RAG): nei sistemi RAG per le aziende retail, i modelli possono generare risposte più accurate e contestualmente rilevanti alle richieste dei clienti, considerando una gamma più ampia di informazioni sui prodotti e sulla cronologia dei clienti.

In che modo i modelli AI verticalizzati di Bitext su Databricks Marketplace migliorano l'onboarding dei clienti

Bitext offre modelli verticalizzati pre-addestrati sul Databricks Marketplace. Questi modelli sono versioni del modello Mistral-7B-Instruct-v0.2 ottimizzate tramite fine-tuning per la creazione di chatbot, assistenti virtuali e copilot per il settore del Retail Banking, offrendo ai clienti risposte rapide e precise sulle loro esigenze bancarie. Questi modelli possono essere prodotti per qualsiasi famiglia di foundation model: GPT, Llama, Mistral, Jamba, OpenELM…

Caso d'uso: migliorare l'onboarding con l'AI

Un'importante App di social trading registrava tassi di abbandono elevati durante l'onboarding degli utenti. Ha sfruttato i modelli bancari verticalizzati pre-addestrati di Bitext per rinnovare il processo di onboarding, trasformando i moduli statici in un'esperienza utente conversazionale, intuitiva e personalizzata.

Bitext ha condiviso il modello AI verticalizzato con il cliente. Utilizzando quel modello come base, un data scientist ha eseguito il fine-tuning iniziale con dati specifici del cliente, come le FAQ più comuni. Questo passaggio ha garantito che il modello comprendesse i requisiti unici e il linguaggio della base di utenti. A questo è seguito un fine-tuning avanzato con Databricks.

Una volta eseguito il fine-tuning del modello Bitext, questo è stato distribuito utilizzando Databricks AI Model Serving.

1. Il modello ottimizzato tramite fine-tuning è stato registrato in Unity Catalog
2. È stato creato un endpoint.
3. Il modello è stato distribuito sull'endpoint

La collaborazione ha definito un nuovo standard nell'interazione con gli utenti all'interno del settore della finanza social, migliorando significativamente il coinvolgimento e la retention dei clienti. Grazie all'avvio rapido offerto dal modello AI condiviso, l'intera implementazione è stata completata in sole 2 settimane.

Dai un'occhiata alla demo che mostra come installare ed eseguire il fine-tuning del modello AI verticalizzato di Bitext dal Databricks Marketplace qui

"A differenza dei modelli generici che richiedono una grande quantità di dati di addestramento, iniziare con un modello specializzato per un settore specifico riduce i dati necessari per personalizzarlo. Questo aiuta i clienti a distribuire rapidamente modelli AI su misura. Siamo entusiasti di AI Model Sharing. I nostri clienti hanno riscontrato una riduzione fino al 60% dei costi delle risorse (meno data scientist e requisiti computazionali inferiori) e un risparmio fino al 50% sulle interruzioni operative (test e distribuzione più rapidi) grazie ai nostri modelli AI specializzati disponibili sul Databricks Marketplace." — Antonio S. Valderrábanos , Fondatore e CEO, Bitext

Risparmio sui costi dell'approccio di addestramento dei modelli in 2 passaggi di Bitext

Invito all'azione

Ora che la condivisione dei modelli AI è generalmente disponibile (GA) sia per Delta Sharing che per i nuovi modelli AI sul Databricks Marketplace, ti invitiamo a:

• Seguire la sessione “Unlocking new AI use cases” del Data and AI Summit per ulteriori approfondimenti.
• Guardare la demo che spiega come distribuire un modello AI pre-addestrato utilizzando Delta Sharing e personalizzarlo per le tue esigenze specifiche.
• Visitare il Databricks Marketplace per esplorare tutti i modelli AI disponibili.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale