Mosaic AI: Crea e distribuisci sistemi di agenti AI di qualità produttiva

Nell'ultimo anno, abbiamo assistito a un'ondata di modelli fondazionali commerciali e open-source che mostrano forti capacità di ragionamento su compiti di conoscenza generale. Sebbene i modelli generali siano un importante blocco di costruzione, le applicazioni di AI in produzione impiegano spesso Sistemi AI Composti, che sfruttano più componenti come modelli ottimizzati, recupero, uso di strumenti e agenti di ragionamento. Questi sistemi di agenti AI aumentano i modelli fondazionali per offrire una qualità molto migliore e aiutare i clienti a portare con sicurezza queste app GenAI in produzione. 

Oggi, al Data and AI Summit, abbiamo annunciato diverse nuove funzionalità che rendono Databricks Mosaic AI la migliore piattaforma per la creazione di sistemi di agenti AI di qualità di produzione. Queste funzionalità si basano sulla nostra esperienza nel lavorare con migliaia di aziende per mettere in produzione applicazioni basate sull'AI. Gli annunci di oggi includono il supporto per il fine-tuning dei modelli fondazionali, un catalogo enterprise per gli strumenti AI, un nuovo SDK per la creazione, il deployment e la valutazione degli agenti AI e un gateway AI unificato per la governance dei servizi AI distribuiti.

Con questo annuncio, Databricks ha completamente integrato ed espanso sostanzialmente le capacità di creazione di modelli incluse per la prima volta nella nostra acquisizione di MosaicML un anno fa.

Creazione e Deployment di Sistemi AI Composti

La valutazione di modelli AI monolitici a sistemi composti è un'area attiva di ricerca accademica e industriale. Risultati recenti hanno riscontrato che “i risultati AI all'avanguardia sono sempre più ottenuti da sistemi composti con più componenti, non solo da modelli monolitici.” Queste scoperte sono rafforzate da ciò che vediamo nella nostra base clienti. Prendiamo ad esempio la società di ricerca finanziaria FactSet: quando hanno distribuito un LLM commerciale per il loro caso d'uso Text-to-Financial-Formula, sono riusciti a ottenere solo il 55% di accuratezza nella formula generata; tuttavia, la modularizzazione del loro modello in un sistema composto ha permesso loro di specializzare ogni compito e raggiungere l'85% di accuratezza. Databricks Mosaic AI supporta la creazione di sistemi AI attraverso i seguenti prodotti:

• Fine-tuning con Databricks Model Training: Sia che tu stia facendo il fine-tuning di un modello su un piccolo set di dati o pre-allenando un modello da zero (come DBRX) con trilioni di token su oltre 3.000 GPU, forniamo un'API gestita e facile da usare per l'addestramento dei modelli, astraendo l'infrastruttura sottostante. Stiamo vedendo i nostri clienti ottenere successo con il fine-tuning di modelli open source più piccoli per componenti di sistema al fine di ridurre costi e latenza, eguagliando al contempo le prestazioni di GPT-4 su compiti enterprise con dati proprietari. Model Training consente ai clienti di possedere completamente i propri modelli e i propri dati, permettendo loro di iterare sulla qualità.  

Gli utenti devono solo selezionare un compito e un modello di base e fornire i dati di addestramento (come una tabella Delta o un file .jsonl) per ottenere un modello completamente ottimizzato che possiedono per il loro compito specializzato

• Shutterstock ImageAI, Powered by Databricks: Il nostro partner Shutterstock ha annunciato oggi un nuovo modello text-to-image addestrato esclusivamente sul repository di immagini di classe mondiale di Shutterstock utilizzando Databricks Model Training. Genera immagini personalizzate, ad alta fedeltà e affidabili, su misura per specifiche esigenze aziendali.
• Mosaic AI Vector Search, ora con supporto per Customer Managed Keys e Hybrid Search: Abbiamo recentemente reso Vector Search generalmente disponibile. Inoltre, Vector Search ora supporta il modello di embedding GTE-large che ha buone prestazioni di recupero e supporta una lunghezza di contesto di 8K. Vector Search ora supporta anche Customer Managed Keys per fornire un maggiore controllo sui dati e supporta la ricerca ibrida per migliorare la qualità del recupero.
• Mosaic AI Agent Framework per uno sviluppo rapido: Le applicazioni RAG sono l'applicazione GenAI più popolare che vediamo sulla nostra piattaforma, e oggi siamo entusiasti di annunciare la Public Preview del nostro Agent Framework. Questo rende molto facile costruire un sistema AI aumentato dai tuoi dati proprietari, governato e gestito in modo sicuro in Unity Catalog.
• Databricks Model Serving supporto per agenti; Disponibilità generale dell'API Foundation Model disponibilità: Oltre ai modelli di serving in tempo reale, i clienti possono ora servire agenti e RAG con Model Serving. Stiamo anche rendendo le API Foundation Model generalmente disponibili: i clienti possono utilizzare facilmente modelli fondazionali, accessibili sia come pay-per-token che throughput provisionato per carichi di lavoro di produzione.
• Mosaic AI Tool Catalog e Function-Calling: Oggi abbiamo annunciato il Mosaic AI Tool Catalog, che consente ai clienti di creare un registro enterprise di funzioni comuni, interne o esterne, e condividere questi strumenti in tutta la loro organizzazione per l'uso nelle applicazioni AI. Gli strumenti possono essere funzioni SQL, funzioni Python, endpoint di modelli, funzioni remote o retriever. Abbiamo anche migliorato Model Serving per supportare nativamente il function-calling, in modo che i clienti possano utilizzare modelli open source popolari come Llama 3-70B come motore di ragionamento del loro agente. 

Databricks Model Serving ora supporta il function-calling e gli utenti possono sperimentare rapidamente con funzioni e modelli di base nell'AI Playground

Valutazione dei Sistemi AI

I modelli AI generici sono ottimizzati per benchmark, come MMLU, ma i sistemi AI distribuiti sono invece progettati per risolvere compiti specifici dell'utente come parte di un prodotto più ampio (ad esempio, rispondere a un ticket di supporto, generare una query o suggerire una risposta). Per garantire che questi sistemi funzionino bene, è importante disporre di un robusto framework di valutazione per definire metriche di qualità, raccogliere segnali di qualità e iterare sulle prestazioni. Oggi siamo entusiasti di annunciare diversi nuovi strumenti di valutazione:

• Databricks MLflow per Valutazioni Automatiche e Umane: Agent Evaluation ti consente di definire come dovrebbero essere le risposte di alta qualità per il tuo sistema AI fornendo esempi “golden” di interazioni di successo. Una volta esistente questo metro di giudizio di qualità, puoi esplorare permutazioni del sistema, ottimizzare modelli, cambiare il recupero o aggiungere strumenti, e capire come le modifiche al sistema alterano la qualità. Agent Evaluation ti consente anche di invitare esperti di materia nella tua organizzazione, anche quelli senza account Databricks, a rivedere e etichettare l'output del tuo sistema AI per effettuare valutazioni di qualità di produzione e costruire un set di dati di valutazione esteso. Infine, giudici LLM forniti dal sistema possono ulteriormente scalare la raccolta di dati di valutazione valutando le risposte su criteri comuni come accuratezza o utilità. Tracce di produzione dettagliate possono aiutare a diagnosticare risposte di bassa qualità.

Databricks MLflow fornisce metriche assistite dall'AI per aiutare gli sviluppatori a formarsi rapide intuizioni

Databricks MLflow consente agli stakeholder, anche quelli esterni alla Piattaforma Databricks, di valutare gli output dei modelli e fornire valutazioni per aiutare a iterare sulla qualità

• MLflow 2.14: MLflow è un framework agnostico rispetto al modello per la valutazione di LLM e sistemi AI, che consente ai clienti di misurare e tracciare parametri in ogni fase. Con MLflow 2.14, siamo entusiasti di annunciare MLflow Tracing. Con Tracing, gli sviluppatori possono registrare ogni fase dell'inferenza del modello e dell'agente per eseguire il debug dei problemi di prestazioni e costruire set di dati di valutazione per testare miglioramenti futuri. Tracing è strettamente integrato con Databricks MLflow Experiments, Databricks Notebooks e Databricks Inference Tables, fornendo insight sulle prestazioni dallo sviluppo alla produzione.

Corning è un'azienda di scienza dei materiali: le nostre tecnologie di vetro e ceramica sono utilizzate in molte applicazioni industriali e scientifiche, quindi comprendere e agire sui nostri dati è essenziale. Abbiamo costruito un assistente di ricerca AI utilizzando Databricks Mosaic AI Agent Framework per indicizzare centinaia di migliaia di documenti, inclusi i dati dell'ufficio brevetti degli Stati Uniti. Avere il nostro assistente basato su LLM che risponde alle domande con alta precisione era estremamente importante per noi: in questo modo, i nostri ricercatori potevano trovare e portare avanti i compiti su cui stavano lavorando. Per implementare questo, abbiamo utilizzato Databricks Mosaic AI Agent Framework per costruire una soluzione Hi Hello Generative AI aumentata con i dati dell'ufficio brevetti degli Stati Uniti. Sfruttando la Piattaforma Databricks Data Intelligence, abbiamo migliorato significativamente la velocità di recupero, la qualità delle risposte e l'accuratezza. — Denis Kamotsky, Principal Software Engineer, Corning

Governance dei Tuoi Sistemi AI

Nell'esplosione di modelli di base all'avanguardia, abbiamo visto la nostra base di clienti adottare rapidamente nuovi modelli: DBRX ha avuto mille clienti che lo hanno sperimentato entro due settimane dal lancio, e stiamo vedendo centinaia di clienti sperimentare con i modelli Llama3 rilasciati di recente. Molte aziende trovano difficile supportare questi nuovi modelli nella loro piattaforma entro un lasso di tempo ragionevole, e i cambiamenti nelle strutture dei prompt e nelle interfacce di interrogazione li rendono difficili da implementare. Inoltre, poiché le aziende aprono l'accesso ai modelli più recenti e migliori, le persone si entusiasmano e creano un sacco di cose, il che può rapidamente trasformarsi in un pasticcio di problemi di governance. I problemi comuni di governance sono il raggiungimento dei limiti di velocità che influiscono sulle applicazioni di produzione, i costi in aumento dovuti all'esecuzione di modelli GenAI su tabelle di grandi dimensioni e le preoccupazioni sulla fuga di dati poiché i dati PII vengono inviati a fornitori di modelli di terze parti. Oggi, siamo entusiasti di annunciare nuove funzionalità in AI Gateway per la governance e un catalogo di modelli curato per abilitare la scoperta dei modelli. Le funzionalità incluse sono:

• Agent Bricks AI Gateway per la governance centralizzata dell'IA: Agent Bricks AI Gateway consente ai clienti di avere un'interfaccia unificata per gestire, governare, valutare e cambiare facilmente i modelli. Si posiziona su Model Serving per abilitare la limitazione della velocità, le autorizzazioni e la gestione delle credenziali per le API dei modelli (esterne o interne). Fornisce inoltre un'unica interfaccia per l'interrogazione delle API dei modelli di base in modo che i clienti possano facilmente sostituire i modelli nei loro sistemi ed eseguire esperimenti rapidi per trovare il modello migliore per un caso d'uso. Gateway Usage Tracking traccia chi chiama ciascuna API del modello e Inference Tables cattura quali dati sono stati inviati in entrata e in uscita. Ciò consente ai team di piattaforma di capire come modificare i limiti di velocità, implementare il chargeback e verificare la fuga di dati.
• Mosaic AI Guardrails: Aggiungi filtri di sicurezza a livello di endpoint o a livello di richiesta per prevenire risposte non sicure, o anche aggiungere filtri di rilevamento PII per prevenire la fuga di dati sensibili.
• system.ai Catalog: Abbiamo curato un elenco di modelli open source all'avanguardia che possono essere gestiti in Unity Catalog. Distribuisci facilmente questi modelli utilizzando le API dei modelli di base di Model Serving o affinali con Model Training. I clienti possono anche trovare tutti i modelli supportati sulla Mosaic AI Homepage andando su Impostazioni > Sviluppatore > Homepage personalizzata. 

Databricks Model Serving sta accelerando i nostri progetti basati sull'IA rendendo facile accedere e gestire in modo sicuro più modelli SaaS e open, inclusi quelli ospitati su o al di fuori di Databricks. Il suo approccio centralizzato semplifica la gestione della sicurezza e dei costi, consentendo ai nostri team di dati di concentrarsi maggiormente sull'innovazione e meno sull'overhead amministrativo. — Greg Rokita, AVP, Technology presso Edmunds.com

Databricks Mosaic AI consente ai team di creare e collaborare su sistemi AI composti da un'unica piattaforma con governance centralizzata e un'interfaccia unificata per addestrare, tracciare, valutare, scambiare e distribuire. Sfruttando i dati aziendali, le organizzazioni possono passare dalla conoscenza generale all'intelligenza dei dati. Questa evoluzione consente alle organizzazioni di ottenere insight più pertinenti più velocemente.

Siamo entusiasti di vedere quali innovazioni costruiranno i nostri clienti!

Esplora di più

• Databricks Mosaic AI
• Documentazione

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale