Databricks AI Runtime e NVIDIA semplificano la personalizzazione dei modelli open con i dati aziendali

Le GPU alimentano i carichi di lavoro AI più avanzati di oggi, dai modelli linguistici all'avanguardia ai sistemi AI multimodali e agenti. Sempre più spesso, le aziende adattano i modelli aperti ai propri dati e alle proprie esigenze di business. Ma garantire l'accesso alle GPU è solo una parte della sfida. I team devono anche configurare i job di addestramento, governare l'accesso ai dati e gestire l'infrastruttura GPU, lasciando meno tempo per sperimentare con i modelli e valutare quanto rispondano alle esigenze aziendali.

Databricks e NVIDIA offrono un percorso fluido dai dati aziendali ai modelli AI personalizzati, dal fine-tuning di modelli più piccoli all'addestramento distribuito su larga scala. Tramite Unity Gateway, Databricks fornisce agli sviluppatori un accesso governato a modelli frontier e open source. Per i team che devono personalizzare i modelli, AI Runtime (AIR) porta l'ecosistema software AI e le GPU serverless di NVIDIA sui dati aziendali. I team possono sperimentare, eseguire il fine-tuning e valutare i modelli su AIR, per poi distribuirli per l'inferenza in tempo reale tramite Databricks Model Serving, il tutto all'interno della Databricks Platform, riducendo le attività di gestione dell'infrastruttura e della governance.

Oggi al GTC Berlin, Databricks e NVIDIA ampliano la loro collaborazione per rendere più semplice per le aziende la personalizzazione dei modelli aperti. Databricks AIR è ora disponibile a livello generale: gli sviluppatori possono utilizzare NVIDIA NeMo, container NGC e nuovi cookbook Nemotron per addestrare ed eseguire il fine-tuning di modelli aperti su GPU NVIDIA serverless. Insieme, queste funzionalità offrono ai team maggiore flessibilità per adattare i modelli a compiti aziendali specifici e metterli al lavoro in applicazioni e agenti.

AI Runtime ha sbloccato l'addestramento dei modelli e il reinforcement learning sui dati aziendali, aspetti che tradizionalmente erano fuori dalla portata degli ingegneri di machine learning. Con AI Runtime e l'ecosistema software AI di NVIDIA, i team possono specializzare modelli a pesi aperti come Nemotron per i propri casi d'uso personalizzati e il proprio contesto aziendale. Grazie all'accesso governato ai dati, alla facilità d'uso per l'addestramento su larga scala e a Genie Code per il debugging automatico, AI Runtime accelererà la diffusione dei modelli personalizzati in azienda.—Hanlin Tang, CTO for Neural Networks, Databricks

Gli agenti hanno il massimo valore quando sono basati sul reale funzionamento di un'azienda: i suoi dati, i suoi workflow e le sue competenze. NVIDIA e Databricks stanno portando modelli aperti come Nemotron e Kumo direttamente sui dati aziendali governati, offrendo ai team i modelli, gli strumenti e il calcolo accelerato per creare agenti specializzati in grado di ragionare sulla conoscenza aziendale, prevedere cosa accadrà dopo e agire di conseguenza.—Pat Lee, VP of Strategic Partnerships, NVIDIA

Addestra ed esegui il fine-tuning più velocemente con AI Runtime 

AIR mette a disposizione GPU NVIDIA serverless per l'addestramento e il fine-tuning, consentendo agli sviluppatori di eseguire il codice e i container esistenti su scala senza dover gestire l'infrastruttura GPU. Con il supporto per l'addestramento distribuito multi-nodo, i team possono scalare carichi di lavoro più grandi su più nodi GPU. NVIDIA Quantum InfiniBand offre una rete ad alta larghezza di banda e bassa latenza con accesso remoto diretto alla memoria (RDMA), mentre NVIDIA Collective Communications Library (NCCL) gestisce la comunicazione tra le GPU. Databricks gestisce i cluster sottostanti e la rete.

Ad esempio, un'azienda che sviluppa un agente di supporto tecnico potrebbe partire da un modello aperto NVIDIA Nemotron ed eseguirne il fine-tuning su ticket di supporto etichettati utilizzando NVIDIA NeMo su AIR. Il team potrebbe sperimentare diversi approcci di addestramento e utilizzare MLflow per monitorare i risultati man mano che adatta il modello ai propri workflow di supporto specifici.

Gli sviluppatori possono preparare i dati nel Lakehouse e sperimentare in notebook dotati di GPU o tramite la CLI di AIR, utilizzando il caricamento dei dati ad alte prestazioni e ambienti standard che includono PyTorch e CUDA. Possono usare framework di addestramento distribuito o portare le proprie librerie e loop di addestramento personalizzati.

Quando gli esperimenti sono pronti per l'esecuzione ripetibile, Lakeflow Jobs può orchestrare l'addestramento insieme alla preparazione dei dati a monte e alla valutazione a valle, trasformando le singole esecuzioni in workflow ripetibili. Declarative Automation Bundles supportano il CI/CD per il deployment e l'aggiornamento di tali workflow.

MLflow traccia gli esperimenti di addestramento e l'utilizzo delle GPU, aiutando i team a confrontare i risultati dei modelli e le prestazioni di calcolo. Unity Catalog governa l'accesso ai dati di addestramento e le tabelle di sistema native offrono visibilità sull'uso di CPU e GPU. Insieme, queste integrazioni consentono ai team di utilizzare i dati, la governance e gli strumenti operativi su cui già fanno affidamento in Databricks.

Accelera i carichi di lavoro con il software AI di NVIDIA

L'addestramento e il fine-tuning dei modelli di deep learning richiedono molto più della potenza di calcolo delle GPU: i team hanno bisogno anche di flessibilità nei propri framework, librerie e ambienti. AIR ora supporta Docker e registry privati, consentendo agli sviluppatori di portare ambienti containerizzati personalizzati sui propri carichi di lavoro GPU.

Gli sviluppatori possono utilizzare container ottimizzati per GPU dal Catalogo NGC di NVIDIA con Databricks Artifact Registry per integrare il software NVIDIA in AIR. Il caching dell'ambiente aiuta ad avviare rapidamente questi carichi di lavoro, riducendo l'overhead di configurazione man mano che i team iterano sul codice di addestramento e rieseguono gli esperimenti.

Gli sviluppatori possono anche installare strumenti di profiling NVIDIA per esaminare l'esecuzione sulle GPU e analizzare i colli di bottiglia delle prestazioni. Insieme alle metriche di utilizzo delle GPU tracciate in MLflow, questi strumenti aiutano i team a capire dove i carichi di lavoro di addestramento impiegano tempo e a individuare le opportunità di miglioramento delle prestazioni. I team possono ottimizzare il software e il codice di addestramento mentre AIR gestisce l'infrastruttura GPU sottostante.

AIR supporta la personalizzazione oltre i LLM, includendo un workflow di fine-tuning convalidato per NVIDIA Kumo Anomaly, un modello di ricerca aperto per la rilevazione delle anomalie nelle serie temporali, con tracciamento MLflow e checkpoint di Unity Catalog. Ciò supporta la visione dell'Agent Knowledge Foundation di NVIDIA incentrata sulla creazione di uno strato di conoscenza per gli agenti. L'abbinamento di Kumo-Anomaly con la Genie Ontology offre un percorso verso agenti consapevoli del contesto, che collegano i pattern anomali nei dati delle serie temporali al loro significato aziendale, per guidare le azioni successive.

Personalizza e gestisci il serving dei modelli Nemotron

Con il rilascio di Nemotron 3.5 Lightning e Super VL, i clienti Databricks possono caricare, sperimentare, adattare ed eseguire il serving di questi modelli su Databricks fin dal primo giorno. 

AIR supporta la personalizzazione dei modelli con NVIDIA NeMo e NeMo Automodel, consentendo ai team di utilizzare gli strumenti e i framework di NVIDIA su GPU NVIDIA serverless. Nell'esempio dell'agente di supporto tecnico, ciò significa che gli sviluppatori potrebbero utilizzare questi strumenti per eseguire il fine-tuning di Nemotron sui ticket di supporto storici, aiutando il modello a comprendere meglio i prodotti, la terminologia e i workflow di risoluzione dei problemi specifici dell'azienda. L'addestramento rimane connesso ai dati aziendali e ai workflow in Databricks.

Genie Code può anche aiutare gli sviluppatori a scrivere e adattare lo script di addestramento direttamente in un notebook. Gli sviluppatori possono descrivere le modifiche necessarie, richiedere assistenza per configurare un'esecuzione di fine-tuning e risolvere gli errori man mano che si presentano. Possono esaminare e perfezionare il codice suggerito prima di eseguirlo su GPU NVIDIA serverless.

Per il fine-tuning, AIR combina caricamento dei dati, checkpointing e addestramento ottimizzati con strumenti integrati di osservabilità e debugging. Gli sviluppatori possono tracciare gli esperimenti e le metriche delle GPU in MLflow e utilizzare Genie Code per:

• Eseguire il debug del codice del modello e analizzare gli errori di addestramento.
• Individuare i colli di bottiglia nelle prestazioni delle GPU, inclusi i problemi di memoria e l'overhead di comunicazione.
• Applicare le indicazioni specifiche di NVIDIA relative a CUDA, cuDNN, NCCL e agli strumenti di profiling.

Dopo il fine-tuning e la valutazione, i team possono distribuire modelli personalizzati in produzione tramite Databricks Model Serving. Nel nostro esempio di supporto tecnico, il modello Nemotron sottoposto a fine-tuning potrebbe alimentare un agente che interpreta le richieste di supporto in arrivo e genera risposte basate sui prodotti dell'azienda e sui flussi di lavoro di risoluzione dei problemi. Questo completa il flusso di lavoro dalla personalizzazione del modello su GPU NVIDIA serverless all'inferenza in tempo reale.

Inizia con Databricks AI Runtime e NVIDIA

Per saperne di più, visita la nostra pagina web, la documentazione AIR ed esplora i cookbook per Nemotron 3.5 SuperVL e Nemotron 3.5 Lightning per iniziare con l'addestramento e il fine-tuning su GPU su Databricks.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale