Databricks e NVIDIA: costruire per l'era degli agenti

L'intero stack dell'AI, accelerato

Il calcolo accelerato di NVIDIA alimenta alcuni dei carichi di lavoro di AI più impegnativi su Databricks, dall'addestramento su larga scala, al fine-tuning e all'inferenza, fino alle soluzioni di AI specifiche per il settore. Oggi al Data + AI Summit, evidenziamo come l'infrastruttura AI di NVIDIA sia al centro dei nuovi annunci di Databricks AI Runtime, Model Serving e delle soluzioni Industry AI, incluso uno sguardo a come la nuova NVIDIA Vera CPU alimenterà la prossima generazione di infrastrutture agentiche.

"La nostra partnership con NVIDIA copre l'intero ciclo di vita dell'AI. Dall'infrastruttura accelerata NVIDIA che alimenta l'addestramento distribuito in AI Runtime al software in esecuzione all'interno delle nostre piattaforme di serving e di sviluppo. Siamo entusiasti di combinare la tecnologia NVIDIA con le funzionalità di dati e governance di Databricks per sbloccare un valore incredibile per i nostri clienti: un'AI aziendale rapida, scalabile e costruita su fondamenta di cui potersi fidare."— Adam Conway, SVP, Product, Databricks

“Databricks consente alle aziende di creare, distribuire, scalare e governare agenti AI informati dalla loro risorsa più preziosa: i dati aziendali. Attraverso la nostra partnership ampliata, NVIDIA e Databricks stanno potenziando la prossima ondata di AI aziendale integrando nella piattaforma Databricks il calcolo accelerato NVIDIA full-stack con CPU Vera, GPU Rubin, rete NVIDIA Quantum InfiniBand e il software NVIDIA Agent Toolkit.”— Pat Lee, Vice President, Enterprise Strategic Partnerships, NVIDIA

Ecco come Databricks e NVIDIA stanno costruendo insieme una piattaforma AI, dalle GPU per l'addestramento e l'inferenza, alle CPU create appositamente per l'era agentica.

1. Addestramento e fine-tuning

Databricks AI Runtime (AIR) porta l'accelerazione delle GPU NVIDIA direttamente ai team di dati e AI, consentendo loro di addestrare ed eseguire il fine-tuning di modelli su dati aziendali governati senza dover gestire un'infrastruttura GPU separata. Con AIR, i clienti ottengono l'hardware e la rete NVIDIA avanzati direttamente dove si trovano i loro dati governati su Databricks:

• GPU NVIDIA Hopper con NVIDIA Quantum InfiniBand: create appositamente per l'addestramento distribuito multi-nodo. Che tu stia eseguendo il pre-addestramento di un modello di base o un fine-tuning su larga scala, AIR offre supporto integrato per le interconnessioni GPU ad alta larghezza di banda e bassa latenza di NVIDIA (rete compatibile con RDMA) che eliminano i colli di bottiglia di comunicazione tra i nodi. AIR è in fase di preparazione anche per l'architettura NVIDIA Blackwell, garantendo ai clienti di essere sempre all'avanguardia nel calcolo accelerato.
• GPU NVIDIA nella Free Edition: al DAIS, siamo entusiasti di annunciare il supporto delle GPU all'interno di Databricks Free Edition, aiutando sviluppatori, studenti e startup di tutto il mondo a creare e distribuire i propri carichi di lavoro AI su GPU.
• Supporto per i container NVIDIA: presto Databricks supporterà i container NGC e gli ambienti personalizzati NVIDIA CUDA, consentendo loro di essere eseguiti nativamente sui dati all'interno della piattaforma.

AI Runtime consente un accesso continuo alle GPU NVIDIA all'interno di Databricks.

2. Inferenza: accelerazione NVIDIA in Databricks Model Serving

Databricks Model Serving alimenta l'inferenza in produzione per migliaia di clienti Databricks. Al centro di Model Serving, l'hardware e il software NVIDIA offrono l'inferenza a bassa latenza e ad alto throughput su scala di cui i nostri clienti hanno bisogno, su modelli di frontiera come Qwen, GPT-OSS e reti neurali personalizzate create dai nostri clienti. Altre funzionalità di serving includono l'hardware NVIDIA e Triton Inference Server. Model Serving supporta le principali GPU ottimizzate per l'inferenza, con il batching dinamico avanzato di Triton e prestazioni ottimizzate in arrivo. Con Model Serving, i clienti possono distribuire i modelli che addestrano su hardware NVIDIA direttamente sull'infrastruttura Databricks gestita.

3. Infrastruttura agentica: esplorare NVIDIA Vera per il prossimo collo di bottiglia del calcolo

L'ascesa degli agenti autonomi introduce una nuova sfida infrastrutturale. Sebbene le GPU eccellano nell'inferenza dei modelli, l'harness dell'agente, le chiamate agli strumenti, l'analisi basata su CPU e la gestione del ragionamento multi-step vengono eseguiti tutti su CPU. Le CPU odierne rappresentano spesso il collo di bottiglia: la latenza nelle chiamate agli strumenti, il sovraccarico di comunicazione tra i passaggi dell'agente e le prestazioni incoerenti sotto carico degradano l'esperienza agentica.

NVIDIA Vera è una CPU di nuova generazione progettata specificamente per questo carico di lavoro. Progettata per tre casi d'uso principali (carichi di lavoro agentici, apprendimento per rinforzo e analisi dei dati basata su CPU), Vera offre:

• Core ad alte prestazioni progettati da NVIDIA e compatibili con Arm che offrono query SQL fino a 3 volte più veloci e prestazioni agentiche più rapide dell'80%, ottimizzati per pattern di calcolo discontinui e sensibili alla latenza, come le chiamate agli strumenti e l'orchestrazione degli agenti
• Un'enorme larghezza di banda di memoria per le operazioni ad alta intensità di dati che gli agenti eseguono tra le chiamate ai modelli
• Comunicazione rapida core-to-core che aiuta a fornire prestazioni prevedibili man mano che la complessità dell'agente aumenta

La visione è uno stack end-to-end accelerato da NVIDIA su Databricks: i modelli vengono eseguiti su GPU NVIDIA per l'inferenza, mentre l'harness dell'agente e le chiamate agli strumenti potrebbero essere eseguiti su CPU Vera, con ciascun carico di lavoro su silicio creato appositamente per le sue caratteristiche. Gli sviluppatori personalizzano i modelli su Databricks utilizzando dati proprietari, li distribuiscono tramite Model Serving e l'infrastruttura agentica circostante viene eseguita su un calcolo progettato da zero per quel pattern esatto.

4. Esperienza di sviluppo: rendere l'AI accelerata più facile da creare

NVIDIA Agent Toolkit: distribuzione su Databricks

Costruito su Databricks Apps, i team possono ospitare ed eseguire NVIDIA Agent Toolkit, la piattaforma di sviluppo open source di NVIDIA per la creazione, la personalizzazione e la distribuzione di flussi di lavoro AI agentici, direttamente all'interno del proprio ambiente Databricks. Questo significa che otterrai:

• Funzionalità di NVIDIA Agent Toolkit: guardrail, utilizzo di strumenti, generazione aumentata dal recupero (RAG) e ragionamento multi-step, in esecuzione in applicazioni ospitate su Databricks.
• Databricks Apps come layer di hosting: distribuisci qualsiasi codebase, inclusi agenti o servizi creati con NVIDIA Agent Toolkit, como applicazioni gestite con autenticazione, rete e governance integrate tramite Unity Catalog.
• Integrazione perfetta con i dati, i modelli e l'infrastruttura di serving di Databricks. I tuoi agenti possono accedere ai dati governati, chiamare modelli tramite FMAPI e sfruttare l'intera piattaforma senza uscire dall'ambiente.

Utilizzo di Genie Code per i carichi di lavoro GPU

Le GPU sono potenti, ma ottenere un'ottima percentuale di utilizzo, diagnosticare problemi di prestazioni ed eseguire il debug dei carichi di lavoro ha tradizionalmente richiesto una profonda esperienza nei sistemi. Stiamo cambiando questo approccio con una strategia orientata prima di tutto agli agenti (agent-first):

Genie Code supporta skill progettate attorno all'hardware e al software NVIDIA. Gli sviluppatori possono:

• Eseguire il debug dei carichi di lavoro GPU in modo conversazionale: descrivi il problema, ottieni indicazioni pratiche
• Ottimizzare le prestazioni: identifica i colli di bottiglia nell'utilizzo, i problemi di memoria e il sovraccarico di comunicazione
• Sfruttare le conoscenze specifiche di NVIDIA: skill che comprendono CUDA, cuDNN, NCCL e gli strumenti di profilazione NVIDIA

Genie Code e gli strumenti di debug NVIDIA sono inoltre completamente integrati con varie aree di prodotto Databricks, tra cui:

• Notebook: monitoraggio, profilazione e debug delle GPU di prim'ordine nell'ambiente notebook
• MLflow: traccia le metriche e l'utilizzo delle GPU insieme agli esperimenti
• Model Serving: diagnostica lo stato dell'endpoint e le prestazioni delle GPU, identifica le opportunità per ottimizzare i meccanismi dell'endpoint come l'autoscaling

5. Industry AI: software NVIDIA su dati Databricks governati

Ogni settore affronta sfide computazionali uniche, modellate dai dati che genera e dai modelli che costruisce. Queste sfide spaziano dall'analisi dei genomi e dall'accelerazione della scoperta di farmaci all'ottimizzazione delle catene di fornitura, all'interpretazione delle immagini mediche e alla simulazione di fabbriche, robot e gemelli digitali.

Per aiutare a risolvere questi problemi, NVIDIA ha investito molto in librerie e framework di calcolo accelerato specifici per il dominio. Siamo entusiasti di portare queste funzionalità direttamente nella piattaforma Databricks.

I clienti possono sfruttare lo stack di calcolo accelerato di NVIDIA nell'intera esperienza end-to-end di Databricks – dall'ingegneria dei dati e la sperimentazione fino allo sviluppo dei modelli e ai workflow di produzione; e ora i team di R&D specifici di dominio possono utilizzare le funzionalità accelerate di NVIDIA senza lasciare la piattaforma Databricks.

La partnership si estende alle librerie di calcolo accelerato e ai framework di dominio di NVIDIA che i clienti possono utilizzare con Databricks per i carichi di lavoro di AI specifici del settore:

Sguardo al futuro: costruire per l'era agentica

L'infrastruttura AI di NVIDIA supporta livelli critici di AI su Databricks: le GPU che alimentano l'addestramento e l'inferenza, le CPU Vera che alimenteranno l'orchestrazione dei tuoi agenti e l'analisi dei dati, l'NVIDIA Agent Toolkit che abilita le tue applicazioni agentiche e gli strumenti di sviluppo che ti aiutano a ottenere il massimo da ogni ciclo di calcolo.

Che tu sia una startup che sperimenta il suo primo carico di lavoro GPU nella Free Edition, un'azienda farmaceutica che esegue BioNeMo per la scoperta di farmaci o un'impresa che distribuisce modelli di frontiera su scala, Databricks e NVIDIA offrono insieme le prestazioni, la semplicità e la governance di cui hai bisogno.

Inizia oggi stesso: prova le GPU NVIDIA nella Free Edition di Databricks, distribuisci NVIDIA Agent Toolkit su Databricks Apps o esplora la nostra API Foundation Model basata sul calcolo accelerato di NVIDIA.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale