AI Runtime è disponibile a livello generale

Oggi siamo entusiasti di annunciare la General Availability di AI Runtime (AIR), portando un'infrastruttura GPU completamente gestita direttamente in Databricks, consentendo ai clienti di addestrare i propri modelli più impegnativi laddove risiedono già i loro dati aziendali.

Troppo spesso, i team di IA trascorrono più tempo a garantire la capacità GPU, gestire i guasti e attendere l'avvio degli esperimenti che a migliorare i propri modelli. Gestire l'infrastruttura GPU separatamente dal proprio Lakehouse crea lacune di governance e mette a rischio i dati di addestramento sensibili. Man mano che gli agenti di codifica guidano più esperimenti di addestramento, questi colli di bottiglia e rischi aumentano, rendendo essenziale un'infrastruttura affidabile, veloce e governata.

AIR unisce infrastruttura GPU, strumenti di sviluppo e governance dei dati, consentendo ai team di addestrare su scala, iterare più velocemente e proteggere ogni carico di lavoro senza dover gestire uno stack GPU separato. Centinaia di aziende, tra cui Robinhood, PicPay, Merck, Flo Health, TinyFish e FactSet, utilizzano già AIR per addestrare e rilasciare in produzione modelli di deep learning, con casi d'uso che vanno dalla sanità alla produzione manifatturiera fino agli agenti rivolti ai consumatori. Il nostro stesso team Databricks AI Research utilizza AIR per addestrare i modelli alla base di KARL e AI Parse.

Con AIR, i clienti possono:

• Addestrare su scala con un'infrastruttura GPU senza complicazioni: Accesso serverless su richiesta a GPU avanzate supportato da un addestramento multinodo affidabile, prestazioni ottimizzate e collaudato su oltre 100.000 ore-GPU di esecuzione di addestramento.
• Sperimentare più velocemente con latenze di avvio quasi istantanee e un debugging semplice: Porta il tuo codice, i tuoi container e i carichi di lavoro Ray e ottieni latenze di avvio nell'ordine dei secondi su GPU abilitate per RDMA. Caching dell'ambiente e strumenti di debugging integrati per risparmiare tempo in ogni ciclo di addestramento.
• Proteggere e governare ogni carico di lavoro GPU: AIR opera all'interno del perimetro di governance di Databricks e Unity Catalog ed è supportato da anni di investimenti nella sicurezza Serverless. AIR aiuta a garantire che i carichi di lavoro GPU proteggano i preziosi dati di addestramento, rispettino le norme di accesso e siano tracciabili e sottoponibili ad audit.

Infrastruttura GPU senza complicazioni

La gestione dell'infrastruttura GPU richiede un notevole overhead operativo, dalla pianificazione della capacità e la manutenzione dei nodi fino al networking e al monitoraggio. 

Con AIR, Databricks si fa carico del lavoro operativo di provisioning delle GPU, del mantenimento di un'infrastruttura integra e dell'ottimizzazione del carico di lavoro, in modo che il tuo team possa concentrarsi sull'addestramento:

• Ottieni la capacità GPU di cui hai bisogno, su richiesta. Databricks gestisce l'approvvigionamento delle GPU, la configurazione dei cluster e il networking, consentendo al tuo team di iniziare l'addestramento senza dover costruire e gestire una piattaforma GPU completa.
• Scala con sicurezza su un'infrastruttura integra. Databricks esegue decine di controlli sullo stato di salute delle GPU e della rete prima e durante l'addestramento, consentendo ai tuoi carichi di lavoro di scalare fino a centinaia di GPU in modo affidabile.
• Addestramento efficiente di default: I data loader integrati eseguono lo streaming e il caching dei dati di addestramento per ridurre il tempo trascorso in attesa di I/O. Utilizza strumenti come UCVolumeDataset per migliorare il throughput dei dati senza dover creare una pipeline di caricamento personalizzata.

Utilizzando Databricks AI Runtime, abbiamo trasferito il nostro addestramento su larga scala da una configurazione a nodo singolo con 8 GPU A100 a una configurazione multinodo con 16 GPU H100. Ciò ha ridotto il tempo di addestramento da circa sette giorni a 48 ore, un'accelerazione di 3,5 volte, rendendo molto più semplice per il nostro team iterare su esperimenti di modelli più grandi e addestrare in modo più efficiente.- Kostia Omelianchuk, Applied Research Scientist e Area Tech Lead, Superhuman

Utilizza le GPU ovunque tu lavori

Accedi alle GPU tramite CLI o in modo interattivo all'interno di Notebook o IDE. Il tuo primo carico di lavoro richiede solo un singolo comando CLI. Con Databricks AIR Skills, la migrazione da un cluster K8S o SLURM richiede solo un singolo prompt in linguaggio naturale.

 

Orchestra i carichi di lavoro GPU con sicurezza grazie a Lakeflow

AIR si integra in modo nativo con Lakeflow, consentendoti di mantenere i carichi di lavoro GPU sincronizzati con le pipeline a monte e a valle. Il passaggio alla produzione richiede solo poche righe di YAML aggiuntive, con priorità/preemption integrate che riducono al minimo i tempi di inattività della GPU e strumenti di monitoraggio come Genie ZeroOps che riducono il lavoro operativo manuale.

 

Sperimenta, esegui il debug e itera più velocemente

I carichi di lavoro di addestramento distribuito sono complessi da configurare e avviare. I team di IA perdono tempo a configurare gli ambienti di addestramento, ad attendere l'avvio dei cluster GPU e a risolvere i problemi lungo l'intero stack.

AIR ti aiuta a passare dal codice all'addestramento in pochi secondi. Puoi utilizzare ambienti preconfigurati o utilizzare il tuo container, e beneficiare del caching degli ambienti altamente ottimizzato in modo da dover creare gli ambienti una sola volta. AIR è compatibile con tutti i principali framework, tra cui Ray, permettendoti di migrare il codice con una configurazione minima.  

Databricks AI Runtime ci consente di eseguire l'addestramento laddove i nostri dati risiedono già, fornendo l'affidabilità, la sicurezza e le prestazioni necessarie per l'addestramento di modelli su larga scala. Possiamo dedicare meno tempo alla gestione dell'infrastruttura GPU e più tempo al miglioramento dei modelli stessi.- Vladislav Nedosekin, Director of Engineering, Data & AI Platform, Flo Health

Lancia il tuo prossimo esperimento in pochi secondi

Quando si itera e si sviluppa uno script di addestramento, ogni secondo di ritardo si fa sentire ripetutamente. Per questo motivo abbiamo ottimizzato ogni livello dello stack di provisioning per fare in modo che i carichi di lavoro, persino i cluster abilitati per RDMA su larga scala con decine di GPU, si avviino in pochi secondi.

 

Esegui il debug dell'addestramento distribuito in un unico posto

Abbiamo creato un'esperienza di osservabilità completamente nuova in MLflow, lo strumento di tracciamento degli esperimenti leader del settore. Con questa nuova esperienza, il debugging dei log, trasmessi in streaming pochi secondi dopo l'invio, è semplice come aggiungere –watch al comando AIR. Per un'analisi più approfondita, puoi utilizzare il nostro nuovo visualizzatore di log, progettato su misura per l'addestramento multinodo.

Databricks AI Runtime ha semplificato notevolmente il processo di addestramento di un modello custom Text To Formula (TTF). Senza alcuna configurazione dell'infrastruttura o ritardi, è stato facile scegliere le risorse di calcolo corrette in base alla dimensione del prompt e alla generazione dei token di output. Questo ci ha permesso di agire rapidamente, mantenere i nostri workflow Lakehouse e distribuire un modello di alta qualità con una governance completa, riducendo i tempi di configurazione, addestramento e deployment del modello da giorni ad ore.- Nikhil Sunderraj, Principal Machine Learning Engineer, FactSet

Debugging agentico con Genie Code integrato

Genie Code è integrato nell'intera esperienza utente e include competenze per agenti pronte all'uso per aiutarti a risolvere i problemi ed ottimizzare le prestazioni di addestramento su GPU. Queste competenze includono insight scoperti dai nostri team di ricerca e prestazioni, come ad esempio la modalità con cui abbiamo ridotto di 6 volte il tempo di addestramento di Qwen su AIR.

In Robinhood, AI Runtime aiuta i nostri team a passare più velocemente dalla sperimentazione all'addestramento, senza i costi di gestione dell'infrastruttura. Il fine-tuning avviene in modo fluido, consentendoci di addestrare i modelli dove risiedono i dati e mantenendo al contempo i controlli sui dati e sulla governance già integrati. Ciò significa che i nostri ingegneri dedicano più tempo allo sviluppo di modelli migliori e meno tempo alla gestione di complesse configurazioni GPU.- Robert Macy III, Machine Learning Engineer, Robinhood

Databricks AI Runtime ci consente di scalare l'addestramento distribuito su GPU serverless per milioni di record, direttamente all'interno dei nostri workflow dati esistenti. Poiché un numero sempre maggiore delle prime 20 aziende biofarmaceutiche si affida ai nostri modelli per guidare le decisioni di sviluppo, questa velocità e semplicità permettono al nostro team di continuare a migliorare i modelli invece di gestire l'infrastruttura.- Eran Barash, VP of Artificial Intelligence and Machine Learning, QuantHealth

Proteggi e gestisci ogni workload GPU come parte del Lakehouse

La gestione dell'infrastruttura GPU separata dai dati aziendali crea lacune nella governance, controlli degli accessi frammentati e copie inutili dei dati. Con gli agenti che eseguono centinaia di esperimenti di addestramento in parallelo, i team devono garantire che i dati sensibili rimangano protetti dalla governance e che i workload siano isolati in modo sicuro, senza dover fare affidamento sulla supervisione manuale. L'incidente di OpenAI Huggingface sottolinea questo rischio. 

AIR estende le tue garanzie di governance e controllo dei dati a ogni workload GPU. Unity Catalog applica autorizzazioni di lettura/scrittura coerenti su tutti gli aspetti di un workload GPU (accesso ai dati, checkpoint, log, ecc.), affinché la tua piattaforma GPU e il livello di governance dei dati parlino esattamente la stessa lingua. 

Isola i workload e controlla l'accesso alla rete

AIR è supportato da anni di investimenti nella sicurezza serverless, nell'isolamento e nel networking privato. A differenza dei meccanismi di isolamento GPU che espongono il kernel dell'host, AIR offre un isolamento a livello di VM, supporta PrivateLink e i controlli di egress serverless. Pertanto AIR offre protezioni molto più solide per i workload di addestramento rispetto ai sistemi convenzionali. 

Comprendi come viene impiegato il budget dedicato alle GPU

Traccia l'utilizzo e i costi di AIR tramite le tabelle di sistema di fatturazione di Databricks, insieme agli altri workload Databricks. Utilizza i record di utilizzo a livello di workload per identificare quali workload di addestramento consumano il budget GPU e guidare le decisioni sulle esecuzioni future. 

Con Databricks AI Runtime e Serverless, siamo stati in grado di scalare l'addestramento e l'inferenza di LLM più rapidamente, lavorando con modelli più grandi, GPU H100 multiple e grandi volumi di dati. L'integrazione con le nostre pipeline esistenti, unita alle funzionalità di orchestrazione e monitoraggio di Databricks, ha reso il workflow end-to-end più semplice ed efficiente, riducendo la complessità dell'infrastruttura e i tempi del ciclo di sviluppo.- Vitor Rolim, Staff Machine Learning Engineer, PicPay

Per noi, l'addestramento del modello è solo una parte del problema. Dobbiamo sapere se una modifica rende effettivamente l'agente più efficace nello svolgimento di compiti reali, per poi portare rapidamente tale miglioramento in produzione. Con AI Runtime, possiamo eseguire l'addestramento su GPU, valutare con MLflow e distribuire il nostro modello web-native senza dover creare uno stack separato per ogni fase.- Zach Richardson, Head of AI, TinyFish

Inizia con il tuo primo workload GPU

Per aiutarti a iniziare, abbiamo raccolto diversi notebook modello e guide introduttive: 

• Consulta la nostra guida rapida per iniziare e connetterti ad AI Runtime in pochi secondi. 
• Per saperne di più su AI Runtime, guarda la nostra demo di 3 minuti e visita la nostra pagina web.
• Vuoi provare AIR su un esempio? Clona il nostro repository cookbook per iniziare con un solo comando da CLI!

Contatta il tuo account team per saperne di più o per qualsiasi domanda!

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale