Esegui e fai fine-tuning dei modelli di base tabulari usando GPU on-demand completamente gestite e integrate con i tuoi dati e flussi di lavoro ML su Databricks.
di Marc Susagna Holgado, Javier Poveda Panter, Puneet Jain e Ryuta Yoshimatsu
Molte delle applicazioni di machine learning predittivo più importanti si basano su dati tabulari. Dal rischio di credito e il customer churn alla previsione della domanda e alla manutenzione predittiva, questi casi d'uso hanno tradizionalmente richiesto ai team di sviluppare, addestrare e mantenere modelli per ogni attività di previsione. I Tabular Foundation Models (TFM) offrono un altro approccio: modelli preaddestrati in grado di effettuare previsioni su nuovi dataset senza un addestramento specifico per l'attività.
Portare i sistemi di ML in produzione su scala rimane una sfida per molte aziende per i seguenti motivi:
Di recente, le soluzioni basate su agenti hanno contribuito ad accelerare queste operazioni costose, ma fanno comunque affidamento su un modello addossato su misura per ogni attività di ML o dataset. Per rimuovere questa dipendenza, i laboratori di ricerca pionieristici hanno applicato l'architettura transformer ai dati tabulari su scala, creando una nuova categoria di modelli chiamata Tabular Foundation Models (TFM). Poiché i TFM arrivano già preaddestrati, non richiedono alcun addestramento sul tuo dataset, il che significa che le pipeline di addestramento e riaddestramento su misura scompaiono in gran parte.
Nonostante l'impressionante accuratezza che questi modelli dimostrano sui benchmark pubblici, non sono ancora entrati nel mainstream dell'IA aziendale. Ciò è dovuto in parte alla natura nascente del campo, poiché non molti professionisti li conoscono ancora, ma anche ai requisiti di infrastruttura di calcolo.
In questo articolo esamineremo il funzionamento dei TFM, confronteremo i modelli recenti e spiegheremo i compromessi legati alla loro adozione per il ML aziendale. Mostreremo poi come Databricks AI Runtime supporti la sperimentazione e il fine-tuning dei TFM con infrastruttura GPU gestita, strumenti di sviluppo integrati e governance dei modelli.
I TFM eliminano in gran parte la necessità di addestramento e i costi generali per il mantenimento di modelli personalizzati. Vengono preaddestrati su milioni di dataset sintetici diversi in modo da poter inferire relazioni tra variabili in un dataset mai visto prima. Al momento della previsione, le righe etichettate vengono passate come contesto insieme alle righe da prevedere. L'attenzione, il nucleo dell'architettura transformer, mette quindi in relazione ciascuna nuova riga con quegli esempi. Le previsioni vengono prodotte da un singolo passaggio in avanti, un processo chiamato in-context learning (ICL).
Sebbene questo approccio zero-shot fornisca una potente base di partenza pronta all'uso, i TFM possono anche essere sottoposti a fine-tuning. Aggiornando i pesi preaddestrati del modello su un dataset specifico, i team di ML possono spingere l'accuratezza predittiva ancora più in alto per i loro casi d'uso più critici.
La principale complessità per i transformer nei TFM è la gestione di vari tipi di input. A differenza delle parole in un testo o dei pixel in un'immagine, una tabella mescola feature numeriche, categoriali e booleane, ognuna con la propria scala e il proprio significato. Integrare in modo efficiente questi input in uno spazio latente comune è stata una sfida importante. La community ha risolto questo problema sviluppando tokenizer specializzati che mappano sia le feature categoriali che quelle numeriche in un'unica rappresentazione condivisa.
Una volta ottenuta una tokenizzazione efficiente per ogni cella, il problema era come apprendere in modo efficace la relazione tra righe e colonne. TabPFNv2 è stato il primo a farlo funzionare su scala di modello fondamentale. Come mostrato nella Figura 1, comportava l'applicazione di meccanismi di attenzione in sequenza all'interno delle righe e poi all'interno delle colonne, catturando le interazioni complesse tra le feature e le relazioni sottostanti tra i diversi campioni di dati.
Nonostante il suo successo, questo approccio affronta severi limiti di scalabilità. Eseguendo un'attenzione densa tra righe e poi colonne, il costo computazionale cresce rapidamente, rendendolo proibitivamente costoso all'aumentare del numero di campioni e feature. Come soluzione, TabICLv1 utilizza un approccio di compressione delle righe, in cui codificatori specializzati rappresentano ciascuna riga con soli quattro token, rendendo l'attenzione tra i campioni molto più economica pur mantenendo prestazioni predittive competitive. Questa architettura è mostrata nella Figura 2, ma da allora è stata adottata ed estesa da modelli come TabPFNv3, TabFM e KumoTabular, che oggi sono tra i modelli più quotati in benchmark come TabArena.
Oltre all'architettura, un'altra caratteristica distintiva dei TFM è il modo in cui vengono costruiti: i creatori dei modelli utilizzano principalmente dati sintetici durante la fase di preaddestramento. Il fattore determinante per il successo immediato di un TFM è se questi ricercatori sono in grado di generare dati sintetici che rappresentano accuratamente le distribuzioni e le relazioni dei dataset del mondo reale. Per costruire un modello fondamentale robusto, i creatori devono simulare dati diversi su larga scala che catturino i problemi comuni di qualità aziendale come dati mancanti, valori anomali e feature non osservate. Mentre i Structural Causal Models forniscono un framework standardizzato per il campionamento di questi dataset di preaddestramento, la configurazione esatta della pipeline dipende fortemente dallo specifico TFM.
Man mano che il panorama dei TFM si evolve rapidamente con frequenti nuove release, la valutazione delle opzioni per la distribuzione aziendale richiede un'attenta analisi. La tabella seguente evidenzia i principali modelli attraverso la lente di due fattori di distribuzione pratici: scala e licenza.
Modello | Data di rilascio | Parametri | Licenza dei pesi |
TabICLv2 | 02/2026 | ~28M | BSD 3-Clause: Commercialmente permissiva |
TabFM | 06/2026 | ~400M | TabFM Non-Commercial License v1.0* Non commercialmente permissiva |
TabPFNv3.5 | 09/2026 | ~220M | TABPFN-3.5 License v1.0* Non commercialmente permissiva |
09/2026 | ~77M | Apache-2.0: Commercialmente permissiva | |
KumoTabular | 09/2026 | ~215M | OpenMDW-1.1: Commercialmente permissiva |
*Commercialmente permissiva previa accordo con i creatori del modello.
Per un elenco esaustivo dello stato dell'arte attuale, dai un'occhiata a benchmark come TabArena o TALENT. Visti i compromessi unici di ogni TFM, ti consigliamo di valutare questi modelli direttamente sui dati della tua organizzazione, poiché i carichi di lavoro aziendali proprietari spesso differiscono drasticamente dai dati sintetici o dai benchmark standard.
Oltre a misurare semplicemente l'accuratezza predittiva, i team devono anche valutare il costo operativo. Sebbene i TFM facciano risparmiare una quantità massiccia di tempo di ingegneria eliminando pipeline di addestramento su misura, eseguire un foundation model su GPU comporta intrinsecamente un costo maggiore per previsione rispetto all'esecuzione di un modello XGBoost tradizionale su CPU. Per qualsiasi caso d'uso, valutare un TFM significa bilanciare l'accelerazione del time-to-market e il miglioramento delle prestazioni con il costo continuativo dell'inferenza su GPU.
L'inferenza con i TFM è ottimizzata sulle GPU. I modelli in sé sono abbastanza piccoli da entrare in una singola GPU, ma con l'in-context learning, l'intero set di addestramento viene passato al modello a ogni previsione. Di conseguenza, l'utilizzo della memoria della GPU cresce con il numero di righe e feature, e può esaurirsi rapidamente con le dimensioni dei dataset tipiche del machine learning aziendale. La necessità di una GPU performante porta a tre problemi:
Databricks unifica dati e IA in un'unica piattaforma aperta. AI Runtime, un'infrastruttura GPU serverless completamente gestita, offre questa esperienza unificata per i carichi di lavoro GPU aziendali. La sperimentazione e la messa in produzione non sono mai state così semplici con AI Runtime, che include funzionalità come:
Con Databricks AI Runtime, puoi eseguire i tuoi carichi di lavoro TFM esattamente dove risiedono i tuoi dati, utilizzando Unity Catalog per governare e gestire il ciclo di vita dei tuoi flussi di lavoro GPU senza creare alcun silos.
Clona questo repository per scoprire come eseguire l'inferenza zero-shot con vari TFM utilizzando Databricks AI Runtime, insieme a esempi completi di fine-tuning per la classificazione e la regressione con KumoTabular. Questi esempi mostrano come AI Runtime ti aiuti a gestire facilmente il ciclo di vita e l'integrazione di flussi di lavoro avanzati di fine-tuning dei TFM.
Il Video 2 mostra il notebook di fine-tuning con un H100, evidenziando come l'osservabilità dell'utilizzo della GPU sia integrata direttamente nel notebook e nell'esperimento MLflow utilizzato per il tracciamento delle metriche. Inoltre, il flusso di lavoro copre la governance centralizzata e la registrazione tramite Unity Catalog, facilitando un solido controllo di versione e una gestione strutturata del ciclo di vita del modello.
I tabular foundation models promettono di ridurre il time to market delle iniziative di machine learning da mesi a giorni e, con Databricks AI Runtime, i carichi di lavoro GPU non sono più un ostacolo. I tuoi esperimenti possono facilmente trasformarsi in soluzioni governate e pronte per la produzione, sia come pipeline batch ad alto throughput che come endpoint di inferenza in tempo reale, sulla stessa piattaforma in cui risiedono i tuoi dati, colmando il divario tra la ricerca esplorativa e l'adozione aziendale.
Il panorama del machine learning ha raggiunto un punto di svolta e le barriere per la distribuzione di modelli ad alto impatto non sono mai state così basse. Le aziende possono trarre immediatamente vantaggio da questo cambiamento esplorando i TFM per i propri carichi di lavoro. Non crederci sulla parola; valuta i TFM per i tuoi dati per sbloccare oggi stesso prestazioni, operazioni semplificate e previsioni accurate e azionabili.
Cosa sono i Tabular Foundation Models (TFM)?
I TFM sono transformer model preaddestrati progettati specificamente per dati tabulari. Poiché sono preaddestrati su milioni di dataset sintetici diversi, possono inferire relazioni in nuovi dati senza la necessità di essere addestrati da zero, riducendo drasticamente il tempo necessario per distribuire i modelli di machine learning.
In che modo i TFM gestiscono diversi tipi di dati in una tabella?
I TFM utilizzano tokenizer specializzati per mappare tipi di dati misti, come feature numeriche, categoriche e booleane, in un unico spazio vettoriale latente condiviso. Ciò consente al meccanismo di attenzione del transformer di elaborare simultaneamente le complesse interazioni tra diversi tipi di feature.
Perché le GPU sono consigliate per i Tabular Foundation Model?
I TFM sono costruiti sull'architettura transformer, che si basa su moltiplicazioni di matrici dense che vengono eseguite in modo molto più efficiente sulle GPU rispetto alle CPU. Sebbene sia tecnicamente possibile eseguire un TFM su una CPU, risulta incredibilmente lento per i dati su scala aziendale; inoltre, i massicci calcoli intermedi (attivazioni) generati durante l'incontext learning richiedono la potenza di elaborazione parallela e la larghezza di banda della memoria di una GPU per essere eseguiti in un tempo ragionevole.
Posso effettuare il fine-tuning di un Tabular Foundation Model?
Sì. Sebbene i TFM offrano una forte accuratezza predittiva pronta all'uso tramite inferenza zero-shot, puoi eseguire il fine-tuning dei loro pesi preaddestrati sul tuo specifico dataset proprietario per spingere le prestazioni ancora più in alto per casi d'uso critici.
In che modo Databricks AI Runtime aiuta con i TFM?
Databricks AI Runtime fornisce un'infrastruttura GPU serverless completamente gestita direttamente dove risiedono i tuoi dati. Elimina la necessità di spostare i dati in strumenti GPU esterni, consentendoti di eseguire l'inferenza, il fine-tuning dei modelli e la gestione della governance tramite Unity Catalog senza creare silos di dati.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.