Exécutez et affinez des modèles de fondation tabulaires à l'aide de GPU à la demande entièrement gérés et intégrés à vos données Databricks et workflows de ML.
par Marc Susagna Holgado, Javier Poveda Panter, Puneet Jain et Ryuta Yoshimatsu
Bon nombre des applications de machine learning prédictives les plus précieuses reposent sur des données tabulaires. Qu'il s'agisse du risque de crédit, de la perte de clients, de la prévision de la demande ou de la maintenance prédictive, ces cas d'usage ont traditionnellement nécessité le développement, l'entraînement et la maintenance de modèles par les équipes pour chaque tâche de prédiction. Les modèles de fondation tabulaires (TFMs) offrent une autre approche : des modèles préentraînés capables de faire des prédictions sur de nouveaux jeux de données sans entraînement spécifique à la tâche.
Mettre en production des systèmes de ML à grande échelle reste un défi pour de nombreuses entreprises pour les raisons suivantes :
Récemment, les solutions d'agents ont contribué à accélérer ces opérations coûteuses, mais elles reposent toujours sur un modèle entraîné sur mesure pour chaque tâche ou jeu de données de ML. Pour supprimer cette dépendance, des laboratoires de recherche pionniers ont appliqué l'architecture des transformers aux données tabulaires à grande échelle, créant une nouvelle catégorie de modèles appelés Tabular Foundation Models (TFMs). Comme les TFMs sont préentraînés, ils ne nécessitent aucun entraînement sur votre jeu de données, ce qui signifie que les pipelines d'entraînement sur mesure et de réentraînement disparaissent en grande partie.
Malgré la précision impressionnante que ces modèles démontrent sur les benchmarks publics, ils n'ont pas encore percé dans le grand public de l'IA d'entreprise. Cela est dû en partie à la nature naissante du domaine, car peu de praticiens les connaissent encore, mais aussi aux exigences en matière d'infrastructure de calcul.
Dans cet article, nous allons examiner le fonctionnement des TFMs, comparer les modèles récents et expliquer les compromis impliqués dans leur adoption pour le ML d'entreprise. Nous démontrerons ensuite comment Databricks AI Runtime prend en charge l'expérimentation et le fine-tuning des TFMs avec une infrastructure GPU gérée, des outils de développement intégrés et la gouvernance des modèles.
Les TFMs éliminent en grande partie le besoin d'entraînement et la charge de maintenance des modèles sur mesure. Ils sont préentraînés sur des millions de jeux de données synthétiques diversifiés afin de pouvoir inférer des relations entre les variables dans un jeu de données invisible. Au moment de la prédiction, les lignes étiquetées sont transmises comme contexte aux côtés des lignes à prédire. L'attention, le cœur de l'architecture des transformers, met ensuite en relation chaque nouvelle ligne avec ces exemples. Les prédictions sont produites par un seul passage avant, un processus appelé apprentissage en contexte (ICL).
Bien que cette approche zero-shot offre une base puissante dès la sortie de la boîte, les TFMs peuvent également être ajustés (fine-tuning). En mettant à jour les poids préentraînés du modèle sur un jeu de données spécifique, les équipes de ML peuvent pousser la précision prédictive encore plus loin pour leurs cas d'usage les plus critiques.
La principale complexité pour les transformers dans les TFMs est la gestion de divers types d'entrées. Contrairement aux mots dans le texte ou aux pixels dans une image, un tableau mélange des caractéristiques numériques, catégorielles et booléennes, chacune ayant sa propre échelle et sa propre signification. Intégrer efficacement ces entrées dans un espace latent commun a été un défi majeur. La communauté a résolu ce problème en développant des tokenizeurs spécialisés qui mappent les caractéristiques catégorielles et numériques dans une représentation unique et partagée.
Une fois qu'une tokenisation efficace pour chaque cellule a été obtenue, le problème était de savoir comment apprendre efficacement la relation entre les lignes et les colonnes. TabPFNv2 a été le premier à faire fonctionner cela à l'échelle d'un modèle de fondation. Comme le montre la figure 1, cela impliquait d'appliquer des mécanismes d'attention séquentiellement dans les lignes, puis dans les colonnes, capturant les interactions complexes entre les caractéristiques et les relations sous-jacentes à travers différents échantillons de données.
Malgré son succès, cette approche fait face à de graves limites d'évolutivité. En effectuant une attention dense à travers les lignes puis les colonnes, le coût de calcul augmente rapidement, ce qui le rend excessivement coûteux à mesure que le nombre d'échantillons et de caractéristiques augmente. Comme solution, TabICLv1 utilise une approche de compression de lignes, dans laquelle des encodeurs spécialisés représentent chaque ligne avec seulement quatre tokens, rendant l'attention entre les échantillons beaucoup moins coûteuse tout en maintenant des performances prédictives compétitives. Cette architecture est illustrée dans la figure 2, mais elle a depuis été adoptée et étendue par des modèles tels que TabPFNv3, TabFM et KumoTabular, qui font partie des modèles les mieux classés dans des benchmarks tels que TabArena aujourd'hui.
Outre l'architecture, une autre caractéristique distinctive des TFMs est la façon dont ils sont construits : les créateurs de modèles utilisent principalement des données synthétiques pendant la phase de préentraînement. Le facteur déterminant du succès immédiat d'un TFM est de savoir si ces chercheurs peuvent générer des données synthétiques qui représentent avec précision les distributions et les relations des jeux de données du monde réel. Pour construire un modèle de fondation robuste, les créateurs doivent simuler des données diverses à grande échelle qui capturent les problèmes de qualité d'entreprise courants tels que les valeurs manquantes, les valeurs aberrantes et les caractéristiques non observées. Bien que les modèles causaux structurels fournissent un cadre standardisé pour l'échantillonnage de ces jeux de données de préentraînement, la configuration exacte du pipeline dépend fortement du TFM spécifique.
Alors que le paysage des TFMs évolue rapidement avec de fréquentes nouvelles versions, l'évaluation des options pour le déploiement en entreprise nécessite un examen minutieux. Le tableau suivant met en évidence les principaux modèles à travers le prisme de deux facteurs de déploiement pratiques : l'échelle et la licence.
Modèle | Date de sortie | Paramètres | Licence des poids |
TabICLv2 | 02/2026 | ~28M | BSD 3-Clause : Permissive pour un usage commercial |
TabFM | 06/2026 | ~400M | Licence non commerciale TabFM v1.0* Non permissive pour un usage commercial |
TabPFNv3.5 | 09/2026 | ~220M | Licence TABPFN-3.5 v1.0* Non permissive pour un usage commercial |
09/2026 | ~77M | Apache-2.0 : Permissive pour un usage commercial | |
KumoTabular | 09/2026 | ~215M | OpenMDW-1.1 : Permissive pour un usage commercial |
*Permissive pour un usage commercial sur accord avec les créateurs du modèle.
Pour une liste exhaustive de l'état de l'art actuel, consultez des benchmarks comme TabArena ou TALENT. Compte tenu des compromis uniques de chaque TFM, nous vous recommandons d'évaluer ces modèles directement par rapport aux données de votre entreprise, car les charges de travail d'entreprise propriétaires diffèrent souvent considérablement des données synthétiques ou des benchmarks standard.
Au-delà de la simple mesure de la précision prédictive, les équipes doivent également évaluer le coût opérationnel. Bien que les TFM permettent d'économiser un temps d'ingénierie considérable en éliminant les pipelines d'entraînement personnalisés, l'exécution d'un modèle de fondation sur des GPU coûte intrinsèquement plus cher par prédiction que l'exécution d'un modèle XGBoost traditionnel sur un CPU. Pour tout cas d'usage donné, évaluer un TFM consiste à mettre en balance cette accélération de la mise sur le marché et ce gain de performance avec le coût continu de l'inférence sur GPU.
L'inférence avec les TFM est optimisée sur les GPU. Les modèles eux-mêmes sont assez petits pour tenir sur un seul GPU, mais avec l'apprentissage en contexte, l'ensemble du jeu de données d'entraînement est transmis au modèle à chaque prédiction. Par conséquent, l'utilisation de la mémoire GPU augmente avec le nombre de lignes et de caractéristiques, et peut rapidement être saturée avec les tailles de jeux de données typiques du machine learning d'entreprise. Le besoin d'un GPU performant entraîne trois problèmes :
Databricks unifie les données et l'IA au sein d'une seule et même plateforme ouverte. AI Runtime, une infrastructure GPU serverless entièrement gérée, offre cette expérience unifiée pour les charges de travail GPU d'entreprise. L'expérimentation et le passage en production n'ont jamais été aussi simples avec AI Runtime, qui inclut des fonctionnalités telles que :
Avec Databricks AI Runtime, vous pouvez exécuter vos charges de travail TFM là où vos données résident, en utilisant Unity Catalog pour gouverner et gérer le cycle de vie de vos workflows GPU sans créer de silos.
Clonez ce référentiel pour voir comment exécuter une inférence zero-shot avec différents TFM à l'aide de Databricks AI Runtime, ainsi que des exemples complets d'affinage (fine-tuning) pour la classification et la régression avec KumoTabular. Ces exemples montrent comment AI Runtime vous aide à gérer facilement le cycle de vie et l'intégration de workflows d'affinage TFM avancés.
La Vidéo 2 présente le notebook d'affinage avec un H100, montrant comment l'observabilité de l'utilisation des GPU est intégrée directement dans le notebook ainsi que dans l'expérience MLflow utilisée pour le suivi des métriques. De plus, le workflow couvre la gouvernance centralisée et l'enregistrement via Unity Catalog, facilitant un contrôle de version robuste et une gestion structurée du cycle de vie des modèles.
Les modèles de fondation tabulaires promettent de réduire le délai de mise sur le marché des initiatives de machine learning de quelques mois à quelques jours, et avec Databricks AI Runtime, les charges de travail GPU ne sont plus un obstacle. Vos expériences peuvent facilement se transformer en solutions gouvernées et prêtes pour la production, qu'il s'agisse de pipelines batch à haut débit ou de points de terminaison d'inférence en temps réel, sur la même plateforme où résident vos données, comblant ainsi le fossé entre la recherche exploratoire et l'adoption par l'entreprise.
Le paysage du machine learning a atteint un point de bascule, et les obstacles au déploiement de modèles à fort impact n'ont jamais été aussi faibles. Les entreprises peuvent immédiatement capitaliser sur ce changement en explorant les TFM pour leurs charges de travail. Ne nous croyez pas sur parole ; évaluez les TFM pour vos données afin de libérer de la performance, des opérations rationalisées et des prédictions précises et exploitables dès aujourd'hui.
Que sont les modèles de fondation tabulaires (TFM) ?
Les TFM sont des modèles de transformateurs pré-entraînés conçus spécifiquement pour les données tabulaires. Parce qu'ils sont pré-entraînés sur des millions de jeux de données synthétiques divers, ils peuvent déduire des relations dans de nouvelles données sans avoir besoin d'être entraînés à partir de zéro, réduisant considérablement le temps nécessaire pour déployer des modèles de machine learning.
Comment les TFM gèrent-ils les différents types de données dans un tableau ?
Les TFM utilisent des tokeniseurs spécialisés pour mapper des types de données mixtes — tels que des caractéristiques numériques, catégorielles et booléennes — dans un espace vectoriel latent unique et partagé. Cela permet au mécanisme d'attention du transformateur de traiter simultanément les interactions complexes entre les différents types de caractéristiques.
Pourquoi les GPU sont-ils recommandés pour les modèles de fondation tabulaires ?
Les TFM reposent sur l'architecture des transformateurs, qui s'appuie sur des multiplications de matrices denses s'exécutant beaucoup plus efficacement sur des GPU que sur des CPU. Bien que vous puissiez techniquement exécuter un TFM sur un CPU, cela est d'une lenteur impraticable pour les données à l'échelle de l'entreprise ; de plus, les calculs intermédiaires massifs (activations) générés lors de l'apprentissage en contexte nécessitent la puissance de traitement parallèle et la bande passante mémoire d'un GPU pour s'exécuter dans un délai raisonnable.
Puis-je affiner (fine-tuner) un modèle de fondation tabulaire ?
Oui. Bien que les TFM offrent une forte précision prédictive dès le départ en utilisant l'inférence zero-shot, vous pouvez affiner leurs poids pré-entraînés sur votre propre jeu de données propriétaire pour pousser les performances encore plus loin pour les cas d'usage critiques.
Comment Databricks AI Runtime aide-t-il avec les TFM ?
Databricks AI Runtime fournit une infrastructure GPU serverless entièrement gérée directement là où vos données résident. Il élimine le besoin de déplacer les données vers des outils GPU externes, vous permettant d'exécuter des inférences, d'affiner des modèles et de gérer la gouvernance via Unity Catalog sans créer de silos de données.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.