Führe tabellarische Foundation Models aus und passe sie an – mit vollständig verwalteten On-Demand-GPUs, die nahtlos in deine Databricks-Daten und ML-Workflows integriert sind.
von Marc Susagna Holgado, Javier Poveda Panter, Puneet Jain und Ryuta Yoshimatsu
Viele der wertvollsten prädiktiven Machine-Learning-Anwendungen basieren auf tabellarischen Daten. Von Kreditrisiken und Kundenabwanderung bis hin zu Nachfrageprognosen und vorausschauender Wartung erforderten diese Anwendungsfälle traditionell, dass Teams für jede Vorhersageaufgabe Modelle entwickeln, trainieren und pflegen. Tabellarische Foundation Models (TFMs) bieten einen anderen Ansatz: vortrainierte Modelle, die Vorhersagen für neue Datensätze ohne aufgabenspezifisches Training treffen können.
Die Operationalisierung von ML-Systemen im großen Stil bleibt für viele Unternehmen aus folgenden Gründen eine Herausforderung:
In letzter Zeit haben agentenbasierte Lösungen dazu beigetragen, diese kostenintensiven Abläufe zu beschleunigen, aber sie basieren weiterhin auf einem maßgeschneiderten Modell für jede ML-Aufgabe oder jeden Datensatz. Um diese Abhängigkeit zu beseitigen, haben wegweisende Forschungslabore die Transformer-Architektur im großen Stil auf tabellarische Daten angewendet und eine neue Kategorie von Modellen namens Tabular Foundation Models (TFMs) geschaffen. Da TFMs vortrainiert sind, erfordern sie kein Training mit Ihrem Datensatz, wodurch maßgeschneiderte Trainings- und Retraining-Pipelines weitgehend entfallen.
Trotz der beeindruckenden Genauigkeit, die diese Modelle bei öffentlichen Benchmarks zeigen, haben sie noch nicht den Sprung in den Mainstream der Unternehmens-KI geschafft. Dies liegt zum Teil an der Neuartigkeit des Fachgebiets, da viele Praktiker sie noch nicht kennen, aber auch an den Anforderungen an die Compute-Infrastruktur.
In diesem Artikel untersuchen wir, wie TFMs funktionieren, vergleichen aktuelle Modelle und erläutern die Kompromisse, die mit ihrer Einführung für ML im Unternehmen verbunden sind. Anschließend zeigen wir, wie Databricks AI Runtime TFM-Experimente und das Fine-Tuning mit verwalteter GPU-Infrastruktur, integrierten Entwicklungstools und Modell-Governance unterstützt.
TFMs machen das Training und den Aufwand für die Pflege maßgeschneiderter Modelle weitgehend überflüssig. Sie werden anhand von Millionen verschiedener synthetischer Datensätze vortrainiert, sodass sie Beziehungen zwischen Variablen in einem ungesehenen Datensatz ableiten können. Zum Zeitpunkt der Vorhersage werden die beschrifteten Zeilen zusammen mit den vorherzusagenden Zeilen als Kontext übergeben. Die Attention, das Herzstück der Transformer-Architektur, setzt dann jede neue Zeile in Beziehung zu diesen Beispielen. Vorhersagen werden durch einen einzigen Forward-Pass generiert, ein Prozess, der als In-Context Learning (ICL) bezeichnet wird.
Während dieser Zero-Shot-Ansatz von Haus aus eine starke Baseline bietet, können TFMs auch feinabgestimmt werden. Durch die Aktualisierung der vortrainierten Gewichte des Modells anhand eines spezifischen Datensatzes können ML-Teams die Vorhersagegenauigkeit für ihre kritischsten Anwendungsfälle noch weiter steigern.
Die größte Komplexität für Transformer in TFMs liegt in der Handhabung verschiedener Eingabetypen. Im Gegensatz zu Wörtern in Texten oder Pixeln in Bildern mischt eine Tabelle numerische, kategoriale und boolesche Features, von denen jedes seine eigene Skala und Bedeutung hat. Diese Eingaben effizient in einen gemeinsamen latenten Raum einzubetten, war eine große Herausforderung. Die Community hat dies durch die Entwicklung spezieller Tokenizer gelöst, die sowohl kategoriale als auch numerische Features in eine einzige, gemeinsame Darstellung abbilden.
Sobald eine effiziente Tokenisierung für jede Zelle erreicht war, bestand das Problem darin, die Beziehung zwischen Zeilen und Spalten effektiv zu lernen. TabPFNv2 war das erste Modell, das dies im Foundation-Model-Maßstab funktionierte. Wie in Abbildung 1 gezeigt, beinhaltete dies die sequentielle Anwendung von Attention-Mechanismen innerhalb von Zeilen und dann innerhalb von Spalten, wodurch die komplexen Wechselwirkungen zwischen Features und die zugrundeliegenden Beziehungen über verschiedene Datendateien hinweg erfasst wurden.
Trotz seines Erfolgs stößt dieser Ansatz an strenge Skalierbarkeitsgrenzen. Durch die Durchführung einer dichten Attention über Zeilen und dann Spalten hinweg wächst der Rechenaufwand rasant, was ihn mit zunehmender Anzahl von Stichproben und Features unerschwinglich teuer macht. Als Lösung TabICLv1 verwendet einen Zeilenkomprimierungsansatz, bei dem spezialisierte Encoder jede Zeile mit nur vier Token darstellen, wodurch die Attention über Stichproben hinweg viel günstiger wird, während gleichzeitig eine konkurrenzfähige Vorhersageleistung erhalten bleibt. Diese Architektur ist in Abbildung 2 dargestellt, wurde seitdem jedoch von Modellen wie TabPFNv3, TabFM und KumoTabular übernommen und erweitert, die heute zu den am besten bewerteten Modellen in Benchmarks wie TabArena gehören.
Abgesehen von der Architektur ist ein weiteres prägnantes Merkmal von TFMs die Art und Weise, wie sie aufgebaut sind: Modellentwickler verwenden in der Vortrainierungsphase hauptsächlich synthetische Daten. Der entscheidende Faktor für den Out-of-the-box-Erfolg eines TFM ist, ob diese Forscher synthetische Daten generieren können, die die Verteilungen und Beziehungen realer Datensätze genau abbilden. Um ein robustes Foundation Model aufzubauen, müssen Entwickler groß angelegte, diverse Daten simulieren, die typische Qualitätsprobleme von Unternehmensdaten wie fehlende Werte, Ausreißer und unbeobachtete Features erfassen. Während Strukturelle Kausalmodelle einen standardisierten Rahmen für die Stichprobenziehung dieser Vortrainierungsdatensätze bieten, hängt die genaue Pipeline-Konfiguration stark vom jeweiligen TFM ab.
Da sich die TFM-Landschaft mit häufigen Neuerscheinungen rasant weiterentwickelt, erfordert die Evaluierung von Optionen für die Bereitstellung im Unternehmen eine sorgfältige Prüfung. Die folgende Tabelle hebt führende Modelle im Hinblick auf zwei praktische Bereitstellungsfaktoren hervor: Skalierung und Lizenzierung.
Modell | Veröffentlichungsdatum | Parameter | Gewichtslizenz |
TabICLv2 | 02/2026 | ~28M | BSD 3-Clause: Kommerziell permissiv |
TabFM | 06/2026 | ~400M | TabFM Non-Commercial License v1.0* Nicht kommerziell permissiv |
TabPFNv3.5 | 09/2026 | ~220M | TABPFN-3.5 License v1.0* Nicht kommerziell permissiv |
09/2026 | ~77M | Apache-2.0: Kommerziell permissiv | |
KumoTabular | 09/2026 | ~215M | OpenMDW-1.1: Kommerziell permissiv |
*Kommerziell permissiv nach Absprache mit den Modellentwicklern.
Eine umfassende Liste des aktuellen Stands der Technik finden Sie in Benchmarks wie TabArena oder TALENT. Angesichts der spezifischen Vor- und Nachteile jedes TFM empfehlen wir, diese Modelle direkt mit den Daten Ihres Unternehmens zu evaluieren, da unternehmensspezifische Workloads häufig stark von synthetischen Daten oder Standard-Benchmarks abweichen.
Teams müssen neben der Vorhersagegenauigkeit auch die Betriebskosten bewerten. Während TFMs durch den Wegfall maßgeschneiderter Trainings-Pipelines enorm viel Entwicklungszeit einsparen, verursacht die Ausführung eines Foundation Models auf GPUs pro Vorhersage naturgemäß höhere Kosten als die Ausführung eines herkömmlichen XGBoost-Modells auf einer CPU. Bei jedem Anwendungsfall bedeutet die Evaluierung eines TFM, dass dieser beschleunigte Time-to-Market und Leistungszuwachs gegen die laufenden Kosten der GPU-Inferenz abgewogen werden müssen.
Die Inferenz mit TFMs ist für GPUs optimiert. Die Modelle selbst sind klein genug, um auf eine einzelne GPU zu passen, aber beim In-Context Learning wird der gesamte Trainingsdatensatz bei jeder Vorhersage an das Modell übergeben. Infolgedessen wächst der GPU-Speicherbedarf mit der Anzahl der Zeilen und Features und kann bei den für Enterprise-ML typischen Datensatzgrößen schnell erschöpft sein. Der Bedarf an einer leistungsstarken GPU führt zu drei Problemen:
Databricks vereint Daten und KI in einer einzigen offenen Plattform. AI Runtime, eine vollständig verwaltete serverlose GPU-Infrastruktur, bietet dieses einheitliche Erlebnis für Enterprise-GPU-Workloads. Experimente und die Überführung in die Produktion waren mit AI Runtime noch nie so einfach. Es bietet Funktionen wie:
Mit Databricks AI Runtime können Sie Ihre TFM-Workloads genau dort ausführen, wo sich Ihre Daten befinden, und Unity Catalog nutzen, um den Lifecycle Ihrer GPU-Workflows zu steuern und zu verwalten, ohne Datensilos zu erzeugen.
Klonen Sie dieses Repository, um zu sehen, wie Sie Zero-Shot-Inferenzen mit verschiedenen TFMs mithilfe von Databricks AI Runtime ausführen, zusammen mit vollständigen Beispielen für das Fine-Tuning zur Klassifizierung und Regression mit KumoTabular. Diese Beispiele zeigen, wie AI Runtime Ihnen hilft, den Lifecycle und die Integration von fortgeschrittenen TFM-Fine-Tuning-Workflows einfach zu verwalten.
Video 2 führt durch das Fine-Tuning-Notebook mit einer H100 und zeigt, wie die Observability der GPU-Nutzung direkt in das Notebook sowie in das für die Metrikverfolgung verwendete MLflow-Experiment eingebettet ist. Darüber hinaus umfasst der Workflow eine zentralisierte Governance und Registrierung über Unity Catalog, was eine robuste Versionskontrolle und ein strukturiertes Modell-Lifecycle-Management ermöglicht.
Tabellarische Foundation Models versprechen, die Time-to-Market von ML-Initiativen von Monaten auf Tage zu verkürzen, und mit Databricks AI Runtime sind GPU-Workloads kein Hindernis mehr. Ihre Experimente lassen sich mühelos in geschützte, produktionsreife Lösungen überführen – sei es als Batch-Pipelines mit hohem Durchsatz oder als Echtzeit-Inferenz-Endpunkte auf derselben Plattform, auf der Ihre Daten liegen, wodurch die Lücke zwischen explorativer Forschung und unternehmensweiter Einführung geschlossen wird.
Die Landschaft des maschinellen Lernens hat einen Wendepunkt erreicht, und die Hürden für die Bereitstellung wirkungsvoller Modelle waren noch nie so niedrig. Unternehmen können diesen Wandel sofort nutzen, indem sie TFMs für ihre Workloads evaluieren. Verlassen Sie sich nicht nur auf unser Wort; evaluieren Sie TFMs für Ihre Daten, um heute Leistung, optimierte Abläufe und präzise, umsetzbare Vorhersagen freizusetzen.
Was sind Tabular Foundation Models (TFMs)?
TFMs sind vortrainierte Transformer-Modelle, die speziell für tabellarische Daten entwickelt wurden. Da sie mit Millionen verschiedener synthetischer Datensätze vortrainiert wurden, können sie Beziehungen in neuen Daten ableiten, ohne von Grund auf neu trainiert werden zu müssen, wodurch der Zeitaufwand für die Bereitstellung von Modellen für maschinelles Lernen drastisch reduziert wird.
Wie gehen TFMs mit verschiedenen Datentypen in einer Tabelle um?
TFMs verwenden spezielle Tokenizer, um gemischte Datentypen – wie numerische, kategorische und boolesche Features – in einen einzigen, gemeinsamen latenten Vektorraum abzubilden. Dadurch kann der Aufmerksamkeitsmechanismus des Transformers die komplexen Wechselwirkungen zwischen verschiedenen Feature-Typen gleichzeitig verarbeiten.
Warum werden GPUs für Tabular Foundation Models empfohlen?
TFMs basieren auf der Transformer-Architektur, die auf dichten Matrixmultiplikationen beruht, welche auf GPUs weitaus effizienter laufen als auf CPUs. Auch wenn Sie ein TFM technisch gesehen auf einer CPU ausführen können, ist dies für Daten im Unternehmensmaßstab unpraktisch langsam; darüber hinaus erfordern die massiven Zwischenberechnungen (Aktivierungen), die beim In-Context Learning generiert werden, die parallele Rechenleistung und Speicherbandbreite einer GPU, um in angemessener Zeit ausgeführt zu werden.
Kann ich ein Tabular Foundation Model fine-tunen?
Ja. Während TFMs bereits direkt nach dem Start durch Zero-Shot-Inferenz eine hohe Vorhersagegenauigkeit bieten, können Sie deren vortrainierte Gewichte anhand Ihres spezifischen proprietären Datensatzes fine-tunen, um die Leistung für kritische Anwendungsfälle noch weiter zu steigern.
Wie hilft Databricks AI Runtime bei TFMs?
Databricks AI Runtime bietet eine vollständig verwaltete, serverlose GPU-Infrastruktur direkt dort, wo sich Ihre Daten befinden. Es macht das Verschieben von Daten in externe GPU-Tools überflüssig, sodass Sie Inferenzen ausführen, Modelle fine-tunen und die Governance über den Unity Catalog verwalten können, ohne Datensilos zu erzeugen.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.