Direkt zum Hauptinhalt
Engineering

Tabellarische Foundation-Modelle auf Databricks AI Runtime

Führe tabellarische Foundation Models aus und passe sie an – mit vollständig verwalteten On-Demand-GPUs, die nahtlos in deine Databricks-Daten und ML-Workflows integriert sind.

von Marc Susagna Holgado, Javier Poveda Panter, Puneet Jain und Ryuta Yoshimatsu

  • Tabellarische Foundation Models können Vorhersagen auf neuen Datasets treffen, ohne dass ein aufgaben spezifisches Modell trainiert werden muss. Das beschleunigt predictive ML-Experimente.
  • Vergleiche tabellarische Foundation Models mit bestehenden Baselines hinsichtlich Genauigkeit, Inferenzlatenz, GPU-Speichernutzung und Kosten, bevor du ein Modell auswählst.
  • Databricks AI Runtime bietet verwaltete GPUs, MLflow-Tracking und Unity Catalog-Integration, um mit TFMs zu experimentieren und diese anzupassen.

Viele der wertvollsten prädiktiven Machine-Learning-Anwendungen basieren auf tabellarischen Daten. Von Kreditrisiken und Kundenabwanderung bis hin zu Nachfrageprognosen und vorausschauender Wartung erforderten diese Anwendungsfälle traditionell, dass Teams für jede Vorhersageaufgabe Modelle entwickeln, trainieren und pflegen. Tabellarische Foundation Models (TFMs) bieten einen anderen Ansatz: vortrainierte Modelle, die Vorhersagen für neue Datensätze ohne aufgabenspezifisches Training treffen können.

Die Operationalisierung von ML-Systemen im großen Stil bleibt für viele Unternehmen aus folgenden Gründen eine Herausforderung:

  1. Modellentwicklung: Jeder Anwendungsfall erfordert Datenaufbereitung, Feature Engineering, Modellauswahl, Training und Evaluierung. Die Suche nach einem Modell, das die Anforderungen an Genauigkeit und Leistung erfüllt, kann umfangreiche Experimente erfordern.
  2. Modellwartung: Nach der Bereitstellung müssen Modelle auf Leistungsabfall und Data Drift überwacht werden. Teams müssen möglicherweise auch Retraining-Pipelines pflegen, wenn sich Datensätze und Geschäftsanforderungen ändern.

In letzter Zeit haben agentenbasierte Lösungen dazu beigetragen, diese kostenintensiven Abläufe zu beschleunigen, aber sie basieren weiterhin auf einem maßgeschneiderten Modell für jede ML-Aufgabe oder jeden Datensatz. Um diese Abhängigkeit zu beseitigen, haben wegweisende Forschungslabore die Transformer-Architektur im großen Stil auf tabellarische Daten angewendet und eine neue Kategorie von Modellen namens Tabular Foundation Models (TFMs) geschaffen. Da TFMs vortrainiert sind, erfordern sie kein Training mit Ihrem Datensatz, wodurch maßgeschneiderte Trainings- und Retraining-Pipelines weitgehend entfallen.

Trotz der beeindruckenden Genauigkeit, die diese Modelle bei öffentlichen Benchmarks zeigen, haben sie noch nicht den Sprung in den Mainstream der Unternehmens-KI geschafft. Dies liegt zum Teil an der Neuartigkeit des Fachgebiets, da viele Praktiker sie noch nicht kennen, aber auch an den Anforderungen an die Compute-Infrastruktur. 

In diesem Artikel untersuchen wir, wie TFMs funktionieren, vergleichen aktuelle Modelle und erläutern die Kompromisse, die mit ihrer Einführung für ML im Unternehmen verbunden sind. Anschließend zeigen wir, wie Databricks AI Runtime TFM-Experimente und das Fine-Tuning mit verwalteter GPU-Infrastruktur, integrierten Entwicklungstools und Modell-Governance unterstützt.

So funktionieren tabellarische Foundation Models

TFMs machen das Training und den Aufwand für die Pflege maßgeschneiderter Modelle weitgehend überflüssig. Sie werden anhand von Millionen verschiedener synthetischer Datensätze vortrainiert, sodass sie Beziehungen zwischen Variablen in einem ungesehenen Datensatz ableiten können. Zum Zeitpunkt der Vorhersage werden die beschrifteten Zeilen zusammen mit den vorherzusagenden Zeilen als Kontext übergeben. Die Attention, das Herzstück der Transformer-Architektur, setzt dann jede neue Zeile in Beziehung zu diesen Beispielen. Vorhersagen werden durch einen einzigen Forward-Pass generiert, ein Prozess, der als In-Context Learning (ICL) bezeichnet wird.

Während dieser Zero-Shot-Ansatz von Haus aus eine starke Baseline bietet, können TFMs auch feinabgestimmt werden. Durch die Aktualisierung der vortrainierten Gewichte des Modells anhand eines spezifischen Datensatzes können ML-Teams die Vorhersagegenauigkeit für ihre kritischsten Anwendungsfälle noch weiter steigern.

Wie Transformer tabellarische Daten verarbeiten

Die größte Komplexität für Transformer in TFMs liegt in der Handhabung verschiedener Eingabetypen. Im Gegensatz zu Wörtern in Texten oder Pixeln in Bildern mischt eine Tabelle numerische, kategoriale und boolesche Features, von denen jedes seine eigene Skala und Bedeutung hat. Diese Eingaben effizient in einen gemeinsamen latenten Raum einzubetten, war eine große Herausforderung. Die Community hat dies durch die Entwicklung spezieller Tokenizer gelöst, die sowohl kategoriale als auch numerische Features in eine einzige, gemeinsame Darstellung abbilden.

Sobald eine effiziente Tokenisierung für jede Zelle erreicht war, bestand das Problem darin, die Beziehung zwischen Zeilen und Spalten effektiv zu lernen. TabPFNv2 war das erste Modell, das dies im Foundation-Model-Maßstab funktionierte. Wie in Abbildung 1 gezeigt, beinhaltete dies die sequentielle Anwendung von Attention-Mechanismen innerhalb von Zeilen und dann innerhalb von Spalten, wodurch die komplexen Wechselwirkungen zwischen Features und die zugrundeliegenden Beziehungen über verschiedene Datendateien hinweg erfasst wurden.

Abbildung 1: Transformer-Architektur für TabPFN v2

Trotz seines Erfolgs stößt dieser Ansatz an strenge Skalierbarkeitsgrenzen. Durch die Durchführung einer dichten Attention über Zeilen und dann Spalten hinweg wächst der Rechenaufwand rasant, was ihn mit zunehmender Anzahl von Stichproben und Features unerschwinglich teuer macht. Als Lösung TabICLv1 verwendet einen Zeilenkomprimierungsansatz, bei dem spezialisierte Encoder jede Zeile mit nur vier Token darstellen, wodurch die Attention über Stichproben hinweg viel günstiger wird, während gleichzeitig eine konkurrenzfähige Vorhersageleistung erhalten bleibt. Diese Architektur ist in Abbildung 2 dargestellt, wurde seitdem jedoch von Modellen wie TabPFNv3, TabFM und KumoTabular übernommen und erweitert, die heute zu den am besten bewerteten Modellen in Benchmarks wie TabArena gehören.

Abbildung 2: In TabICLv1 verwendete Transformer-Architektur. Für ICL beachten Teststichproben nur Trainingsstichproben, während Trainingsstichproben sich gegenseitig beachten

Vortraining mit synthetischen Daten

Abgesehen von der Architektur ist ein weiteres prägnantes Merkmal von TFMs die Art und Weise, wie sie aufgebaut sind: Modellentwickler verwenden in der Vortrainierungsphase hauptsächlich synthetische Daten. Der entscheidende Faktor für den Out-of-the-box-Erfolg eines TFM ist, ob diese Forscher synthetische Daten generieren können, die die Verteilungen und Beziehungen realer Datensätze genau abbilden. Um ein robustes Foundation Model aufzubauen, müssen Entwickler groß angelegte, diverse Daten simulieren, die typische Qualitätsprobleme von Unternehmensdaten wie fehlende Werte, Ausreißer und unbeobachtete Features erfassen. Während Strukturelle Kausalmodelle einen standardisierten Rahmen für die Stichprobenziehung dieser Vortrainierungsdatensätze bieten, hängt die genaue Pipeline-Konfiguration stark vom jeweiligen TFM ab.

Aktuelle Modelle im Überblick

Da sich die TFM-Landschaft mit häufigen Neuerscheinungen rasant weiterentwickelt, erfordert die Evaluierung von Optionen für die Bereitstellung im Unternehmen eine sorgfältige Prüfung. Die folgende Tabelle hebt führende Modelle im Hinblick auf zwei praktische Bereitstellungsfaktoren hervor: Skalierung und Lizenzierung. 

Modell

Veröffentlichungsdatum

Parameter

Gewichtslizenz 

TabICLv2

02/2026

~28M

BSD 3-Clause: Kommerziell permissiv 

TabFM

06/2026

~400M

TabFM Non-Commercial License v1.0* Nicht kommerziell permissiv

TabPFNv3.5

09/2026

~220M

TABPFN-3.5 License v1.0* Nicht kommerziell permissiv

Mitra v2

09/2026

~77M

Apache-2.0: Kommerziell permissiv

KumoTabular

09/2026

~215M

OpenMDW-1.1: Kommerziell permissiv

*Kommerziell permissiv nach Absprache mit den Modellentwicklern.

Eine umfassende Liste des aktuellen Stands der Technik finden Sie in Benchmarks wie TabArena oder TALENT. Angesichts der spezifischen Vor- und Nachteile jedes TFM empfehlen wir, diese Modelle direkt mit den Daten Ihres Unternehmens zu evaluieren, da unternehmensspezifische Workloads häufig stark von synthetischen Daten oder Standard-Benchmarks abweichen. 

Teams müssen neben der Vorhersagegenauigkeit auch die Betriebskosten bewerten. Während TFMs durch den Wegfall maßgeschneiderter Trainings-Pipelines enorm viel Entwicklungszeit einsparen, verursacht die Ausführung eines Foundation Models auf GPUs pro Vorhersage naturgemäß höhere Kosten als die Ausführung eines herkömmlichen XGBoost-Modells auf einer CPU. Bei jedem Anwendungsfall bedeutet die Evaluierung eines TFM, dass dieser beschleunigte Time-to-Market und Leistungszuwachs gegen die laufenden Kosten der GPU-Inferenz abgewogen werden müssen.

Die GPU-Herausforderung

Die Inferenz mit TFMs ist für GPUs optimiert. Die Modelle selbst sind klein genug, um auf eine einzelne GPU zu passen, aber beim In-Context Learning wird der gesamte Trainingsdatensatz bei jeder Vorhersage an das Modell übergeben. Infolgedessen wächst der GPU-Speicherbedarf mit der Anzahl der Zeilen und Features und kann bei den für Enterprise-ML typischen Datensatzgrößen schnell erschöpft sein. Der Bedarf an einer leistungsstarken GPU führt zu drei Problemen:

  1. Bereitstellung von GPUs: On-Demand-GPUs sind oft mit langen und unvorhersehbaren Wartezeiten verbunden. Die Reservierung einer bestimmten Kapazität rund um die Uhr führt zu hohen TCO durch ungenutzte Kapazitäten und Dimensionierungsaufwände.
  2. Verwaltung von GPUs: Um das Beste aus GPUs herauszuholen, ist eine gute Observability erforderlich, insbesondere bei TFMs, bei denen viele Faktoren den Speicherbedarf beeinflussen. Ingenieure verbringen entweder Stunden damit, diese Tools zu entwickeln und die Infrastruktur zu verwalten, oder sie enden mit stark unterabgestimmten GPUs.
  3. Erstellung einer externen Abhängigkeit: In vielen Systemen werden GPUs in separaten Tools bereitgestellt, sodass Daten aus Ihrer Datenplattform kopiert und die Inferenzen wieder zurückkopiert werden müssen. Dies wird noch schwieriger, wenn Sie ein TFM fine-tunen möchten, da Governance und Lifecycle für die feinabgestimmten Gewichte schwerer zu verwalten sind. 

Databricks AI Runtime für TFMs

Databricks vereint Daten und KI in einer einzigen offenen Plattform. AI Runtime, eine vollständig verwaltete serverlose GPU-Infrastruktur, bietet dieses einheitliche Erlebnis für Enterprise-GPU-Workloads. Experimente und die Überführung in die Produktion waren mit AI Runtime noch nie so einfach. Es bietet Funktionen wie:

  1. Flexiblen On-Demand-Zugriff auf GPUs, einschließlich H100s, die TFMs wie TabPFN-3 in einem Umfang von bis zu 1 Mio. Zeilen × 200 Features unterstützen können. 
  2. Einen Deep-Learning-Stack mit integrierter Observability, GPU-Auslastung und MLflow-Experimentverfolgung
    1. Native Unterstützung für Notebooks, Lakeflow Jobs und Unity Catalog vereinfacht den Weg in die Produktion
    2. Native Docker-Unterstützung und Remote-SSH-Zugriff über die Databricks CLI verbessern die Entwicklererfahrung zusätzlich
  3. Einen Genie Code-Agenten direkt im Notebook mit Deep-Learning- und GPU-Expertise, der in der Lage ist, Inferenz- und Trainingscode zu schreiben und zu debuggen, Leistungsengpässe zu beheben und Konvergenz- oder Framework-Fehler zu lösen, wie in Video 1 gezeigt.
  4. Nahtlose Bereitstellung über Databricks Model Serving, sodass Sie TFMs als automatisch skalierende Echtzeit-REST-Endpunkte bereitstellen können. Für latenzsensitive Anwendungsfälle wie Bonitätsprüfungen oder Produktempfehlungen stellt dies sicher, dass Ihre GPU-basierten Modelle latenzarme Vorhersagen direkt für Produktionsanwendungen liefern können.
Video 1: Genie Code bei der Behebung von OOM-Problemen direkt in Ihrem Notebook

Mit Databricks AI Runtime können Sie Ihre TFM-Workloads genau dort ausführen, wo sich Ihre Daten befinden, und Unity Catalog nutzen, um den Lifecycle Ihrer GPU-Workflows zu steuern und zu verwalten, ohne Datensilos zu erzeugen.

Erste Schritte

Klonen Sie dieses Repository, um zu sehen, wie Sie Zero-Shot-Inferenzen mit verschiedenen TFMs mithilfe von Databricks AI Runtime ausführen, zusammen mit vollständigen Beispielen für das Fine-Tuning zur Klassifizierung und Regression mit KumoTabular. Diese Beispiele zeigen, wie AI Runtime Ihnen hilft, den Lifecycle und die Integration von fortgeschrittenen TFM-Fine-Tuning-Workflows einfach zu verwalten.

Video 2 führt durch das Fine-Tuning-Notebook mit einer H100 und zeigt, wie die Observability der GPU-Nutzung direkt in das Notebook sowie in das für die Metrikverfolgung verwendete MLflow-Experiment eingebettet ist. Darüber hinaus umfasst der Workflow eine zentralisierte Governance und Registrierung über Unity Catalog, was eine robuste Versionskontrolle und ein strukturiertes Modell-Lifecycle-Management ermöglicht. 

Video 2: Fine-Tuning eines KumoTabular-Klassifizierungsmodells mit Databricks AI Runtime. Das GIF demonstriert die Observability der GPU-Nutzung sowie die Modellregistrierung, Governance und Versionsverwaltung für feinabgestimmte Modelle im Unity Catalog.

Tabellarische Foundation Models versprechen, die Time-to-Market von ML-Initiativen von Monaten auf Tage zu verkürzen, und mit Databricks AI Runtime sind GPU-Workloads kein Hindernis mehr. Ihre Experimente lassen sich mühelos in geschützte, produktionsreife Lösungen überführen – sei es als Batch-Pipelines mit hohem Durchsatz oder als Echtzeit-Inferenz-Endpunkte auf derselben Plattform, auf der Ihre Daten liegen, wodurch die Lücke zwischen explorativer Forschung und unternehmensweiter Einführung geschlossen wird. 

Die Landschaft des maschinellen Lernens hat einen Wendepunkt erreicht, und die Hürden für die Bereitstellung wirkungsvoller Modelle waren noch nie so niedrig. Unternehmen können diesen Wandel sofort nutzen, indem sie TFMs für ihre Workloads evaluieren. Verlassen Sie sich nicht nur auf unser Wort; evaluieren Sie TFMs für Ihre Daten, um heute Leistung, optimierte Abläufe und präzise, umsetzbare Vorhersagen freizusetzen.

FAQ

Was sind Tabular Foundation Models (TFMs)? 

TFMs sind vortrainierte Transformer-Modelle, die speziell für tabellarische Daten entwickelt wurden. Da sie mit Millionen verschiedener synthetischer Datensätze vortrainiert wurden, können sie Beziehungen in neuen Daten ableiten, ohne von Grund auf neu trainiert werden zu müssen, wodurch der Zeitaufwand für die Bereitstellung von Modellen für maschinelles Lernen drastisch reduziert wird.

Wie gehen TFMs mit verschiedenen Datentypen in einer Tabelle um? 

TFMs verwenden spezielle Tokenizer, um gemischte Datentypen – wie numerische, kategorische und boolesche Features – in einen einzigen, gemeinsamen latenten Vektorraum abzubilden. Dadurch kann der Aufmerksamkeitsmechanismus des Transformers die komplexen Wechselwirkungen zwischen verschiedenen Feature-Typen gleichzeitig verarbeiten.

Warum werden GPUs für Tabular Foundation Models empfohlen? 

TFMs basieren auf der Transformer-Architektur, die auf dichten Matrixmultiplikationen beruht, welche auf GPUs weitaus effizienter laufen als auf CPUs. Auch wenn Sie ein TFM technisch gesehen auf einer CPU ausführen können, ist dies für Daten im Unternehmensmaßstab unpraktisch langsam; darüber hinaus erfordern die massiven Zwischenberechnungen (Aktivierungen), die beim In-Context Learning generiert werden, die parallele Rechenleistung und Speicherbandbreite einer GPU, um in angemessener Zeit ausgeführt zu werden.

Kann ich ein Tabular Foundation Model fine-tunen? 

Ja. Während TFMs bereits direkt nach dem Start durch Zero-Shot-Inferenz eine hohe Vorhersagegenauigkeit bieten, können Sie deren vortrainierte Gewichte anhand Ihres spezifischen proprietären Datensatzes fine-tunen, um die Leistung für kritische Anwendungsfälle noch weiter zu steigern.

Wie hilft Databricks AI Runtime bei TFMs? 

Databricks AI Runtime bietet eine vollständig verwaltete, serverlose GPU-Infrastruktur direkt dort, wo sich Ihre Daten befinden. Es macht das Verschieben von Daten in externe GPU-Tools überflüssig, sodass Sie Inferenzen ausführen, Modelle fine-tunen und die Governance über den Unity Catalog verwalten können, ohne Datensilos zu erzeugen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag

Verwandte Tags:

Data Science und ML

Erhalten Sie die neuesten Beiträge in Ihrem Posteingang

Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.