Execute e faça o fine-tuning de modelos de fundação tabular usando GPUs sob demanda totalmente gerenciadas e integradas aos seus fluxos de trabalho de dados e ML no Databricks.
por Marc Susagna Holgado, Javier Poveda Panter, Puneet Jain e Ryuta Yoshimatsu
Muitas das aplicações de machine learning preditivo mais valiosas dependem de dados tabulares. De risco de crédito e rotatividade de clientes a previsão de demanda e manutenção preditiva, esses casos de uso tradicionalmente exigem que as equipes desenvolvam, treinem e mantenham modelos para cada tarefa de previsão. Os foundation models tabulares (TFMs) oferecem outra abordagem: modelos pré-treinados que podem fazer previsões em novos conjuntos de dados sem treinamento específico para a tarefa.
Colocar sistemas de ML em produção em escala continua sendo um desafio para muitas empresas pelos seguintes motivos:
Recentemente, as soluções de agentes ajudaram a acelerar essas operações caras, mas elas ainda dependem de um modelo treinado sob medida para cada tarefa ou conjunto de dados de ML. Para remover essa dependência, laboratórios de pesquisa pioneiros aplicaram a arquitetura transformer a dados tabulares em escala, criando uma nova categoria de modelos chamada foundation models tabulares (TFMs). Como os TFMs vêm pré-treinados, eles não exigem treinamento no seu conjunto de dados, o que significa que os pipelines de treinamento sob medida e retreinamento praticamente desaparecem.
Apesar da precisão impressionante que esses modelos demonstram em benchmarks públicos, eles ainda não entraram no mainstream da IA corporativa. Isso se deve em parte à natureza incipiente do campo, pois muitos profissionais ainda não os conhecem, mas também devido aos requisitos de infraestrutura de computação.
Neste artigo, vamos analisar como os TFMs funcionam, comparar modelos recentes e explicar os trade-offs envolvidos na adoção deles para ML corporativo. Em seguida, demonstraremos como o Databricks AI Runtime oferece suporte à experimentação e ao fine-tuning de TFMs com infraestrutura de GPU gerenciada, ferramentas de desenvolvimento integradas e governança de modelos.
Os TFMs eliminam em grande parte a necessidade de treinamento e a sobrecarga de manter modelos personalizados. Eles são pré-treinados em milhões de conjuntos de dados sintéticos diversos para que possam inferir relações entre variáveis em um conjunto de dados não visto. No momento da previsão, as linhas rotuladas são passadas como contexto junto com as linhas a serem previstas. A atenção, o núcleo da arquitetura transformer, relaciona então cada nova linha a esses exemplos. As previsões são produzidas por uma única passagem para a frente, um processo chamado in-context learning (ICL).
Embora essa abordagem zero-shot forneça uma linha de base poderosa prontamente, os TFMs também podem passar por fine-tuning. Ao atualizar os pesos pré-treinados do modelo em um conjunto de dados específico, as equipes de ML podem elevar ainda mais a precisão preditiva para seus casos de uso mais críticos.
A principal complexidade para os transformers em TFMs é lidar com vários tipos de entrada. Ao contrário de palavras em texto ou pixels em uma imagem, uma tabela mistura recursos numéricos, categóricos e booleanos, cada um com sua própria escala e significado. Incorporar eficientemente essas entradas em um espaço latente comum tem sido um grande desafio. A comunidade resolveu isso desenvolvendo tokenizadores especializados que mapeiam recursos categóricos e numéricos em uma única representação compartilhada.
Uma vez alcançada uma tokenização eficiente para cada célula, o problema era como aprender efetivamente a relação entre linhas e colunas. TabPFNv2 foi o primeiro a fazer isso funcionar em escala de foundation model. Conforme mostrado na Figura 1, envolveu a aplicação de mecanismos de atenção sequencialmente dentro das linhas e, em seguida, dentro das colunas, capturando as interações complexas entre recursos e as relações subjacentes em diferentes amostras de dados.
Apesar de seu sucesso, essa abordagem enfrenta severos limites de escalabilidade. Ao realizar atenção densa entre linhas e colunas, o custo computacional cresce rapidamente, tornando-se proibitivamente caro à medida que o número de amostras e recursos aumenta. Como solução, TabICLv1 usa uma abordagem de compressão de linhas, na qual codificadores especializados representam cada linha com apenas quatro tokens, tornando a atenção entre amostras muito mais barata, mantendo um desempenho preditivo competitivo. Essa arquitetura é mostrada na Figura 2, mas desde então foi adotada e estendida por modelos como TabPFNv3, TabFM e KumoTabular, que estão entre os modelos mais bem classificados em benchmarks como TabArena hoje.
Além da arquitetura, outra característica distintiva dos TFMs é como eles são construídos: os criadores de modelos usam principalmente dados sintéticos durante a fase de pré-treinamento. O fator determinante no sucesso imediato de um TFM é se esses pesquisadores conseguem gerar dados sintéticos que representem com precisão as distribuições e relações de conjuntos de dados do mundo real. Para construir um foundation model robusto, os criadores devem simular dados diversos em grande escala que capturem problemas comuns de qualidade empresarial, como dados ausentes, valores discrepantes e recursos não observados. Embora os Modelos Causais Estruturais forneçam uma estrutura padronizada para a amostragem desses conjuntos de dados de pré-treinamento, a configuração exata do pipeline depende fortemente do TFM específico.
Como o cenário de TFMs evolui rapidamente com novos lançamentos frequentes, avaliar opções para implantação empresarial exige análise cuidadosa. A tabela a seguir destaca os principais modelos sob a ótica de dois fatores práticos de implantação: escala e licenciamento.
Modelo | Data de lançamento | Parâmetros | Licença de pesos |
TabICLv2 | 02/2026 | ~28M | BSD 3-Clause: Permissiva para fins comerciais |
TabFM | 06/2026 | ~400M | Licença Não Comercial TabFM v1.0* Não permissiva para fins comerciais |
TabPFNv3.5 | 09/2026 | ~220M | Licença TABPFN-3.5 v1.0* Não permissiva para fins comerciais |
09/2026 | ~77M | Apache-2.0: Permissiva para fins comerciais | |
KumoTabular | 09/2026 | ~215M | OpenMDW-1.1: Permissiva para fins comerciais |
*Permissiva para fins comerciais mediante acordo com os criadores do modelo.
Para uma lista completa do estado da arte atual, confira benchmarks como TabArena ou TALENT. Desses trade-offs exclusivos de cada TFM, recomendamos avaliar esses modelos diretamente com os dados da sua organização, já que cargas de trabalho corporativas proprietárias costumam diferir drasticamente de dados sintéticos ou benchmarks padrão.
Além de apenas medir a precisão preditiva, as equipes também devem avaliar o custo operacional. Embora os TFMs economizem uma quantidade massiva de tempo de engenharia ao eliminar pipelines de treinamento personalizados, executar um foundation model em GPUs naturalmente custa mais por predição do que executar um modelo tradicional XGBoost em uma CPU. Para qualquer caso de uso, avaliar um TFM significa ponderar essa aceleração no time-to-market e o ganho de desempenho em relação ao custo contínuo de inferência em GPU.
A inferência com TFMs é otimizada em GPUs. Os modelos em si são pequenos o suficiente para caber em uma única GPU, mas com o aprendizado em contexto (in-context learning), todo o conjunto de treinamento é passado para o modelo a cada predição. Como resultado, o uso de memória da GPU cresce com o número de linhas e features, podendo se esgotar rapidamente nos tamanhos de dataset típicos de ML corporativo. A necessidade de uma GPU de alto desempenho gera três problemas:
O Databricks unifica dados e IA em uma única plataforma aberta. O AI Runtime, uma infraestrutura de GPU serverless totalmente gerenciada, oferece essa experiência unificada para cargas de trabalho de GPU corporativas. A experimentação e a operacionalização nunca foram tão fáceis usando o AI Runtime, que inclui recursos como:
Com o Databricks AI Runtime, você pode executar suas cargas de trabalho de TFM exatamente onde seus dados estão, usando o Unity Catalog para governar e gerenciar o ciclo de vida dos seus fluxos de trabalho de GPU sem criar silos.
Clone este repositório para ver como executar inferência zero-shot com vários TFMs usando o Databricks AI Runtime, juntamente com exemplos completos de fine-tuning para classificação e regressão com o KumoTabular. Esses exemplos mostram como o AI Runtime ajuda você a gerenciar facilmente o ciclo de vida e a integração de fluxos de trabalho avançados de fine-tuning de TFM.
O Vídeo 2 demonstra o notebook de fine-tuning com uma H100, mostrando como a observabilidade do uso de GPU está embutida diretamente no notebook, bem como o experimento do MLflow usado para rastreamento de métricas. Além disso, o fluxo de trabalho aborda governança centralizada e registro por meio do Unity Catalog, facilitando um controle de versão robusto e o gerenciamento estruturado do ciclo de vida do modelo.
Os tabular foundation models prometem reduzir o time to market de iniciativas de ML de meses para dias e, com o Databricks AI Runtime, as cargas de trabalho de GPU não são mais um obstáculo. Seus experimentos podem fazer a transição facilmente para soluções governadas e prontas para produção, seja como pipelines em lote de alto throughput ou endpoints de inferência em tempo real, na mesma plataforma onde seus dados residem, fechando a lacuna entre a pesquisa exploratória e a adoção corporativa.
O cenário de machine learning atingiu um ponto de inflexão, e as barreiras para implantar modelos de alto impacto nunca foram tão baixas. As empresas podem capitalizar imediatamente essa mudança explorando TFMs para suas cargas de trabalho. Não acredite apenas na nossa palavra; avalie os TFMs para seus dados para desbloquear desempenho, operações simplificadas e predições precisas e acionáveis hoje mesmo.
O que são Tabular Foundation Models (TFMs)?
Os TFMs são transformer models pré-treinados projetados especificamente para dados tabulares. Como são pré-treinados em milhões de datasets sintéticos diversos, eles podem inferir relacionamentos em novos dados sem precisar ser treinados do zero, reduzindo drasticamente o tempo necessário para implantar modelos de machine learning.
Como os TFMs lidam com diferentes tipos de dados em uma tabela?
Os TFMs usam tokenizadores especializados para mapear tipos de dados mistos — como features numéricas, categóricas e booleanas — em um único espaço vetorial latente compartilhado. Isso permite que o mecanismo de atenção do transformer processe as interações complexas entre diferentes tipos de features simultaneamente.
Por que as GPUs são recomendadas para Tabular Foundation Models?
Os TFMs são construídos sobre a arquitetura transformer, que depende de multiplicações de matrizes densas que são executadas de forma muito mais eficiente em GPUs do que em CPUs. Embora você tecnicamente possa executar um TFM em uma CPU, ele é impraticavelmente lento para dados em escala corporativa; além disso, os cálculos intermediários massivos (ativações) gerados durante o aprendizado em contexto exigem o poder de processamento paralelo e a largura de banda de memória de uma GPU para serem executados em um tempo razoável.
Posso fazer o fine-tuning de um Tabular Foundation Model?
Sim. Embora os TFMs ofereçam alta precisão preditiva nativamente usando inferência zero-shot, você pode ajustar seus pesos pré-treinados no seu dataset proprietário específico para elevar ainda mais o desempenho em casos de uso críticos.
Como o Databricks AI Runtime ajuda com os TFMs?
O Databricks AI Runtime fornece infraestrutura de GPU serverless totalmente gerenciada diretamente onde seus dados residem. Ele elimina a necessidade de mover dados para ferramentas de GPU externas, permitindo que você execute inferência, faça fine-tuning de modelos e gerencie a governança por meio do Unity Catalog sem criar silos de dados.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.