Ir para o conteúdo principal
Engenharia

Modelos de base tabular no Databricks AI Runtime

Execute e faça o fine-tuning de modelos de fundação tabular usando GPUs sob demanda totalmente gerenciadas e integradas aos seus fluxos de trabalho de dados e ML no Databricks.

por Marc Susagna Holgado, Javier Poveda Panter, Puneet Jain e Ryuta Yoshimatsu

  • Modelos de fundação tabular podem fazer previsões em novos conjuntos de dados sem treinar um modelo específico para a tarefa, acelerando os experimentos de ML preditivo.
  • Compare modelos de fundação tabular com baselines existentes em termos de precisão, latência de inferência, uso de memória de GPU e custo antes de escolher um modelo.
  • O Databricks AI Runtime oferece GPUs gerenciadas, rastreamento do MLflow e integração com o Unity Catalog para experimentar e fazer fine-tuning de TFMs.

Muitas das aplicações de machine learning preditivo mais valiosas dependem de dados tabulares. De risco de crédito e rotatividade de clientes a previsão de demanda e manutenção preditiva, esses casos de uso tradicionalmente exigem que as equipes desenvolvam, treinem e mantenham modelos para cada tarefa de previsão. Os foundation models tabulares (TFMs) oferecem outra abordagem: modelos pré-treinados que podem fazer previsões em novos conjuntos de dados sem treinamento específico para a tarefa.

Colocar sistemas de ML em produção em escala continua sendo um desafio para muitas empresas pelos seguintes motivos:

  1. Desenvolvimento de modelos: Cada caso de uso exige preparação de dados, engenharia de recursos, seleção de modelos, treinamento e avaliação. Encontrar um modelo que atenda aos requisitos de precisão e desempenho pode exigir muita experimentação.
  2. Manutenção de modelos: Uma vez implantados, os modelos exigem monitoramento quanto à degradação de desempenho e desvio de dados. As equipes também podem precisar manter pipelines de retreinamento conforme os conjuntos de dados e os requisitos de negócios mudam.

Recentemente, as soluções de agentes ajudaram a acelerar essas operações caras, mas elas ainda dependem de um modelo treinado sob medida para cada tarefa ou conjunto de dados de ML. Para remover essa dependência, laboratórios de pesquisa pioneiros aplicaram a arquitetura transformer a dados tabulares em escala, criando uma nova categoria de modelos chamada foundation models tabulares (TFMs). Como os TFMs vêm pré-treinados, eles não exigem treinamento no seu conjunto de dados, o que significa que os pipelines de treinamento sob medida e retreinamento praticamente desaparecem.

Apesar da precisão impressionante que esses modelos demonstram em benchmarks públicos, eles ainda não entraram no mainstream da IA corporativa. Isso se deve em parte à natureza incipiente do campo, pois muitos profissionais ainda não os conhecem, mas também devido aos requisitos de infraestrutura de computação. 

Neste artigo, vamos analisar como os TFMs funcionam, comparar modelos recentes e explicar os trade-offs envolvidos na adoção deles para ML corporativo. Em seguida, demonstraremos como o Databricks AI Runtime oferece suporte à experimentação e ao fine-tuning de TFMs com infraestrutura de GPU gerenciada, ferramentas de desenvolvimento integradas e governança de modelos.

Como funcionam os foundation models tabulares

Os TFMs eliminam em grande parte a necessidade de treinamento e a sobrecarga de manter modelos personalizados. Eles são pré-treinados em milhões de conjuntos de dados sintéticos diversos para que possam inferir relações entre variáveis em um conjunto de dados não visto. No momento da previsão, as linhas rotuladas são passadas como contexto junto com as linhas a serem previstas. A atenção, o núcleo da arquitetura transformer, relaciona então cada nova linha a esses exemplos. As previsões são produzidas por uma única passagem para a frente, um processo chamado in-context learning (ICL).

Embora essa abordagem zero-shot forneça uma linha de base poderosa prontamente, os TFMs também podem passar por fine-tuning. Ao atualizar os pesos pré-treinados do modelo em um conjunto de dados específico, as equipes de ML podem elevar ainda mais a precisão preditiva para seus casos de uso mais críticos.

Como os transformers processam dados tabulares

A principal complexidade para os transformers em TFMs é lidar com vários tipos de entrada. Ao contrário de palavras em texto ou pixels em uma imagem, uma tabela mistura recursos numéricos, categóricos e booleanos, cada um com sua própria escala e significado. Incorporar eficientemente essas entradas em um espaço latente comum tem sido um grande desafio. A comunidade resolveu isso desenvolvendo tokenizadores especializados que mapeiam recursos categóricos e numéricos em uma única representação compartilhada.

Uma vez alcançada uma tokenização eficiente para cada célula, o problema era como aprender efetivamente a relação entre linhas e colunas. TabPFNv2 foi o primeiro a fazer isso funcionar em escala de foundation model. Conforme mostrado na Figura 1, envolveu a aplicação de mecanismos de atenção sequencialmente dentro das linhas e, em seguida, dentro das colunas, capturando as interações complexas entre recursos e as relações subjacentes em diferentes amostras de dados.

Figura 1: Arquitetura transformer para TabPFN v2

Apesar de seu sucesso, essa abordagem enfrenta severos limites de escalabilidade. Ao realizar atenção densa entre linhas e colunas, o custo computacional cresce rapidamente, tornando-se proibitivamente caro à medida que o número de amostras e recursos aumenta. Como solução, TabICLv1 usa uma abordagem de compressão de linhas, na qual codificadores especializados representam cada linha com apenas quatro tokens, tornando a atenção entre amostras muito mais barata, mantendo um desempenho preditivo competitivo. Essa arquitetura é mostrada na Figura 2, mas desde então foi adotada e estendida por modelos como TabPFNv3, TabFM e KumoTabular, que estão entre os modelos mais bem classificados em benchmarks como TabArena hoje.

Figura 2: Arquitetura transformer usada no TabICLv1. Para ICL, as amostras de teste consideram apenas as amostras de treinamento, enquanto as amostras de treinamento consideram umas às outras

Pré-treinamento com dados sintéticos

Além da arquitetura, outra característica distintiva dos TFMs é como eles são construídos: os criadores de modelos usam principalmente dados sintéticos durante a fase de pré-treinamento. O fator determinante no sucesso imediato de um TFM é se esses pesquisadores conseguem gerar dados sintéticos que representem com precisão as distribuições e relações de conjuntos de dados do mundo real. Para construir um foundation model robusto, os criadores devem simular dados diversos em grande escala que capturem problemas comuns de qualidade empresarial, como dados ausentes, valores discrepantes e recursos não observados. Embora os Modelos Causais Estruturais forneçam uma estrutura padronizada para a amostragem desses conjuntos de dados de pré-treinamento, a configuração exata do pipeline depende fortemente do TFM específico.

Visão geral de modelos recentes

Como o cenário de TFMs evolui rapidamente com novos lançamentos frequentes, avaliar opções para implantação empresarial exige análise cuidadosa. A tabela a seguir destaca os principais modelos sob a ótica de dois fatores práticos de implantação: escala e licenciamento. 

Modelo

Data de lançamento

Parâmetros

Licença de pesos 

TabICLv2

02/2026

~28M

BSD 3-Clause: Permissiva para fins comerciais 

TabFM

06/2026

~400M

Licença Não Comercial TabFM v1.0* Não permissiva para fins comerciais

TabPFNv3.5

09/2026

~220M

Licença TABPFN-3.5 v1.0* Não permissiva para fins comerciais

Mitra v2

09/2026

~77M

Apache-2.0: Permissiva para fins comerciais

KumoTabular

09/2026

~215M

OpenMDW-1.1: Permissiva para fins comerciais

*Permissiva para fins comerciais mediante acordo com os criadores do modelo.

Para uma lista completa do estado da arte atual, confira benchmarks como TabArena ou TALENT. Desses trade-offs exclusivos de cada TFM, recomendamos avaliar esses modelos diretamente com os dados da sua organização, já que cargas de trabalho corporativas proprietárias costumam diferir drasticamente de dados sintéticos ou benchmarks padrão. 

Além de apenas medir a precisão preditiva, as equipes também devem avaliar o custo operacional. Embora os TFMs economizem uma quantidade massiva de tempo de engenharia ao eliminar pipelines de treinamento personalizados, executar um foundation model em GPUs naturalmente custa mais por predição do que executar um modelo tradicional XGBoost em uma CPU. Para qualquer caso de uso, avaliar um TFM significa ponderar essa aceleração no time-to-market e o ganho de desempenho em relação ao custo contínuo de inferência em GPU.

O desafio das GPUs

A inferência com TFMs é otimizada em GPUs. Os modelos em si são pequenos o suficiente para caber em uma única GPU, mas com o aprendizado em contexto (in-context learning), todo o conjunto de treinamento é passado para o modelo a cada predição. Como resultado, o uso de memória da GPU cresce com o número de linhas e features, podendo se esgotar rapidamente nos tamanhos de dataset típicos de ML corporativo. A necessidade de uma GPU de alto desempenho gera três problemas:

  1. Provisionamento de GPUs: GPUs sob demanda geralmente vêm com tempos de espera longos e imprevisíveis. Reservar uma determinada capacidade 24/7 acarreta um TCO alto devido à capacidade ociosa e a exercícios de dimensionamento.
  2. Gerenciamento de GPUs: Obter o máximo das GPUs requer boa observabilidade, especialmente com TFMs, onde muitos fatores afetam o uso de memória. Os engenheiros passam horas construindo essas ferramentas e gerenciando a infraestrutura ou acabam com GPUs severamente subutilizadas.
  3. Criação de uma dependência externa: Em muitos sistemas, as GPUs são provisionadas em ferramentas separadas, portanto, os dados precisam ser copiados para fora da sua plataforma de dados e as inferências copiadas de volta. Isso piora quando você deseja realizar o fine-tuning de um TFM, porque a governança e o ciclo de vida se tornam mais difíceis de gerenciar com os pesos ajustados. 

Databricks AI Runtime for TFMs

O Databricks unifica dados e IA em uma única plataforma aberta. O AI Runtime, uma infraestrutura de GPU serverless totalmente gerenciada, oferece essa experiência unificada para cargas de trabalho de GPU corporativas. A experimentação e a operacionalização nunca foram tão fáceis usando o AI Runtime, que inclui recursos como:

  1. Acesso flexível e sob demanda a GPUs, incluindo H100s que podem dar suporte a TFMs como o TabPFN-3 em escalas de até 1 milhão de linhas × 200 features. 
  2. Uma pilha de deep learning com observabilidade integrada, utilização de GPU e rastreamento de experimentos do MLflow
    1. Suporte nativo a notebooks, Lakeflow Jobs e Unity Catalog simplifica o caminho para a produção
    2. Suporte nativo a Docker e acesso SSH remoto via Databricks CLI melhoram ainda mais a experiência do desenvolvedor
  3. Um agente Genie Code no notebook com expertise em deep learning e GPU, capaz de escrever e depurar código de inferência e treinamento, corrigir gargalos de desempenho e resolver erros de convergência ou de framework, conforme mostrado no Vídeo 1.
  4. Implantação contínua via Databricks Model Serving, permitindo que você implante TFMs como endpoints REST em tempo real e com autoscaling. Para casos de uso sensíveis à latência, como pontuação de crédito ou recomendações de produtos, isso garante que seus modelos baseados em GPU possam entregar predições de baixa latência diretamente para aplicações de produção.
Vídeo 1: Solução de problemas de OOM com o Genie Code diretamente no seu notebook

Com o Databricks AI Runtime, você pode executar suas cargas de trabalho de TFM exatamente onde seus dados estão, usando o Unity Catalog para governar e gerenciar o ciclo de vida dos seus fluxos de trabalho de GPU sem criar silos.

Introdução

Clone este repositório para ver como executar inferência zero-shot com vários TFMs usando o Databricks AI Runtime, juntamente com exemplos completos de fine-tuning para classificação e regressão com o KumoTabular. Esses exemplos mostram como o AI Runtime ajuda você a gerenciar facilmente o ciclo de vida e a integração de fluxos de trabalho avançados de fine-tuning de TFM.

O Vídeo 2 demonstra o notebook de fine-tuning com uma H100, mostrando como a observabilidade do uso de GPU está embutida diretamente no notebook, bem como o experimento do MLflow usado para rastreamento de métricas. Além disso, o fluxo de trabalho aborda governança centralizada e registro por meio do Unity Catalog, facilitando um controle de versão robusto e o gerenciamento estruturado do ciclo de vida do modelo. 

Vídeo 2: Realizando o fine-tuning de um modelo de classificação KumoTabular com o Databricks AI Runtime. O GIF demonstra a observabilidade do uso de GPU, bem como o registro, governança e gerenciamento de versão de modelos para modelos com fine-tuning no Unity Catalog.

Os tabular foundation models prometem reduzir o time to market de iniciativas de ML de meses para dias e, com o Databricks AI Runtime, as cargas de trabalho de GPU não são mais um obstáculo. Seus experimentos podem fazer a transição facilmente para soluções governadas e prontas para produção, seja como pipelines em lote de alto throughput ou endpoints de inferência em tempo real, na mesma plataforma onde seus dados residem, fechando a lacuna entre a pesquisa exploratória e a adoção corporativa. 

O cenário de machine learning atingiu um ponto de inflexão, e as barreiras para implantar modelos de alto impacto nunca foram tão baixas. As empresas podem capitalizar imediatamente essa mudança explorando TFMs para suas cargas de trabalho. Não acredite apenas na nossa palavra; avalie os TFMs para seus dados para desbloquear desempenho, operações simplificadas e predições precisas e acionáveis hoje mesmo.

FAQ

O que são Tabular Foundation Models (TFMs)? 

Os TFMs são transformer models pré-treinados projetados especificamente para dados tabulares. Como são pré-treinados em milhões de datasets sintéticos diversos, eles podem inferir relacionamentos em novos dados sem precisar ser treinados do zero, reduzindo drasticamente o tempo necessário para implantar modelos de machine learning.

Como os TFMs lidam com diferentes tipos de dados em uma tabela? 

Os TFMs usam tokenizadores especializados para mapear tipos de dados mistos — como features numéricas, categóricas e booleanas — em um único espaço vetorial latente compartilhado. Isso permite que o mecanismo de atenção do transformer processe as interações complexas entre diferentes tipos de features simultaneamente.

Por que as GPUs são recomendadas para Tabular Foundation Models? 

Os TFMs são construídos sobre a arquitetura transformer, que depende de multiplicações de matrizes densas que são executadas de forma muito mais eficiente em GPUs do que em CPUs. Embora você tecnicamente possa executar um TFM em uma CPU, ele é impraticavelmente lento para dados em escala corporativa; além disso, os cálculos intermediários massivos (ativações) gerados durante o aprendizado em contexto exigem o poder de processamento paralelo e a largura de banda de memória de uma GPU para serem executados em um tempo razoável.

Posso fazer o fine-tuning de um Tabular Foundation Model? 

Sim. Embora os TFMs ofereçam alta precisão preditiva nativamente usando inferência zero-shot, você pode ajustar seus pesos pré-treinados no seu dataset proprietário específico para elevar ainda mais o desempenho em casos de uso críticos.

Como o Databricks AI Runtime ajuda com os TFMs? 

O Databricks AI Runtime fornece infraestrutura de GPU serverless totalmente gerenciada diretamente onde seus dados residem. Ele elimina a necessidade de mover dados para ferramentas de GPU externas, permitindo que você execute inferência, faça fine-tuning de modelos e gerencie a governança por meio do Unity Catalog sem criar silos de dados.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original

Tags relacionadas:

Data Science e ML

Receba os posts mais recentes na sua caixa de entrada

Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.