Ejecuta y ajusta modelos de base tabulares utilizando GPUs totalmente administradas y bajo demanda integradas con tus datos de Databricks y flujos de trabajo de ML.
por Marc Susagna Holgado, Javier Poveda Panter, Puneet Jain y Ryuta Yoshimatsu
Muchas de las aplicaciones de machine learning predictivo más valiosas se basan en datos tabulares. Desde el riesgo crediticio y la deserción de clientes hasta la previsión de la demanda y el mantenimiento predictivo, estos casos de uso tradicionalmente han requerido que los equipos desarrollen, entrenen y mantengan modelos para cada tarea de predicción. Los modelos fundamentales tabulares (TFM) ofrecen otro enfoque: modelos preentrenados que pueden hacer predicciones sobre nuevos conjuntos de datos sin necesidad de un entrenamiento específico para la tarea.
Llevar los sistemas de ML a producción a escala sigue siendo un desafío para muchas empresas por los siguientes motivos:
Recientemente, las soluciones agénticas han ayudado a acelerar estas costosas operaciones, pero aún dependen de un modelo entrenado a medida para cada tarea de ML o conjunto de datos. Para eliminar esta dependencia, laboratorios de investigación pioneros han aplicado la arquitectura transformer a los datos tabulares a escala, creando una nueva categoría de modelos llamada modelos fundamentales tabulares (TFM). Debido a que los TFM vienen preentrenados, no requieren entrenamiento en su conjunto de datos, lo que significa que los canales de entrenamiento y reentrenamiento a medida prácticamente desaparecen.
A pesar de la impresionante precisión que estos modelos demuestran en benchmarks públicos, aún no han irrumpido en la corriente principal de la IA empresarial. Esto se debe en parte a la naturaleza incipiente del campo, ya que muchos profesionales aún no los conocen, pero también a los requisitos de infraestructura de computación.
En este artículo, analizaremos cómo funcionan los TFM, compararemos modelos recientes y explicaremos las compensaciones involucradas en su adopción para el ML empresarial. Luego demostraremos cómo Databricks AI Runtime admite la experimentación y el ajuste fino de TFM con infraestructura de GPU administrada, herramientas de desarrollo integradas y gobernanza de modelos.
Los TFM eliminan en gran medida la necesidad de entrenamiento y la sobrecarga de mantener modelos a medida. Están preentrenados en millones de conjuntos de datos sintéticos diversos para que puedan inferir relaciones entre variables en un conjunto de datos no visto. En el momento de la predicción, las filas etiquetadas se pasan como contexto junto con las filas a predecir. La atención, el núcleo de la arquitectura transformer, relaciona entonces cada nueva fila con esos ejemplos. Las previsiones se producen mediante una sola pasada hacia adelante, un proceso llamado aprendizaje en contexto (ICL).
Si bien este enfoque zero-shot proporciona una línea base potente desde el primer momento, los TFM también se pueden ajustar mediante fine-tuning. Al actualizar los pesos preentrenados del modelo en un conjunto de datos específico, los equipos de ML pueden elevar aún más la precisión predictiva para sus casos de uso más críticos.
La principal complejidad para los transformers en los TFM es el manejo de varios tipos de entrada. A diferencia de las palabras en un texto o los píxeles en una imagen, una tabla mezcla características numéricas, categóricas y booleanas, cada una con su propia escala y significado. Incrustar eficientemente estas entradas en un espacio latente común ha sido un gran desafío. La comunidad resolvió esto desarrollando tokenizadores especializados que mapean las características categóricas y numéricas en una representación única y compartida.
Una vez lograda una tokenización eficiente para cada celda, el problema era cómo aprender de manera efectiva la relación entre filas y columnas. TabPFNv2 fue el primero en hacer esto funcionar a escala de modelo fundamental. Como se muestra en la Figura 1, implicó aplicar mecanismos de atención secuencialmente dentro de las filas y luego dentro de las columnas, capturando las interacciones complejas entre características y las relaciones subyacentes a través de diferentes muestras de datos.
A pesar de su éxito, este enfoque enfrenta severos límites de escalabilidad. Al realizar una atención densa a través de filas y luego de columnas, el costo computacional crece rápidamente, lo que lo hace prohibitivamente costoso a medida que aumenta el número de muestras y características. Como solución, TabICLv1 utiliza un enfoque de compresión de filas, en el cual codificadores especializados representan cada fila con solo cuatro tokens, lo que abata considerablemente la atención entre muestras mientras se mantiene un rendimiento predictivo competitivo. Esta arquitectura se muestra en la Figura 2, pero desde entonces ha sido adoptada y ampliada por modelos como TabPFNv3, TabFM y KumoTabular, que se encuentran entre los modelos mejor clasificados en benchmarks como TabArena hoy en día.
Aparte de la arquitectura, otra característica distintiva de los TFM es cómo se construyen: los creadores de modelos utilizan principalmente datos sintéticos durante la fase de preentrenamiento. El factor determinante en el éxito inmediato de un TFM es si estos investigadores pueden generar datos sintéticos que representen con precisión las distribuciones y relaciones de los conjuntos de datos del mundo real. Para construir un modelo fundamental robusto, los creadores deben simular datos diversos a gran escala que capturen problemas comunes de calidad empresarial como valores faltantes, valores atípicos y características no observadas. Si bien los modelos causales estructurales proporcionan un marco estandarizado para muestrear estos conjuntos de datos de preentrenamiento, la configuración exacta del pipeline depende en gran medida del TFM específico.
A medida que el panorama de los TFM evoluciona rápidamente con lanzamientos frecuentes, evaluar las opciones para la implementación empresarial requiere un análisis minucioso. La tabla siguiente destaca los modelos líderes a través de dos factores prácticos de implementación: escala y licencias.
Modelo | Fecha de lanzamiento | Parámetros | Licencia de pesos |
TabICLv2 | 02/2026 | ~28M | BSD 3-Clause: Permisiva comercialmente |
TabFM | 06/2026 | ~400M | Licencia no comercial TabFM v1.0* No permisiva comercialmente |
TabPFNv3.5 | 09/2026 | ~220M | Licencia TABPFN-3.5 v1.0* No permisiva comercialmente |
09/2026 | ~77M | Apache-2.0: Permisiva comercialmente | |
KumoTabular | 09/2026 | ~215M | OpenMDW-1.1: Permisiva comercialmente |
*Permisiva comercialmente previo acuerdo con los creadores del modelo.
Para ver una lista exhaustiva del estado actual de la técnica, consulta puntos de referencia como TabArena o TALENT. Dadas las compensaciones únicas de cada TFM, recomendamos evaluar estos modelos directamente con los datos de tu organización, ya que las cargas de trabajo empresariales propietarias suelen diferir drásticamente de los datos sintéticos o de los puntos de referencia estándar.
Más allá de medir únicamente la precisión predictiva, los equipos también deben evaluar el costo operativo. Aunque los TFM ahorran una enorme cantidad de tiempo de ingeniería al eliminar los flujos de trabajo de entrenamiento personalizados, ejecutar un modelo fundamental en GPU naturalmente cuesta más por predicción que ejecutar un modelo XGBoost tradicional en una CPU. Para cualquier caso de uso determinado, evaluar un TFM significa sopesar esa velocidad de llegada al mercado y la mejora de rendimiento frente al costo continuo de la inferencia en GPU.
La inferencia con TFM está optimizada en GPU. Los modelos en sí son lo suficientemente pequeños como para caber en una sola GPU, pero con el aprendizaje en contexto, todo el conjunto de entrenamiento se pasa al modelo en cada predicción. Como resultado, el uso de la memoria de la GPU aumenta con el número de filas y características, y puede agotarse rápidamente con los tamaños de conjuntos de datos típicos del aprendizaje automático empresarial. La necesidad de una GPU de alto rendimiento conlleva tres problemas:
Databricks unifica los datos y la IA en una sola plataforma abierta. AI Runtime, una infraestructura de GPU sin servidor totalmente gestionada, ofrece esta experiencia unificada para cargas de trabajo de GPU empresariales. La experimentación y la puesta en producción nunca han sido tan fáciles con AI Runtime, que incluye características como:
Con Databricks AI Runtime, puedes ejecutar tus cargas de trabajo de TFM justo donde residen tus datos, utilizando Unity Catalog para gobernar y gestionar el ciclo de vida de tus flujos de trabajo de GPU sin crear silos.
Clona este repositorio para ver cómo ejecutar inferencias zero-shot con varios TFM utilizando Databricks AI Runtime, junto con ejemplos completos de ajuste fino para clasificación y regresión con KumoTabular. Estos ejemplos muestran cómo AI Runtime te ayuda a gestionar fácilmente el ciclo de vida y la integración de flujos de trabajo avanzados de ajuste fino de TFM.
El Video 2 recorre el notebook de ajuste fino con una H100, mostrando cómo la observabilidad del uso de la GPU está integrada directamente en el notebook, así como el experimento de MLflow utilizado para el seguimiento de métricas. Además, el flujo de trabajo abarca la gobernanza centralizada y el registro a través de Unity Catalog, lo que facilita un control de versiones robusto y una gestión estructurada del ciclo de vida del modelo.
Los modelos fundamentales tabulares prometen reducir el tiempo de comercialización de las iniciativas de ML de meses a días, y con Databricks AI Runtime, las cargas de trabajo de GPU ya no son un obstáculo. Tus experimentos pueden pasar fácilmente a soluciones gobernadas y listas para producción, ya sea como canales por lotes de alto rendimiento o puntos finales de inferencia en tiempo real, en la misma plataforma donde residen tus datos, cerrando la brecha entre la investigación exploratoria y la adopción empresarial.
El panorama del aprendizaje automático ha llegado a un punto de inflexión, y las barreras para desplegar modelos de alto impacto nunca han sido tan bajas. Las empresas pueden capitalizar inmediatamente este cambio explorando los TFM para sus cargas de trabajo. No nos creas solo a nosotros; evalúa los TFM con tus datos para desbloquear rendimiento, operaciones optimizadas y predicciones precisas y procesables hoy mismo.
¿Qué son los modelos fundamentales tabulares (TFM)?
Los TFM son modelos de transformadores preentrenados diseñados específicamente para datos tabulares. Debido a que están preentrenados en millones de conjuntos de datos sintéticos diversos, pueden inferir relaciones en nuevos datos sin necesidad de ser entrenados desde cero, lo que reduce drásticamente el tiempo necesario para desplegar modelos de aprendizaje automático.
¿Cómo manejan los TFM los diferentes tipos de datos en una tabla?
Los TFM utilizan tokenizadores especializados para mapear tipos de datos mixtos (como características numéricas, categóricas y booleanas) en un espacio vectorial latente compartido y único. Esto permite que el mecanismo de atención del transformador procese las interacciones complejas entre diferentes tipos de características simultáneamente.
¿Por qué se recomiendan las GPU para los modelos fundamentales tabulares?
Los TFM están construidos sobre la arquitectura de transformadores, que se basa en multiplicaciones de matrices densas que se ejecutan de manera mucho más eficiente en GPU que en CPU. Aunque técnicamente puedes ejecutar un TFM en una CPU, es demasiado lento para datos a escala empresarial; además, los cálculos intermedios masivos (activaciones) generados durante el aprendizaje en contexto requieren la potencia de procesamiento paralelo y el ancho de banda de memoria de una GPU para ejecutarse en un tiempo razonable.
¿Puedo ajustar un modelo fundamental tabular?
Sí. Aunque los TFM ofrecen una alta precisión predictiva desde el primer momento utilizando inferencia zero-shot, puedes ajustar sus pesos preentrenados en tu conjunto de datos propietario específico para llevar el rendimiento aún más lejos en casos de uso críticos.
¿Cómo ayuda Databricks AI Runtime con los TFM?
Databricks AI Runtime proporciona una infraestructura de GPU sin servidor totalmente gestionada directamente donde residen tus datos. Elimina la necesidad de mover datos a herramientas de GPU externas, lo que te permite ejecutar inferencias, ajustar modelos y gestionar la gobernanza a través de Unity Catalog sin crear silos de datos.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.