Databricks 데이터 및 ML 워크플로와 통합된 완전 관리형 온디맨드 GPU를 사용하여 정형 데이터 기반 파운데이션 모델을 실행하고 파인튜닝하세요.
작성자: Marc Susagna Holgado, Javier Poveda Panter, Puneet Jain , 류타 요시마츠
가장 가치 있는 예측 머신러닝 애플리케이션 중 상당수는 정형 데이터를 기반으로 합니다. 신용 위험 및 고객 이탈부터 수요 예측 및 예측 유지보수에 이르기까지, 이러한 유스케이스는 전통적으로 팀이 각 예측 작업마다 모델을 개발, 학습 및 유지보수해야 했습니다. 정형 파운데이션 모델(TFM)은 작업별 학습 없이도 새로운 데이터셋에 대해 예측을 수행할 수 있는 사전 학습된 모델이라는 또 다른 접근 방식을 제공합니다.
대규모로 ML 시스템을 프로덕션 환경에 배포하는 것은 다음과 같은 이유로 많은 기업에게 여전히 과제로 남아 있습니다.
최근 에이전트 솔루션이 이러한 비용이 많이 드는 작업을 가속하는 데 도움을 주었지만, 여전히 각 ML 작업이나 데이터셋에 대해 맞춤형으로 학습된 모델에 의존하고 있습니다. 이러한 의존성을 없애기 위해 선도적인 연구소들은 트랜스포머 아키텍처를 대규모 정형 데이터에 적용하여 정형 파운데이션 모델(TFM)이라는 새로운 모델 범주를 만들었습니다. TFM은 사전 학습된 상태로 제공되므로 데이터셋에 대한 별도의 학습이 필요하지 않으며, 이는 맞춤형 학습 및 재학습 파이프라인이 대폭 사라진다는 것을 의미합니다.
이들 모델이 공개 벤치마크에서 보여주는 인상적인 정확도에도 불구하고, 아직 엔터프라이즈 AI의 주류로 진입하지는 못했습니다. 이는 부분적으로 해당 분야가 아직 초기 단계여서 많은 실무자들이 아직 잘 모르고 있기 때문이기도 하지만, 컴퓨팅 인프라 요구사항 때문이기도 합니다.
이 글에서는 TFM의 작동 방식을 살펴보고, 최근 모델들을 비교하며, 엔터프라이즈 ML에 이를 도입할 때 따르는 트레이드오프를 설명합니다. 그런 다음 Databricks AI Runtime이 관리형 GPU 인프라, 통합 개발 툴, 모델 거버넌스를 통해 TFM 실험과 파인튜닝을 어떻게 지원하는지 시연해 보겠습니다.
TFM은 학습의 필요성과 맞춤형 모델 유지보수의 오버헤드를 대부분 없애줍니다. 이들은 수백만 개의 다양한 합성 데이터셋으로 사전 학습되어 보지 못한 데이터셋의 변수 간 관계를 추론할 수 있습니다. 예측 시점에 레이블이 지정된 행들은 예측할 행들과 함께 컨텍스트로 전달됩니다. 트랜스포머 아키텍처의 핵심인 어텐션은 각 새로운 행을 이러한 예제들과 연관시킵니다. 예측은 단일 순방향 패스를 통해 생성되며, 이 과정을 인컨텍스트 학습(ICL)이라고 합니다.
이 제로샷 접근 방식은 기본적으로 강력한 베이스라인을 제공하지만, TFM은 파인튜닝할 수도 있습니다. 특정 데이터셋에서 모델의 사전 학습된 가중치를 업데이트함으로써, ML 팀은 가장 중요한 유스케이스에서 예측 정확도를 훨씬 더 높일 수 있습니다.
TFM에서 트랜스포머가 직면하는 주요 복잡성은 다양한 입력 타입을 처리하는 것입니다. 텍스트의 단어이나 이미지의 픽셀과 달리, 테이블은 수치형, 범주형, 불리언 피처가 혼합되어 있으며 각각 고유한 스케일과 의미를 가집니다. 이러한 입력을 공통 잠재 공간으로 효율적으로 임베딩하는 것은 큰 과제였습니다. 커뮤니티는 범주형 피처와 수치형 피처 모두를 단일의 공유 표현으로 매핑하는 특수 토크나이저를 개발하여 이 문제를 해결했습니다.
모든 셀에 대한 효율적인 토큰화가 달성된 후의 문제는 행과 열 간의 관계를 효과적으로 학습하는 방법이었습니다. TabPFNv2는 파운데이션 모델 규모에서 이것이 작동하도록 만든 최초의 모델이었습니다. 그림 1에서 볼 수 있듯이, 이는 행 내에서 그리고 열 내에서 순차적으로 어텐션 메커니즘을 적용하여 피처 간의 복잡한 상호작용과 다양한 데이터 샘플 전반의 기저 관계를 포착하는 방식을 포함했습니다.
이러한 성공에도 불구하고 이 접근 방식은 심각한 확장성 한계에 직면합니다. 행과 열에 걸쳐 밀집 어텐션을 수행함에 따라 계산 비용이 급격히 증가하여, 샘플과 피처의 수가 늘어남에 따라 비용이 너무 비싸집니다. 이에 대한 해결책으로 TabICLv1은 행 압축 접근 방식을 사용하여, 특수 인코더가 각 행을 단 4개의 토큰으로 표현함으로써 경쟁력 있는 예측 성능을 유지하면서 샘플 간 어텐션을 훨씬 더 저렴하게 만듭니다. 이 아키텍처는 그림 2에 나와 있지만, 이후 TabPFNv3, TabFM, KumoTabular와 같은 모델들에 의해 채택되고 확장되었으며, 이들은 오늘날 TabArena 같은 벤치마크에서 상위권에 랭크된 모델들입니다.
아키텍처 외에도 TFM의 또 다른 차별점은 구축되는 방식에 있습니다. 모델 제작자들은 주로 사전 학습 단계에서 합성 데이터를 사용합니다. TFM의 즉각적인 성공을 결정하는 요인은 연구원들이 실제 데이터셋의 분포와 관계를 정확히 나타내는 합성 데이터를 생성할 수 있는지 여부입니다. 강력한 파운데이션 모델을 구축하기 위해 제작자들은 결측치, 이상치, 관측되지 않은 피처와 같은 일반적인 엔터프라이즈 품질 문제를 포착하는 대규모의 다양한 데이터를 시뮬레이션해야 합니다. 구조적 인과 모델이 이러한 사전 학습 데이터셋을 샘플링하기 위한 표준화된 프레임워크를 제공하지만, 정확한 파이프라인 구성은 특정 TFM에 따라 크게 달라집니다.
새로운 모델이 빈번하게 출시되며 TFM 생태계가 급격히 진화함에 따라, 엔터프라이즈 배포를 위해 옵션을 평가하려면 면밀한 검토가 필요합니다. 다음 표는 규모와 라이선스라는 두 가지 실용적인 배포 요인의 관점에서 주요 모델들을 조명합니다.
Model | Release Date | Parameters | Weights license |
TabICLv2 | 02/2026 | ~28M | BSD 3-Clause: 상업적 사용 허용 |
TabFM | 06/2026 | ~400M | TabFM Non-Commercial License v1.0* 상업적 사용 허용되지 않음 |
TabPFNv3.5 | 09/2026 | ~220M | TABPFN-3.5 License v1.0* 상업적 사용 허용되지 않음 |
09/2026 | ~77M | Apache-2.0: 상업적 사용 허용 | |
KumoTabular | 09/2026 | ~215M | OpenMDW-1.1: 상업적 사용 허용 |
*모델 제작자와의 합의에 따라 상업적 사용이 허용될 수 있습니다.
현재 최고 수준(SOTA)의 기술에 대한 자세한 목록은 TabArena 또는 TALENT와 같은 벤치마크를 확인해 보세요. 각 TFM의 고유한 트레이드오프를 고려할 때, 기업의 독점적인 워크로드는 합성 데이터나 표준 벤치마크와 크게 다른 경우가 많으므로 조직의 데이터에 대해 직접 이러한 모델을 평가하는 것을 권장합니다.
예측 정확도를 측정하는 것 외에도 팀은 운영 비용을 평가해야 합니다. TFM은 맞춤형 학습 파이프라인을 제거하여 엔지니어링 시간을 대폭 절약해주지만, GPU에서 파운데이션 모델을 실행하는 것은 본질적으로 CPU에서 전통적인 XGBoost 모델을 실행하는 것보다 예측당 비용이 더 많이 듭니다. 모든 사용 사례에서 TFM을 평가한다는 것은 향상된 출시 속도 및 성능 향상과 GPU 추론의 지속적인 비용을 비교 검토하는 것을 의미합니다.
TFM을 통한 추론은 GPU에서 최적화됩니다. 모델 자체는 단일 GPU에 들어갈 정도로 작지만, 인컨텍스트 학습을 사용하면 모든 예측 시 전체 학습 세트가 모델에 전달됩니다. 결과적으로 GPU 메모리 사용량은 행과 피처의 수에 따라 증가하며, 엔터프라이즈 ML에서 일반적인 데이터셋 크기에서는 순식간에 고갈될 수 있습니다. 고 성능 GPU가 필요함에 따라 다음과 같은 세 가지 문제가 발생합니다.
Databricks는 단일 개방형 플랫폼에서 데이터와 AI를 통합합니다. 완전 관리형 서버리스 GPU 인프라 서비스인 AI Runtime은 엔터프라이즈 GPU 워크로드에 이러한 통합 경험을 제공합니다. 다음과 같은 기능을 포함하는 AI Runtime을 사용하면 실험과 프로덕션화가 그 어느 때보다 쉬워집니다.
Databricks AI Runtime을 사용하면 사일로를 생성하지 않고도 데이터가 있는 위치에서 바로 TFM 워크로드를 실행하고, Unity Catalog를 사용하여 GPU 워크로드의 라이프사이클을 거버넌스하고 관리할 수 있습니다.
이 저장소(Repository)를 복제(Clone)하여 Databricks AI Runtime을 사용하여 다양한 TFM으로 제로샷(zero-shot) 추론을 실행하는 방법을 확인하고, KumoTabular를 사용한 분류 및 회귀에 대한 완전한 파인튜닝 예제를 살펴보세요. 이 예제들은 AI Runtime이 고급 TFM 파인튜닝 워크로드의 라이프사이클과 통합을 손쉽게 관리하는 데 어떻게 도움이 되는지 보여줍니다.
비디오 2에서는 H100을 사용한 파인튜닝 노트북을 살펴보고, GPU 사용량 관측성이 노트북에 직접 내장되어 있는 방식과 메트릭 추적에 사용되는 MLflow 실험을 보여줍니다. 또한 이 워크로드는 Unity Catalog를 통한 중앙 집중식 거버넌스 및 등록을 다루며, 강력한 버전 제어와 구조화된 모델 라이프사이클 관리를 용이하게 합니다.
테이블형 파운데이션 모델은 ML 이니셔티브의 출시 기간을 몇 달에서며 며칠로 단축할 것을 약속하며, Databricks AI Runtime을 사용하면 GPU 워크로드가 더 이상 장애물이 되지 않습니다. 데이터가 상주하는 동일한 플랫폼에서 고처리량 배치 파이프라인이든 실시간 추론 엔드포인트든 상관없이 실험을 거버넌스가 적용된 프로덕션 준비 완료 솔루션으로 손쉽게 전환하여 탐색적 연구와 엔터프라이즈 도입 간의 격차를 해소할 수 있습니다.
머신러닝 환경은 변곡점에 도달했으며, 임팩트 있는 모델을 배포하는 데 장애물이 그 어느 때보다 낮아졌습니다. 기업은 워크로드에 TFM을 도입하여 이 변화를 즉시 활용할 수 있습니다. 우리의 말만 믿지 말고 직접 데이터를 기반으로 TFM을 평가하여 오늘날 성능, 간소화된 운영, 정확하고 실행 가능한 예측을 이끌어내세요.
테이블형 파운데이션 모델(TFM)이란 무엇인가요?
TFM은 테이블형 데이터를 위해 특별히 설계된 사전 학습된 트랜스포머 모델입니다. 수백만 개의 다양한 합성 데이터셋으로 사전 학습되었기 때문에 처음부터 학습할 필요 없이 새로운 데이터의 관계를 추론할 수 있어 머신러닝 모델을 배포하는 데 필요한 시간을 대폭 줄여줍니다.
TFM은 테이블 내의 다양한 유형의 데이터를 어떻게 처리하나요?
TFM은 특수 토크나이저를 사용하여 수치형, 범주형, 불리언 피처와 같은 혼합 데이터 유형을 단일 공유 잠재 벡터 공간으로 매핑합니다. 이를 통해 트랜스포머의 어텐션 메커니즘이 서로 다른 피처 유형 간의 복잡한 상호 작용을 동시에 처리할 수 있습니다.
테이블형 파운데이션 모델에 GPU가 권장되는 이유는 무엇인가요?
TFM은 CPU보다 GPU에서 훨씬 더 효율적으로 실행되는 밀집 행렬 곱셈에 의존하는 트랜스포머 아키텍처를 기반으로 구축됩니다. 기술적으로는 CPU에서 TFM을 실행할 수 있지만 엔터프라이즈급 데이터에는 실행 속도가 너무 느립니다. 또한 인컨텍스트 학 습 중에 생성되는 대규모 중간 계산(활성화)을 합리적인 시간 내에 실행하려면 GPU의 병렬 처리 능력과 메모리 대역폭이 필요합니다.
테이블형 파운데이션 모델을 파인튜닝할 수 있나요?
네. TFM은 제로샷 추론을 사용하여 즉시 강력한 예측 정확도를 제공하지만, 중요한 사용 사례에서 성능을 더욱 높이기 위해 특정 독점 데이터셋에 대해 사전 학습된 가중치를 파인튜닝할 수 있습니다.
Databricks AI Runtime은 TFM에 어떻게 도움이 되나요?
Databricks AI Runtime은 데이터가 있는 위치에 바로 완전 관리형 서버리스 GPU 인프라를 제공합니다. 데이터를 외부 GPU 도구로 이동할 필요가 없으므로 데이터 사일로를 생성하지 않고도 추론을 실행하고, 모델을 파인튜닝하고, Unity Catalog를 통해 거버넌스를 관리할 수 있습니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.