FactSet이 Databricks AI Runtime으로 모델 학습 및 배포 시간을 수일에서 수시간으로 단축한 방법

FactSet의 Text-to-Formula (TTF) 시스템은 보기보다 까다로운 작업을 수행합니다. 투자 전문가의 자연어 요청을 해석하여 정확한 FactSet Query Language (FQL) 수식으로 변환하는 것입니다.

FactSet은 초기에 검색 증강 생성(RAG)을 기반으로 TTF를 구축하여, 특정 요청에 관련된 예시와 정보를 검색해 활용했습니다. 하지만 사용량이 늘어남에 따라 쿼리는 더욱 전문화되고 수식은 복잡해졌으며, 이 방식은 품질상의 한계에 부딪혔습니다. 이에 FactSet은 복합 AI(Compound AI) 아키텍처에 파인 튜닝된 오픈 모델을 도입하기 시작했으며, 추론 시 검색에 주로 의존하는 대신 FQL의 구조와 패턴을 바탕으로 모델을 학습시켰습니다. 초기 TTF 작업에서 파인 튜닝된 모델을 도입한 결과, 엔드투엔드 지연 시간이 약 60% 감소한 것으로 나타났습니다.

시스템이 진화함에 따라 파인 튜닝의 역할도 커졌습니다. FactSet은 더 많은 학습 데이터를 축적하고 모델을 정기적으로 업데이트하기 시작했으며, 과거 실험적이었던 워크플로를 TTF 개발의 정기적인 프로세스로 정착시켰습니다. 현재 팀은 대략 2~3주마다 모델을 파인 튜닝하고 있습니다.

파인 튜닝이 릴리스 주기의 일부가 될 때

몇 주마다 학습을 진행하면 인프라 요구 사항이 달라집니다. 가끔 진행하는 실험이라면 환경을 준비하고 GPU 컴퓨팅을 설정하는 것이 감당할 만할 수 있습니다. 하지만 새로운 데이터나 모델을 테스트할 준비가 될 때마다 이러한 작업을 반복하면 개발 주기에 직접적인 오버헤드가 발생합니다.

모델 요구 사항 역시 실험마다 변경될 수 있습니다. FactSet은 Llama 기반 모델을 활용해 왔으며 최신 오픈 모델도 지속적으로 평가하고 있습니다. 모델, 프롬프트 길이, 출력 특성에 따라 필요한 컴퓨팅 구성이 다를 수 있으므로, 학습 환경을 고정된 GPU 설정에 묶어두면 팀의 실험과 적응이 어려워집니다.

FactSet은 Databricks AI Runtime을 사용하여 서버리스 GPU 인프라에서 이러한 파인 튜닝 워크로드를 실행합니다. 엔지니어는 기본 GPU 환경을 미리 프로비저닝하고 설정할 필요 없이 특정 학습 실행의 요구 사항에 따라 컴퓨팅을 선택할 수 있습니다.

개발 루프 내에서 학습 유지하기

TTF의 학습 워크플로는 Databricks에서 이미 실행 중인 데이터, 실험, 모델 관리 및 거버넌스와 함께 작동합니다. FactSet은 MLflow를 사용하여 모델 개발 및 실험을 추적하며, 기본 데이터는 기존 Lakehouse 환경 내에서 통제 및 관리됩니다.

AI Runtime으로 파인 튜닝을 실행하면 GPU 학습이 해당 워크플로 내부에서 이루어집니다. 엔지니어는 파인 튜닝을 위해 별도의 GPU 스택을 유지할 필요 없이 거버넌스가 적용된 데이터를 활용하고, 새 모델을 학습시키며, 생성된 아티팩트를 추적하고, 배포 단계로 나아갈 수 있습니다. FactSet은 이를 통해 맞춤형 TTF 모델의 설정, 학습, 배포에 소요되는 시간을 수일에서 수시간으로 줄였습니다.

Databricks AI Runtime 덕분에 맞춤형 Text To Formula (TTF) 모델을 학습시키는 프로세스가 크게 간소화되었습니다. 인프라 설정이나 지연 없이 프롬프트 크기와 출력 토큰 생성에 따라 적절한 컴퓨팅을 쉽게 선택할 수 있었습니다. 이를 통해 신속하게 대처하고, Lakehouse 워크플로를 유지하면서, 완전한 거버넌스를 갖춘 고품질 모델을 제공할 수 있었으며, 모델의 설정, 학습, 배포 시간을 수일에서 수시간으로 단축했습니다.—Nikhil Sunderraj, FactSet Research Systems, Inc. 수석 머신러닝 엔지니어

지속적으로 변화하는 모델에 맞춰 구축하기

모델을 유연하게 변경하는 능력은 처음부터 TTF 진화의 중요한 부분이었습니다. 고도화된 RAG, 특히 외부 호스팅 모델에만 의존하는 방식은 사용량이 늘어나고 수식이 복잡해짐에 따라 일관된 정확도와 지연 시간을 유지하는 데 병목 현상을 일으킵니다. RAG는 더 복잡한 수식을 접하기 전까지만 효과적이었습니다. 파인 튜닝된 오픈 모델은 FactSet에 품질과 지연 시간을 개선할 수 있는 또 다른 방법을 제공했습니다. 이제 새로운 모델이 출시되면 팀은 현재 선택한 모델을 고정된 것으로 보지 않고 워크로드에 맞춰 평가할 수 있습니다.

TTF 자체도 더욱 전문화되고 있습니다. FactSet은 더 많은 데이터가 축적됨에 따라 쿼리 분해, 구성 요소 추출, 라이브러리 식별과 같은 작업에 사용할 추가 파인 튜닝 모델을 모색하고 있습니다. 이를 통해 워크플로의 각 부분에 가장 적합한 모델을 활용할 기회가 늘어나는 동시에, 빠르고 반복 가능한 학습의 중요성도 커지고 있습니다.

주변 학습 환경을 새로 구축할 필요가 없으면 모델 변경을 훨씬 더 쉽게 테스트할 수 있습니다. AI Runtime을 통해 온디맨드로 GPU 컴퓨팅을 사용할 수 있게 되면서, 엔지니어링 작업은 '어떤 모델을 사용할지', '어떻게 학습시킬지', '결과 버전이 애플리케이션을 개선하는지' 등 TTF에 실제로 영향을 미치는 문제로 전환되었습니다.

또한 파인 튜닝 파이프라인은 Databricks Lakeflow Jobs 및 Pipelines 기반의 플러그 앤 플레이 방식의 재사용 가능한 프레임워크로 구축되었습니다. 이는 최소한의 설정 작업만으로 다양한 TTF 작업과 타 팀에서 쉽게 도입할 수 있도록 설계되었으며, 온보딩의 어려움을 줄이고 통합을 가속화하는 표준화된 기반을 제공합니다.

현실적인 모델 선택 실현하기

오픈 모델 분야는 빠르게 발전하고 있습니다. 오늘 품질, 지연 시간, 비용 면에서 적절한 균형을 제공하는 모델이 6개월 후에도 원하는 모델이 아닐 수 있습니다. 따라서 유연한 모델 선택권을 유지하려면 단순히 새로운 가중치 세트를 다운로드하는 것 이상이 필요합니다. 이를 뒷받침하는 학습 및 배포 워크플로가 함께 보조를 맞춰야 합니다.

TTF에 대한 FactSet의 경험은 가동 환경에서 이것이 어떻게 구현되는지 보여줍니다. 팀은 데이터와 애플리케이션이 발전함에 따라 새로운 오픈 모델을 계속 테스트할 수 있으며, AI Runtime은 기존 Databricks 워크플로 내에서 서버리스 GPU 인프라를 제공합니다. FactSet은 반복 주기마다 설정, 학습, 배포에 며칠씩 소요하는 대신 몇 시간 만에 해당 주기를 완료할 수 있습니다.

몇 주마다 재학습되는 시스템의 경우 이러한 차이는 시너지 효과를 냅니다. 새로운 데이터를 더 빨리 새 모델에 적용할 수 있으며, 엔지니어는 학습에 필요한 인프라를 준비하는 대신 TTF 자체를 개선하는 데 매 반복 주기의 시간을 더 많이 사용할 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)