TinyFish는 Databricks를 활용하여 엔터프라이즈 웹 에이전트의 기반이 되는 특화된 웹 네이티브 모델을 사후 학습, 평가 및 서빙합니다.
작성자: Sudheesh Nair, Zach Richardson, Julia Brouillette , 테자스 순다레산
TinyFish는 실시간 웹에서 작업하는 에이전트가 필요한 엔터프라이즈를 위한 인프라를 구축합니다. TinyFish의 Search, Fetch, Browser 및 Agent API는 대규모 인증 웹 워크플로를 지원하므로, 에이전트가 동적 사이트를 탐색하고 정보를 검색하고 애플리케이션과 상호작용하며 여러 단계에 걸쳐 작업을 수행할 수 있습니다.
TinyFish는 이러한 에이전트 작업을 위해 자체 특화 웹 네이티브 모델을 개발하고 있습니다. 모델 작업이 확장됨에 따라 팀은 사후 학습을 위한 GPU 컴퓨팅, 전체 에이전트의 동작을 측정할 수 있는 평가, 프로덕션 서빙, 시스템의 성능을 이해하는 데 필요한 데이터 등 모델을 둘러싼 인프라도 함께 구축해야 했습니다.
TinyFish는 이러한 구성 요소들을 별도의 시스템에서 관리하는 대신 Databricks 기반으로 모델 개발 수명주기를 구축하기 시작했습니다. AI Runtime은 학습 및 미세 조정을 위한 관리형 GPU 인프라를 제공하며, MLflow는 평가를 지원하고 Databricks Model Serving은 프로덕션 서빙 레이어를 제공합니다.
저희에게 모델 학습은 문제의 일부일 뿐입니다. 저희는 특정 변경 사항이 실제 작업을 완료하는 에이전트의 성능을 실제로 향상시키는지 파악하고, 그 개선 사항을 프로덕션에 빠르게 반영할 수 있어야 합니다. AI Runtime을 사용하면 각 단계마다 별도의 스택을 구축할 필요 없이 GPU에서 학습하고 MLflow로 평가하며 웹 네이티브 모델을 서빙할 수 있습니다.—Zach Richardson, Head of AI, TinyFish
TinyFish는 지도 미세 조정을 통해 웹 네이티브 모델의 사후 학습을 시작했으며, DPO(Direct Preference Optimization)로 전환하고 있습니다. 팀은 AI Runtime을 통해 Databricks 관리형 GPU에서 이러한 워크로드를 실행하므로, 연구진이 별도의 학습 플랫폼을 직접 운영할 필요 없이 GPU 인프라를 활용할 수 있습니다.
학습 작업은 TinyFish가 모델을 평가하는 방식과 밀접하게 연결되어 있습니다. 모델이 더 큰 웹 에이전트의 일부로 작동하기 때문에 개별 모델 응답을 평가하는 것만으로는 전체 상황을 파악하기 어렵습니다. 따라서 TinyFish는 전체 에이전트가 요청된 작업을 성공적으로 완료했는지 여부를 평가합니다.
자체 내부 진행/중단(go/no-go) 벤치마크에서 TinyFish의 웹 네이티브 모델은 2,178개의 웹 에이전트 작업 중 1,691개를 성공적으로 완료하여 77.6%의 작업 성공률을 기록했습니다. 별도의 LLM 심사 모델이 원본 요청, 에이전트의 작업 내역, 최종 결과를 검토합니다. 요청된 작업이 완료되거나 모든 요구 사항을 충족하는 정답이 반환된 경우에만 작업이 통과되며, 부분 완료, 오답, 잘못 된 결과는 실패로 처리됩니다.
이를 통해 TinyFish는 모델 개발에 유용한 신호를 얻을 수 있습니다. 팀은 모델 변경 사항이 전체 에이전트 성능에 미치는 영향을 확인하고, 이 결과를 바탕으로 향후 사후 학습 방향을 설정할 수 있습니다.
성공적인 모델 반복 버전은 Databricks Model Serving을 통해 프로덕션 단계로 이동할 수 있습니다. TinyFish는 이미 검색 리랭커(reranker) 및 쿼리 리라이터(rewriter)를 포함한 프로덕션 모델을 Databricks에서 서빙하고 있습니다. 또한 플랫폼에서 자체 웹 네이티브 모델을 호스팅 및 서빙합니다.
최근 15일 동안 TinyFish는 웹 네이티브 모델과 관련된 294,781회의 에이전트 실행을 기록했으며, 총 640만 개의 툴 단계를 거쳤습니다. 해당 기간의 추정 모델 서빙 비용은 실행당 $0.088, 툴 단계당 $0.0040이었습니다. 이 수치는 전체 에이전트 스택이 아닌 TinyFish의 웹 네이티브 모델에 대한 서빙 비용만을 반영한 것이며, Databricks에서 품질 및 사용량 데이터와 함께 서빙 경제성을 일관되게 추적할 수 있는 방법을 팀에 제공합니다.
이러한 기능들이 결합되어 TinyFish는 에이전트 동작부터 사후 학습, 평가, 배포에 이르는 연속적인 경로를 확보할 수 있습니다. 평가 결과, 사용량 데이터, 비용 보고서는 서빙 워크로드와 함께 Databricks에 유지되므로, 팀은 모델의 성능을 이해하고 이후 모델 개발에 필요한 정보를 제공하는 공통 기반을 갖게 됩니다.
범용 파운데이션 모델은 여전히 TinyFish의 에이전트 아키텍처에서 중요한 역할을 하지만, 웹 네이티브 모델을 통해 웹 에이전트 작업에 특화하여 최적화할 수 있는 시스템을 확보했습니다.
TinyFish는 에이전트 전반에서 외부 파운데이션 모델 API에만 의존하는 대신 제품이 실제로 수행해야 하는 작업에 맞춰 모델을 개발하고 평가할 수 있습니다. 이러한 방식을 지원하려면 GPU 용량 그 이상이 필요합니다. 개발 수명주기는 사후 학습, 평가, 프로덕션 서빙, 모델 주변의 운영 데이터를 모두 아우릅니다.
AI Runtime은 주변 ML 수명주기에 사용하는 것과 동일한 Databricks 환경 내에서 TinyFish에 관리형 GPU 인프라를 제공합니다. 이를 통해 팀은 모델 주변에 별도의 딥러닝 스택을 구축하는 대신 학습 및 서빙을 모델 성능 파악에 사용되는 평가 및 운영 데이터에 더 가깝게 유지할 수 있습니다.
TinyFish는 자체 모델과 함께 중앙집중식 비용 추적, 키 관리 및 거버넌스를 위해 Unity Gateway를 통해 외부 파운데이션 모델에 대한 액세스를 통합하고 있습니다. 이를 통해 팀은 에이전트 스택이 확장됨에 따라 모델 트래픽을 보다 일관되게 관리할 수 있습니다.
성장하는 AI 기업에게 제공되는 이점은 매우 실질적입니다. 운영해야 할 독립형 시스템이 줄어들면 TinyFish를 차별화하는 모델과 제품 동작에 엔지니어링 시간을 더 많이 집중할 수 있습니다.
TinyFish의 강점은 에이전트를 얼마나 빠르게 개선할 수 있는지에서 나옵니다. 저희는 엔지니어들이 GPU 인프라를 관리하거나 연결되지 않은 시스템 간에 모델과 데이터를 이동하는 데 시간을 소비하는 것을 원하지 않습니다. Databricks는 웹 네이티브 모델을 구축, 개선 및 실행하기 위한 단일 기반을 제공하므로 팀이 제품에 계속 집중할 수 있습니다.—Sudheesh Nair, Co-Founder and CEO, TinyFish
TinyFish는 웹 네이티브 모델 개발 방식을 지속적으로 발전시켜 지도 미세 조정을 넘어 DPO로 확장하고, 모델이 발전함에 따라 더 큰 학습 워크로드를 탐색하고 있습니다.
기반 워크플로는 이러한 기법이 변경되더라도 일관되게 유지되도록 설계되었습니다. 에이전트 평가를 통해 모델이 어디서 우수한 성능을 보이는지, 어디서 추가 작업이 필요한지 파악할 수 있습니다. 이러한 정보는 사후 학습에 반영되고, 새 버전은 전체 작업에 대해 평가될 수 있으며, 프로덕션 준비가 완료된 모델은 동일한 환경에서 서빙될 수 있습니다.
Databricks에서 이러한 수명주기를 실행함으로써 TinyFish는 GPU 인프라를 직접 조립하고 유지 관리해야 하는 별도의 시스템이 아닌 ML 플랫폼의 일부로 다룰 수 있습니다. 이를 통해 팀은 프로덕션에서 모델에 대해 습득한 지식으로부터 모델의 다음 반복으로 이어지는 더욱 직접적인 경로를 확보할 수 있습니다.
(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)
블로그를 구독하고 최신 게시물을 이메일로 받아보세요.