TinyFishはDatabricksを利用して、エンタープライズ向けウェブエージェントを支える特化型ウェブネイティブモデルのポストトレーニング、評価、サービングを実施しています。
によって Sudheesh Nair, Zach Richardson, ジュリア・ブルイエット 、 テジャス・スンダレサン による投稿
TinyFishは、実際のウェブ上でエージェントを動かす必要のある企業向けにインフラを構築しています。同社のSearch、Fetch、Browser、Agentの各APIは、エージェントが動的なサイトのナビゲーション、情報の取得、アプリケーションとの連携、複数ステップにわたるタスクの実行を必要とする、大規模な認証付きウェブワークフローを支援します。
TinyFishは、これらのエージェントタスク向けに独自の特化型ウェブネイティブモデルを開発しています。モデル開発の取り組みが拡大するにつれ、チームはその周辺インフラ（ポストトレーニング用のGPUコンピュート、エージェント全体の動作を測定できる評価基盤、本番環境でのサービング、そしてシステムのパフォーマンスを把握するために必要なデータ）も構築する必要がありました。
これらの要素を個別のシステムで管理するのではなく、TinyFishはDatabricks上でモデル開発ライフサイクルの構築を開始しました。 AI Runtimeはトレーニングとファインチューニング用のマネージドGPUインフラを提供し、MLflowは評価をサポート、Databricks Model Servingは本番環境のサービング層を提供します。
当社にとって、モデルのトレーニングは課題の一部に過ぎません。変更によって実際のタスクを完了するエージェントの能力が真に向上しているかを知り、その改善を素早く本番環境に反映できる必要があります。AI Runtimeを使えば 、ステージごとに個別のスタックを構築することなく、GPUでのトレーニング、MLflowでの評価、ウェブネイティブモデルのサービングを行うことができます。—Zach Richardson（TinyFish AI部門責任者）
TinyFishは教師ありファインチューニングからウェブネイティブモデルのポストトレーニングを開始し、現在はDirect Preference Optimization（DPO）への移行を進めています。チームはAI Runtimeを通じてDatabricksのマネージドGPU上でこれらのワークロードを実行しており、研究者が自ら個別のトレーニングプラットフォームを運用することなくGPUインフラを活用できるようになっています。
トレーニング作業は、TinyFishによるモデル評価手法と密接に連携しています。モデルはより大きなウェブエージェントの一部として動作するため、個々のモデルの応答を評価するだけでは全体像の一部しか把握できません。そのためTinyFishは、エージェント全体が要求されたタスクを正常に完了できたかどうかを評価しています。
社内のGo/No-Goベンチマークにおいて、TinyFishのウェブネイティブモデルは2,178件のウェブエージェントタスクのうち1,691件を正常に完了し、77.6%のタスク成功率を記録しました。別のLLMジャッジが元のリクエスト、エージェントのアクション履歴、および最終結果を評価します。タスクは、要求されたアクションが完了したか、あるいはすべての要件を満たした正しい回答が返された場合にのみ「合格」と判定され、部分的な完了、誤った回 答、無効な結果は失敗とみなされます。
これにより、TinyFishはモデル開発における有用なシグナルを得ることができます。モデルへの変更がエージェント全体のパフォーマンスにどのように影響するかを確認し、その結果をその後のポストトレーニングに活かすことができます。
成功したモデルイテレーションは、Databricks Model Servingを通じて本番環境へ移行されます。TinyFishはすでに、検索リランカーやクエリリライターなど、本番モデルをDatabricks上で配信しています。また、同プラットフォーム上でウェブネイティブモデルのホスティングとサービングも行っています。
直近15日間の集計で、TinyFishはウェブネイティブモデルに関わる294,781回のエージェント実行（合計640万回のツールステップ）を記録しました。その期間の推定モデルサービング費用は、1実行あたり0.088ドル、ツールステップ1回あたり0.0040ドルでした。これらの数値は、エージェントスタック全体ではなくTinyFishのウェブネイティブモデルのみのサービングコストを反映しており、チームはDatabricks内で品質や利用状況データとともにサービングのコスト効率を一貫した方法で追跡できるようになっています。
これらの機能を組み合わせることで、TinyFishはエージェントの挙動からポストトレーニング、評価、デプロイに至るシームレスなパスを確立しています。評価結果、利用データ、コストレポートをサービングワークロードとともにDatabricks内に保持できるため、モデルのパフォーマンスを把握し、その後のモデル開発に活かすための共通の基盤が整います。
汎用基礎モデルは現在もTinyFishのエージェントアーキテクチャにおいて重要な役割を果たしていますが、独自のウェブネイティブモデルにより、ウェブエージェントタスクに特化して最適化できるシステムが実現しています。
エージェント全体で外部の基礎モデルAPIだけに頼るのではなく、プロダクトが実際に実行する必要のあるタスクに基づいてモデルの開発と評価を行うことができます。このアプローチを支えるには、単なるGPUのキャパシティ以上のものが必要です。開発サイクルは、ポストトレーニング、評価、本番サービング、およびモデルをめぐる運用データにまで及びます。
AI Runtimeは、周縁のMLライフサイクルに使用しているのと同じDatabricks環境内でマネージドGPUインフラを提供します。これにより、モデルを中心に別個のディープラーニングスタックを構築することなく、トレーニングとサービングを、モデルの性能把握に使用する評価データや運用データの近くで維持できます。
自社モデルと並行して、TinyFishはコスト追跡、キー管理、ガバナンスを一元化するため、Unity Gatewayを通じて外部基礎モデルへのアクセスを集約しています。これにより、エージェントスタックの拡大に伴い、モデルトラフィックをより一貫した方法で管理できるようになります。
成長中のAI企業にとって、その利点は実用的なものです。運用する独立したシステムが減ることで、TinyFishの差別化要因となるモデルやプロダクトの挙動に、より多くのエンジニアリングリソースを集中させることができます。
TinyFishの強みは、エージェントをいかに素早く改善できるかにあります。当社のエンジニアには、GPUインフラの管理や、分断されたシステム間でのモデルとデータの移動に時間を費やしてほしくありません。Databricksはウェブネイティブモデルの構築、改善、運用を1つの基盤で提供してくれるため、チームはプロダクトに専念できます。—Sudheesh Nair（TinyFish 共同創業者 兼 CEO）
TinyFishはウェブネイティブモデル開発へのアプローチを進化させ続けており、教師ありファインチューニングからDPOへと拡張し、モデルの発展に伴い、より大規模なトレーニングワークロードの検討を行っています。
基盤となるワークフローは、こうした手法が変化しても一貫性を保てるように設計されています。エージェント評価によってモデルの優れた点や改善が必要な点が明らかになります。その情報はポストトレーニングに還元され、新しいバージョンはタスク全体に対して評価され、本番運用の準備が整ったモデルは同一環境から配信されます。
このライフサイクルをDatabricks上で実行することで、TinyFishはGPUインフラを、独自に構築・保守しなければならない個別のシステムではなく、MLプラットフォームの一部として扱うことができます。これにより、本番環境でモデルから得られた知見を、次のモデルイテレーションへとよりダイレクトに反映させることが可能になります。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。