TinyFish utilise Databricks pour le post-entraînement, l'évaluation et le service de son modèle spécialisé web-native, qui alimente son agent web d'entreprise.
par Sudheesh Nair, Zach Richardson, Julia Brouillette et Tejas Sundaresan
TinyFish crée des infrastructures pour les entreprises dont les agents doivent fonctionner sur le web en direct. Ses API Search, Fetch, Browser et Agent prennent en charge des workflows web authentifiés à grande échelle, où un agent peut avoir besoin de naviguer sur des sites dynamiques, de récupérer des informations, d'interagir avec des applications et d'exécuter une tâche en plusieurs étapes.
TinyFish développe son propre modèle spécialisé web-native pour ces tâches d'agent. Au fur et à mesure que l'entreprise développait ses travaux sur les modèles, l'équipe a également dû concevoir l'infrastructure environnante : le calcul GPU pour le post-entraînement, l'évaluation capable de mesurer le comportement de l'agent complet, le service en production et les données nécessaires pour comprendre les performances du système.
Plutôt que de gérer ces éléments sur des systèmes séparés, TinyFish a commencé à concevoir le cycle de vie du développement de ses modèles sur Databricks. AI Runtime fournit une infrastructure GPU gérée pour l'entraînement et le fine-tuning, tandis que MLflow gère l'évaluation et Databricks Model Serving fournit la couche de service en production.
Pour nous, l'entraînement du modèle n'est qu'une partie du problème. Nous devons savoir si une modification rend réellement l'agent plus efficace dans l'accomplissement de tâches réelles, puis être en mesure de déployer rapidement cette amélioration en production. Avec AI Runtime, nous pouvons entraîner sur des GPU, évaluer avec MLflow et servir notre modèle web-native sans avoir à créer une pile séparée pour chaque étape.—Zach Richardson, Head of AI, TinyFish
TinyFish a commencé le post-entraînement de son modèle web-native avec un fine-tuning supervisé et s'oriente vers l'optimisation directe des préférences, ou DPO. L'équipe exécute ces charges de travail sur des GPU gérés par Databricks via AI Runtime, ce qui permet aux chercheurs de travailler avec une infrastructure GPU sans avoir à gérer eux-mêmes une plateforme d'entraînement distincte.
Le travail d'entraînement est étroitement lié à la manière dont TinyFish évalue son modèle. Comme le modèle fonctionne au sein d'un agent web plus vaste, l'évaluation d'une réponse individuelle ne donne qu'une vision partielle. TinyFish évalue plutôt si l'agent complet accomplit avec succès la tâche demandée.
Lors de son benchmark interne « go/no-go », le modèle web-native de TinyFish a réussi 1 691 des 2 178 tâches d'agent web, soit un taux de réussite de 77,6 %. Un juge LLM distinct examine la demande initiale, l'historique des actions de l'agent et son résultat final. Une tâche n'est validée que lorsque l'action demandée est terminée ou que la réponse exacte est fournie en satisfaisant à toutes les exigences ; les exécutions partielles, les réponses incorrectes et les résultats non valides sont considérés comme des échecs.
Cela donne à TinyFish un signal utile pour le développement des modèles. L'équipe peut observer l'impact des modifications apportées au modèle sur les performances de l'agent complet et utiliser ces résultats pour guider le post-entraînement ultérieur.
Les itérations réussies du modèle peuvent ensuite être mises en production via Databricks Model Serving. TinyFish sert déjà des modèles en production sur Databricks, notamment son module de reclassement de recherche et son réécripteur de requêtes. L'équipe héberge et sert également son modèle web-native sur la plateforme.
Sur une période récente de 15 jours, TinyFish a enregistré 294 781 exécutions d'agents impliquant son modèle web-native, réparties sur 6,4 millions d'étapes d'outils. Le coût estimé du service de modèle au cours de cette période était de 0,088 $ par exécution, soit 0,0040 $ par étape d'outil. Ces chiffres reflètent uniquement les coûts de service du modèle web-native de TinyFish, et non l'ensemble de la pile de l'agent, offrant à l'équipe un moyen cohérent de suivre la rentabilité du service ainsi que les données de qualité et d'utilisation dans Databricks.
Ensemble, ces capacités offrent à TinyFish un parcours continu du comportement de l'agent au post-entraînement, à l'évaluation et au déploiement. Les résultats d'évaluation, les données d'utilisation et les rapports de coûts restent dans Databricks aux côtés de la charge de travail de service, offrant à l'équipe un socle commun pour comprendre les performances de son modèle et alimenter le développement ultérieur.
Les modèles fondateurs généralistes jouent toujours un rôle important dans l'architecture d'agent de TinyFish, mais son modèle web-native offre à l'équipe un système qu'elle peut optimiser spécifiquement pour les tâches d'agent web.
TinyFish peut développer et évaluer son modèle par rapport aux tâches que son produit doit réellement exécuter, plutôt que de s'appuyer exclusivement sur des API externes de modèles fondateurs à travers l'agent. La mise en œuvre de cette approche nécessite plus qu'une simple capacité GPU. Le cycle de développement englobe le post-entraînement, l'évaluation, le service en production et les données opérationnelles entourant le modèle.
AI Runtime offre à TinyFish une infrastructure GPU gérée au sein du même environnement Databricks que celui utilisé pour le cycle de vie ML global. Cela permet à l'équipe de maintenir l'entraînement et le service au plus près des données d'évaluation et d'exploitation servant à comprendre les performances du modèle, plutôt que de créer une pile de deep learning séparée autour de celui-ci.
En parallèle de ses propres modèles, TinyFish centralise l'accès aux modèles fondateurs externes via Unity Gateway pour assurer un suivi des coûts, une gestion des clés et une gouvernance centralisés. L'équipe dispose ainsi d'un moyen plus cohérent de gérer le trafic des modèles au fur et à mesure que la pile d'agents s'agrandit.
Pour une entreprise en pleine croissance spécialisée dans l'IA, le bénéfice est concret : moins de systèmes autonomes à gérer signifie plus de temps d'ingénierie consacré aux modèles et au comportement du produit qui font la différence de TinyFish.
Notre avantage chez TinyFish réside dans la rapidité avec laquelle nous pouvons améliorer l'agent. Nous ne voulons pas que nos ingénieurs passent leur temps à gérer des infrastructures GPU ou à déplacer des modèles et des données entre des systèmes déconnectés. Databricks nous fournit un socle unique pour concevoir, améliorer et exécuter notre modèle web-native, ce qui permet à l'équipe de rester concentrée sur le produit.—Sudheesh Nair, cofondateur et CEO, TinyFish
TinyFish continue de faire évoluer son approche du développement de son modèle web-native, en dépassant le fine-tuning supervisé pour intégrer le DPO et en explorant des charges de travail d'entraînement plus importantes au fur et à mesure de la progression du modèle.
Le workflow sous-jacent est conçu pour rester cohérent au fur et à mesure que ces techniques évoluent. L'évaluation de l'agent permet d'identifier les points forts du modèle et les aspects nécessitant des améliorations. Ces informations alimentent le post-entraînement, les nouvelles versions peuvent être évaluées sur des tâches complètes, et les modèles prêts pour la production peuvent être servis à partir du même environnement.
En exécutant ce cycle de vie sur Databricks, TinyFish peut traiter l'infrastructure GPU comme un composant de sa plateforme ML plutôt que comme un système séparé qu'il faut assembler et maintenir. Cela offre à l'équipe un chemin plus direct entre les enseignements tirés de son modèle en production et sa prochaine itération.
(Cet article de blog a été traduit à l'aide d'outils basés sur l'intelligence artificielle) Article original
Abonnez-vous à notre blog et recevez les derniers articles directement dans votre boîte mail.