A TinyFish usa o Databricks para pós-treinar, avaliar e servir seu modelo nativo da web especializado, que alimenta seu agente web corporativo.
por Sudheesh Nair, Zach Richardson, Julia Brouillette e Tejas Sundaresan
A TinyFish desenvolve infraestrutura para empresas que precisam de agentes para trabalhar na web em tempo real. Suas APIs Search, Fetch, Browser e Agent dão suporte a fluxos de trabalho web autenticados e em grande escala, nos quais um agente pode precisar navegar por sites dinâmicos, recuperar informações, interagir com aplicações e realizar tarefas em várias etapas.
A TinyFish está desenvolvendo seu próprio modelo especializado nativo da web para essas tarefas de agente. Conforme a empresa expandiu seu trabalho com modelos, a equipe também precisou criar a infraestrutura ao redor dele: computação em GPU para pós-treinamento, avaliação capaz de medir o comportamento de todo o agente, disponibilização em produção e os dados necessários para entender o desempenho do sistema.
Em vez de gerenciar essas partes em sistemas separados, a TinyFish começou a criar seu ciclo de vida de desenvolvimento de modelos no Databricks. O AI Runtime oferece infraestrutura gerenciada de GPU para treinamento e ajuste fino, enquanto o MLflow auxilia na avaliação e o Databricks Model Serving fornece a camada de disponibilização em produção.
Para nós, treinar o modelo é apenas parte do desafio. Precisamos saber se uma mudança realmente torna o agente melhor na conclusão de tarefas reais e, depois, colocar essa melhoria em produção rapidamente. Com o AI Runtime, podemos treinar em GPUs, avaliar com o MLflow e disponibilizar nosso modelo nativo da web sem precisar criar uma pilha separada para cada etapa.- Zach Richardson, head de IA da TinyFish
A TinyFish começou o pós-treinamento de seu modelo nativo da web com ajuste fino supervisionado e está avançando para o Direct Preference Optimization, ou DPO. A equipe executa essas cargas de trabalho em GPUs gerenciadas pelo Databricks por meio do AI Runtime, permitindo que os pesquisadores trabalhem com a infraestrutura de GPU sem precisar operar uma plataforma de treinamento separada.
O trabalho de treinamento está intimamente ligado a como a TinyFish avalia seu modelo. Como o modelo opera como parte de um agente web maior, avaliar a resposta individual do modelo revela apenas parte da história. Em vez disso, a TinyFish avalia se o agente completo conclui a tarefa solicitada com sucesso.
Em seu benchmark interno de aprovação/reprovação (go/no-go), o modelo nativo da web da TinyFish concluiu com sucesso 1.691 de 2.178 tarefas de agente web, alcançando uma taxa de sucesso de 77,6%. Um juiz LLM separado analisa a solicitação original, o histórico de ações do agente e seu resultado final. Uma tarefa só é aprovada quando a ação solicitada é concluída ou a resposta correta é retornada com todos os requisitos atendidos; conclusões parciais, respostas incorretas e resultados inválidos contam como falhas.
Isso fornece à TinyFish um sinal útil para o desenvolvimento do modelo. A equipe consegue ver como as alterações no modelo afetam o desempenho do agente completo e usar esses resultados para orientar o pós-treinamento subsequente.
Iterações bem-sucedidas do modelo podem passar para a produção por meio do Databricks Model Serving. A TinyFish já disponibiliza modelos em produção no Databricks, incluindo seu reranker de busca e seu reescritor de consultas. A equipe também hospeda e disponibiliza seu modelo nativo da web na plataforma.
Em um período recente de 15 dias, a TinyFish registrou 294.781 execuções de agente envolvendo seu modelo nativo da web em 6,4 milhões de etapas de ferramentas. O custo estimado de disponibilização do modelo durante esse período foi de US$ 0,088 por execução, ou US$ 0,0040 por etapa de ferramenta. Esses números refletem apenas os custos de disponibilização do modelo nativo da web da TinyFish, não toda a pilha do agente, e dão à equipe uma maneira consistente de acompanhar os custos de disponibilização junto com dados de qualidade e uso no Databricks.
Juntas, essas funcionalidades dão à TinyFish um caminho contínuo desde o comportamento do agente até o pós-treinamento, a avaliação e a implantação. Os resultados de avaliação, os dados de uso e os relatórios de custo podem permanecer no Databricks junto com a carga de trabalho de disponibilização, oferecendo à equipe uma base comum para entender como seu modelo performa e orientar o desenvolvimento subsequente do modelo.
Os modelos de fundação de uso geral ainda desempenham um papel importante na arquitetura de agente da TinyFish, mas seu modelo nativo da web oferece à equipe um sistema que pode ser otimizado especificamente para tarefas de agente web.
A TinyFish pode desenvolver e avaliar seu modelo de acordo com as tarefas que seu produto realmente precisa realizar, em vez de depender exclusivamente de APIs externas de modelos de fundação em todo o agente. Dar suporte a essa abordagem exige mais do que capacidade de GPU. O ciclo de desenvolvimento abrange pós-treinamento, avaliação, disponibilização em produção e os dados operacionais em torno do modelo.
O AI Runtime oferece à TinyFish uma infraestrutura de GPU gerenciada dentro do mesmo ambiente Databricks usado para o ciclo de vida de ML que o cerca. Isso permite que a equipe mantenha o treinamento e a disponibilização mais próximos dos dados operacionais e de avaliação usados para entender o desempenho do modelo, em vez de criar uma pilha de deep learning separada em torno do modelo.
Junto com seus próprios modelos, a TinyFish está consolidando o acesso a modelos de fundação externos por meio do Unity Gateway para rastreamento centralizado de custos, gerenciamento de chaves e governança. Isso oferece à equipe uma maneira mais consistente de gerenciar o tráfego do modelo à medida que a pilha do agente se expande.
Para uma empresa de IA em crescimento, o benefício é prático: ter menos sistemas independentes para operar significa que mais tempo da engenharia pode continuar focado nos modelos e no comportamento do produto que diferenciam a TinyFish.
Nossa vantagem na TinyFish vem da rapidez com que conseguimos aprimorar o agente. Não queremos que nossos engenheiros percam tempo gerenciando infraestrutura de GPU ou movendo modelos e dados entre sistemas desconectados. O Databricks nos dá uma base única para construir, aprimorar e executar nosso modelo nativo da web, permitindo que a equipe continue focada no produto.- Sudheesh Nair, cofundador e CEO da TinyFish
A TinyFish continua a evoluir sua abordagem para desenvolver seu modelo nativo da web, expandindo além do ajuste fino supervisionado para o DPO e explorando cargas de trabalho de treinamento maiores à medida que o modelo se desenvolve.
O fluxo de trabalho subjacente foi projetado para se manter consistente à medida que essas técnicas mudam. A avaliação do agente pode mostrar onde o modelo performa bem e onde mais trabalho é necessário. Essas informações podem alimentar o pós-treinamento, novas versões podem ser avaliadas em tarefas completas e modelos prontos para produção podem ser disponibilizados a partir do mesmo ambiente.
Ao executar esse ciclo de vida no Databricks, a TinyFish pode tratar a infraestrutura de GPU como parte de sua plataforma de ML, em vez de um sistema separado que a equipe precisa montar e manter. Isso dá à equipe um caminho mais direto entre o que aprende sobre seu modelo em produção e a próxima iteração dele.
(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original
Assine nosso blog e receba os posts mais recentes diretamente na sua caixa de entrada.