Do pós-treinamento à produção: como a TinyFish executa seu modelo nativo da web no Databricks AI Runtime

A TinyFish desenvolve infraestrutura para empresas que precisam de agentes para trabalhar na web em tempo real. Suas APIs Search, Fetch, Browser e Agent dão suporte a fluxos de trabalho web autenticados e em grande escala, nos quais um agente pode precisar navegar por sites dinâmicos, recuperar informações, interagir com aplicações e realizar tarefas em várias etapas.

A TinyFish está desenvolvendo seu próprio modelo especializado nativo da web para essas tarefas de agente. Conforme a empresa expandiu seu trabalho com modelos, a equipe também precisou criar a infraestrutura ao redor dele: computação em GPU para pós-treinamento, avaliação capaz de medir o comportamento de todo o agente, disponibilização em produção e os dados necessários para entender o desempenho do sistema.

Em vez de gerenciar essas partes em sistemas separados, a TinyFish começou a criar seu ciclo de vida de desenvolvimento de modelos no Databricks. O AI Runtime oferece infraestrutura gerenciada de GPU para treinamento e ajuste fino, enquanto o MLflow auxilia na avaliação e o Databricks Model Serving fornece a camada de disponibilização em produção.

Para nós, treinar o modelo é apenas parte do desafio. Precisamos saber se uma mudança realmente torna o agente melhor na conclusão de tarefas reais e, depois, colocar essa melhoria em produção rapidamente. Com o AI Runtime, podemos treinar em GPUs, avaliar com o MLflow e disponibilizar nosso modelo nativo da web sem precisar criar uma pilha separada para cada etapa.—Zach Richardson, head de IA da TinyFish

Transformando o comportamento do agente em modelos melhores

A TinyFish começou o pós-treinamento de seu modelo nativo da web com ajuste fino supervisionado e está avançando para o Direct Preference Optimization, ou DPO. A equipe executa essas cargas de trabalho em GPUs gerenciadas pelo Databricks por meio do AI Runtime, permitindo que os pesquisadores trabalhem com a infraestrutura de GPU sem precisar operar uma plataforma de treinamento separada.

O trabalho de treinamento está intimamente ligado a como a TinyFish avalia seu modelo. Como o modelo opera como parte de um agente web maior, avaliar a resposta individual do modelo revela apenas parte da história. Em vez disso, a TinyFish avalia se o agente completo conclui a tarefa solicitada com sucesso.

Em seu benchmark interno de aprovação/reprovação (go/no-go), o modelo nativo da web da TinyFish concluiu com sucesso 1.691 de 2.178 tarefas de agente web, alcançando uma taxa de sucesso de 77,6%. Um juiz LLM separado analisa a solicitação original, o histórico de ações do agente e seu resultado final. Uma tarefa só é aprovada quando a ação solicitada é concluída ou a resposta correta é retornada com todos os requisitos atendidos; conclusões parciais, respostas incorretas e resultados inválidos contam como falhas.

Isso fornece à TinyFish um sinal útil para o desenvolvimento do modelo. A equipe consegue ver como as alterações no modelo afetam o desempenho do agente completo e usar esses resultados para orientar o pós-treinamento subsequente.

Iterações bem-sucedidas do modelo podem passar para a produção por meio do Databricks Model Serving. A TinyFish já disponibiliza modelos em produção no Databricks, incluindo seu reranker de busca e seu reescritor de consultas. A equipe também hospeda e disponibiliza seu modelo nativo da web na plataforma.

Em um período recente de 15 dias, a TinyFish registrou 294.781 execuções de agente envolvendo seu modelo nativo da web em 6,4 milhões de etapas de ferramentas. O custo estimado de disponibilização do modelo durante esse período foi de US$ 0,088 por execução, ou US$ 0,0040 por etapa de ferramenta. Esses números refletem apenas os custos de disponibilização do modelo nativo da web da TinyFish, não toda a pilha do agente, e dão à equipe uma maneira consistente de acompanhar os custos de disponibilização junto com dados de qualidade e uso no Databricks.

Juntas, essas funcionalidades dão à TinyFish um caminho contínuo desde o comportamento do agente até o pós-treinamento, a avaliação e a implantação. Os resultados de avaliação, os dados de uso e os relatórios de custo podem permanecer no Databricks junto com a carga de trabalho de disponibilização, oferecendo à equipe uma base comum para entender como seu modelo performa e orientar o desenvolvimento subsequente do modelo.

Criando modelos para o trabalho que os agentes realmente realizam

Os modelos de fundação de uso geral ainda desempenham um papel importante na arquitetura de agente da TinyFish, mas seu modelo nativo da web oferece à equipe um sistema que pode ser otimizado especificamente para tarefas de agente web.

A TinyFish pode desenvolver e avaliar seu modelo de acordo com as tarefas que seu produto realmente precisa realizar, em vez de depender exclusivamente de APIs externas de modelos de fundação em todo o agente. Dar suporte a essa abordagem exige mais do que capacidade de GPU. O ciclo de desenvolvimento abrange pós-treinamento, avaliação, disponibilização em produção e os dados operacionais em torno do modelo.

O AI Runtime oferece à TinyFish uma infraestrutura de GPU gerenciada dentro do mesmo ambiente Databricks usado para o ciclo de vida de ML que o cerca. Isso permite que a equipe mantenha o treinamento e a disponibilização mais próximos dos dados operacionais e de avaliação usados para entender o desempenho do modelo, em vez de criar uma pilha de deep learning separada em torno do modelo.

Junto com seus próprios modelos, a TinyFish está consolidando o acesso a modelos de fundação externos por meio do Unity Gateway para rastreamento centralizado de custos, gerenciamento de chaves e governança. Isso oferece à equipe uma maneira mais consistente de gerenciar o tráfego do modelo à medida que a pilha do agente se expande.

Para uma empresa de IA em crescimento, o benefício é prático: ter menos sistemas independentes para operar significa que mais tempo da engenharia pode continuar focado nos modelos e no comportamento do produto que diferenciam a TinyFish.

Nossa vantagem na TinyFish vem da rapidez com que conseguimos aprimorar o agente. Não queremos que nossos engenheiros percam tempo gerenciando infraestrutura de GPU ou movendo modelos e dados entre sistemas desconectados. O Databricks nos dá uma base única para construir, aprimorar e executar nosso modelo nativo da web, permitindo que a equipe continue focada no produto.—Sudheesh Nair, cofundador e CEO da TinyFish

Construindo para a próxima iteração do modelo

A TinyFish continua a evoluir sua abordagem para desenvolver seu modelo nativo da web, expandindo além do ajuste fino supervisionado para o DPO e explorando cargas de trabalho de treinamento maiores à medida que o modelo se desenvolve.

O fluxo de trabalho subjacente foi projetado para se manter consistente à medida que essas técnicas mudam. A avaliação do agente pode mostrar onde o modelo performa bem e onde mais trabalho é necessário. Essas informações podem alimentar o pós-treinamento, novas versões podem ser avaliadas em tarefas completas e modelos prontos para produção podem ser disponibilizados a partir do mesmo ambiente.

Ao executar esse ciclo de vida no Databricks, a TinyFish pode tratar a infraestrutura de GPU como parte de sua plataforma de ML, em vez de um sistema separado que a equipe precisa montar e manter. Isso dá à equipe um caminho mais direto entre o que aprende sobre seu modelo em produção e a próxima iteração dele.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original