Como a FactSet reduziu o treinamento e a implantação de modelos de dias para horas com o Databricks AI Runtime

O sistema Text-to-Formula (TTF) da FactSet tem uma tarefa deceptivamente difícil: pegar uma solicitação em linguagem natural de um profissional de investimentos e transformá-la na fórmula correta da FactSet Query Language (FQL).

A FactSet inicialmente construiu o TTF em torno da geração aumentada por recuperação (RAG), usando a recuperação para encontrar exemplos e informações relevantes para uma determinada solicitação. Mas, à medida que o uso cresceu, as consultas se tornaram mais especializadas e as fórmulas mais complexas; a abordagem atingiu um limite de qualidade. A FactSet começou a incorporar modelos abertos com ajuste fino em sua arquitetura Compound AI, permitindo que a equipe treinasse modelos na estrutura e nos padrões da FQL, em vez de depender principalmente da recuperação no momento da inferência. Em seus trabalhos anteriores no TTF, a FactSet descobriu que a incorporação de modelos com ajuste fino reduziu a latência de ponta a ponta em cerca de 60%.

À medida que o sistema evoluiu, o papel do ajuste fino também mudou. A FactSet acumulou mais dados de treinamento e começou a atualizar seus modelos regularmente, transformando o que era um fluxo de trabalho experimental em uma parte recorrente do desenvolvimento do TTF. Hoje, a equipe faz o ajuste fino dos modelos aproximadamente a cada duas ou três semanas.

Quando o ajuste fino se torna parte do ciclo de lançamento

Treinar a cada poucas semanas altera os requisitos de infraestrutura. Preparar um ambiente e configurar a computação em GPU pode ser viável para um experimento ocasional. Repetir esse trabalho toda vez que novos dados ou um novo modelo estiverem prontos para teste adiciona sobrecarga diretamente ao ciclo de desenvolvimento.

Os requisitos dos modelos também podem mudar de um experimento para outro. A FactSet trabalhou com modelos baseados no Llama e continua avaliando modelos abertos mais recentes. Diferentes modelos, tamanhos de prompt e características de saída podem exigir diferentes configurações de computação. Portanto, vincular o ambiente de treinamento a uma configuração fixa de GPU dificultaria a adaptação conforme a equipe faz experimentos.

A FactSet usa o Databricks AI Runtime para executar essas cargas de trabalho de ajuste fino em uma infraestrutura serverless de GPU. Os engenheiros podem escolher a computação com base nos requisitos de uma execução de treinamento específica sem precisar primeiro provisionar e configurar o ambiente de GPU subjacente.

Mantendo o treinamento no ciclo de desenvolvimento

O fluxo de trabalho de treinamento do TTF também está integrado aos dados, à experimentação, ao gerenciamento de modelos e à governança que já são executados no Databricks. A FactSet usa o MLflow para rastrear o desenvolvimento de modelos e experimentos, enquanto seus dados subjacentes permanecem governados em seu ambiente Lakehouse existente.

Executar o ajuste fino com o AI Runtime mantém o treinamento em GPU dentro desse fluxo de trabalho. Os engenheiros podem trabalhar com dados governados, treinar um novo modelo, rastrear os artefatos resultantes e avançar para a implantação sem manter uma pilha de GPU separada para o ajuste fino. Para a FactSet, isso reduziu o tempo necessário para configurar, treinar e implantar um modelo TTF personalizado de dias para horas.

O AI Runtime do Databricks simplificou bastante o processo de treinamento de um modelo personalizado de Text To Formula (TTF). Sem atrasos nem necessidade de configuração de infraestrutura, foi fácil escolher a computação certa com base no tamanho do prompt e na geração de tokens de saída. Isso nos permitiu avançar rapidamente, manter nossos fluxos de trabalho no Lakehouse e entregar um modelo de alta qualidade com governança completa, reduzindo o tempo de configuração, treinamento e implantação do nosso modelo de dias para horas.- Nikhil Sunderraj, engenheiro principal de machine learning da FactSet Research Systems, Inc.

Construindo para modelos que mudam constantemente

A capacidade de alterar modelos faz parte da evolução do TTF desde o início. O RAG avançado, especialmente a dependência exclusiva de modelos hospedados externamente, torna-se um gargalo na precisão constante e na latência à medida que o uso cresce e surgem fórmulas mais complexas. O RAG funcionou até que o sistema encontrou fórmulas mais complexas. Os modelos abertos com ajuste fino deram à FactSet outra maneira de melhorar a qualidade e a latência. Agora, à medida que novos modelos ficam disponíveis, a equipe pode avaliá-los em relação à carga de trabalho, em vez de tratar a escolha atual de modelo como permanente.

O próprio TTF está se tornando mais especializado. À medida que a FactSet acumula mais dados, a equipe explora outros modelos com ajuste fino para tarefas como decomposição de consultas, extração de componentes e identificação de bibliotecas. Isso cria mais oportunidades de usar o modelo mais adequado para cada parte do fluxo de trabalho, mas também torna o treinamento rápido e repetível ainda mais importante.

Uma mudança de modelo é muito mais fácil de testar quando não exige a reconstrução do ambiente de treinamento ao seu redor. Com a computação em GPU disponível sob demanda por meio do AI Runtime, o trabalho de engenharia se volta para as questões que realmente afetam o TTF: qual modelo usar, como treiná-lo e se a versão resultante melhora a aplicação.

Além disso, o pipeline de ajuste fino foi construído no Databricks Lakeflow Jobs e Pipelines como uma estrutura reutilizável e plug-and-play, projetada para ser facilmente adotada em diferentes tarefas do TTF e por outras equipes com o mínimo esforço de configuração, oferecendo uma base padronizada que reduz o atrito na integração inicial e acelera o processo.

Tornando prática a escolha de modelos

Os modelos abertos estão evoluindo rapidamente. O modelo que oferece o equilíbrio ideal entre qualidade, latência e custo hoje pode não ser aquele que a equipe deseja daqui a seis meses. Portanto, manter a flexibilidade de escolha de modelos exige mais do que a capacidade de baixar um novo conjunto de pesos. O fluxo de trabalho de treinamento e implantação ao redor precisa acompanhar esse ritmo.

A experiência da FactSet com o TTF mostra como isso funciona na prática. A equipe pode continuar testando novos modelos abertos à medida que seus dados e aplicação evoluem, enquanto o AI Runtime fornece uma infraestrutura serverless de GPU dentro de seus fluxos de trabalho existentes no Databricks. Em vez de gastar dias configurando, treinando e implantando cada iteração, a FactSet pode concluir esse ciclo em horas.

Para um sistema que passa por retreinamento a cada poucas semanas, essa diferença se acumula. Novos dados podem ser incorporados a um novo modelo mais rapidamente, e os engenheiros podem dedicar mais tempo de cada iteração para aprimorar o TTF, em vez de preparar a infraestrutura necessária para treiná-lo.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original