TinyFish utiliza Databricks para el posentrenamiento, evaluación y servicio de su modelo especializado nativo de la web, el cual impulsa su agente web empresarial.
por Sudheesh Nair, Zach Richardson, Julia Brouillette y Tejas Sundaresan
TinyFish crea infraestructura para empresas que necesitan agentes para trabajar en la web activa. Sus API Search, Fetch, Browser y Agent admiten flujos de trabajo web autenticados a gran escala, donde un agente puede necesitar navegar por sitios dinámicos, recuperar información, interactuar con aplicaciones y realizar una tarea en varios pasos.
TinyFish está desarrollando su propio modelo especializado nativo de la web para estas tareas de agente. A medida que la empresa amplió su trabajo en modelos, el equipo también tuvo que construir la infraestructura a su alrededor: cómputo GPU para posentrenamiento, evaluación capaz de medir el comportamiento del agente completo, servicio en producción y los datos necesarios para comprender el rendimiento del sistema.
En lugar de gestionar esas piezas en sistemas separados, TinyFish comenzó a construir el ciclo de vida de desarrollo de sus modelos en Databricks. AI Runtime proporciona infraestructura GPU administrada para entrenamiento y ajuste fino, mientras que MLflow respalda la evaluación y Databricks Model Serving ofrece la capa de servicio en producción.
Para nosotros, entrenar el modelo es solo una parte del problema. Necesitamos saber si un cambio realmente hace que el agente sea mejor completando tareas reales y, luego, poder llevar esa mejora a producción rápidamente. Con AI Runtime, podemos entrenar en GPU, evaluar con MLflow y servir nuestro modelo nativo de la web sin necesidad de construir un stack independiente para cada etapa.—Zach Richardson, director de IA, TinyFish
TinyFish comenzó el posentrenamiento de su modelo nativo de la web con ajuste fino supervisado y está avanzando hacia la optimización directa de preferencias (Direct Preference Optimization o DPO). El equipo ejecuta estas cargas de trabajo en GPU administradas por Databricks mediante AI Runtime, lo que permite a los investigadores trabajar con infraestructura GPU sin tener que operar ellos mismos una plataforma de entrenamiento independiente.
El trabajo de entrenamiento está estrechamente vinculado a cómo TinyFish evalúa su modelo. Dado que el modelo funciona como parte de un agente web más amplio, evaluar la respuesta individual de un modelo solo cuenta una parte de la historia. En su lugar, TinyFish evalúa si el agente completo completa con éxito la tarea solicitada.
En su prueba de referencia interna de go/no-go, el modelo nativo de la web de TinyFish completó con éxito 1,691 de 2,178 tareas de agentes web, lo que representa una tasa de éxito en las tareas del 77.6%. Un LLM juez independiente revisa la solicitud original, el historial de acciones del agente y su resultado final. Una tarea solo se aprueba si se completa la acción solicitada o se devuelve la respuesta correcta cumpliendo todos los requisitos; la finalización parcial, las respuestas incorrectas y los resultados no válidos se consideran fallos.
Esto brinda a TinyFish una señal útil para el desarrollo del modelo. El equipo puede observar cómo los cambios en su modelo afectan el rendimiento del agente completo y utilizar esos resultados para guiar los posentrenamientos posteriores.
Las iteraciones exitosas del modelo pueden pasar luego a producción a través de Databricks Model Serving. TinyFish ya sirve modelos de producción en Databricks, como su reordenador de búsquedas (search reranker) y el reescritor de consultas (query rewriter). El equipo también aloja y sirve su modelo nativo de la web en la plataforma.
En un período reciente de 15 días, TinyFish registró 294,781 ejecuciones de agentes con su modelo nativo de la web a lo largo de 6.4 millones de pasos de herramientas. El costo estimado del servicio del modelo durante ese período fue de $0.088 por ejecución, o $0.0040 por paso de herramienta. Estas cifras reflejan únicamente los costos de servicio del modelo nativo de la web de TinyFish, no del stack completo de agentes, y le brindan al equipo una forma constante de monitorear la economía del servicio junto con los datos de calidad y uso en Databricks.
En conjunto, estas capacidades ofrecen a TinyFish una trayectoria continua desde el comportamiento del agente hasta el posentrenamiento, la evaluación y el despliegue. Los resultados de las evaluaciones, los datos de uso y los informes de costos pueden permanecer en Databricks junto con la carga de trabajo de servicio, lo que brinda al equipo una base común para comprender el rendimiento de su modelo e informar el desarrollo posterior.
Los modelos fundacionales de propósito general siguen desempeñando un papel importante en la arquitectura de agentes de TinyFish, pero su modelo nativo de la web le da al equipo un sistema que puede optimizar específicamente para tareas de agentes web.
TinyFish puede desarrollar y evaluar su modelo frente a las tareas que su producto realmente necesita realizar, en lugar de depender exclusivamente de las API externas de modelos fundacionales en todo el agente. Respaldar este enfoque requiere algo más que capacidad de GPU. El ciclo de desarrollo abarca el posentrenamiento, la evaluación, el servicio en producción y los datos operativos en torno al modelo.
AI Runtime le brinda a TinyFish una infraestructura GPU administrada dentro del mismo entorno de Databricks que utiliza para el ciclo de vida de ML circundante. Esto permite que el equipo mantenga el entrenamiento y el servicio más cerca de los datos operativos y de evaluación que usa para entender cómo rinde su modelo, en lugar de construir un stack de deep learning independiente alrededor del modelo.
Junto con sus propios modelos, TinyFish está consolidando el acceso a modelos fundacionales externos mediante Unity Gateway para un seguimiento centralizado de costos, gestión de claves y gobernanza. Esto ofrece al equipo una forma más constante de gestionar el tráfico de modelos a medida que se amplía el stack de agentes.
Para una empresa de IA en crecimiento, el beneficio es práctico: operar menos sistemas independientes significa que el equipo de ingeniería puede dedicar más tiempo a centrarse en los modelos y el comportamiento del producto que diferencian a TinyFish.
Nuestra ventaja en TinyFish proviene de la rapidez con la que podemos hacer que el agente sea mejor. No queremos que nuestros ingenieros pierdan tiempo gestionando infraestructura GPU o moviendo modelos y datos entre sistemas desconectados. Databricks nos brinda una base única para construir, mejorar y ejecutar nuestro modelo nativo de la web, de modo que el equipo pueda mantenerse enfocado en el producto.—Sudheesh Nair, cofundador y CEO, TinyFish
TinyFish continúa haciendo evolucionar su enfoque para el desarrollo de su modelo nativo de la web, expandiéndose más allá del ajuste fino supervisado hacia DPO y explorando cargas de trabajo de entrenamiento más grandes a medida que el modelo se desarrolla.
El flujo de trabajo subyacente está diseñado para mantenerse constante a medida que esas técnicas cambian. La evaluación del agente puede mostrar dónde rinde bien el modelo y dónde se necesita trabajo adicional. Esa información se puede incorporar al posentrenamiento, las nuevas versiones se pueden evaluar frente a tareas completas y los modelos listos para producción se pueden servir desde el mismo entorno.
Al ejecutar ese ciclo de vida en Databricks, TinyFish puede tratar la infraestructura GPU como parte de su plataforma de ML en lugar de como un sistema independiente que el equipo deba ensamblar y mantener. Eso brinda al equipo un camino más directo desde lo que aprende sobre su modelo en producción hasta la siguiente iteración del modelo.
(Esta entrada del blog ha sido traducida utilizando herramientas basadas en inteligencia artificial) Publicación original
Suscríbete a nuestro blog y recibe las últimas publicaciones directamente en tu bandeja de entrada.