TinyFish nutzt Databricks für das Post-Training, die Evaluierung und die Bereitstellung seines spezialisierten Web-Native-Modells, das seinen Enterprise-Web-Agenten antreibt.
von Sudheesh Nair, Zach Richardson, Julia Brouillette und Tejas Sundaresan
TinyFish entwickelt Infrastruktur für Unternehmen, deren Agenten im Live-Web agieren müssen. Die Search-, Fetch-, Browser- und Agent-APIs des Unternehmens unterstützen umfassende, authentifizierte Web-Workflows, bei denen ein Agent dynamische Websites navigieren, Informationen abrufen, mit Anwendungen interagieren und Aufgaben über mehrere Schritte hinweg ausführen muss.
TinyFish entwickelt sein eigenes spezialisiertes Web-Native-Modell für diese Agenten-Aufgaben. Mit der Erweiterung der Modellentwicklung musste das Team auch die umliegende Infrastruktur aufbauen: GPU-Compute für Post-Training, Evaluierung zur Messung des Verhaltens des gesamten Agenten, Produktions-Serving und die erforderlichen Daten, um die Systemleistung zu verstehen.
Statt diese Komponenten über getrennte Systeme hinweg zu verwalten, begann TinyFish, seinen Modellentwicklungs-Lebenszyklus auf Databricks aufzubauen. AI Runtime bietet verwaltete GPU-Infrastruktur für Training und Fine-Tuning, während MLflow die Evaluierung unterstützt und Databricks Model Serving die Serving-Schicht für die Produktion bereitstellt.
Für uns ist das Training des Modells nur ein Teil der Aufgabe. Wir müssen wissen, ob eine Änderung den Agenten bei der Erfüllung realer Aufgaben tatsächlich verbessert, und diese Verbesserung dann schnell in die Produktion bringen. Mit AI Runtime können wir auf GPUs trainieren, mit MLflow evaluieren und unser Web-Native-Modell bereitstellen, ohne für jede Phase einen separaten Stack aufbauen zu müssen.—Zach Richardson, Head of AI, TinyFish
TinyFish begann das Post-Training seines Web-Native-Modells mit Supervised Fine-Tuning und bewegt sich nun in Richtung Direct Preference Optimization (DPO). Das Team führt diese Workloads auf von Databricks verwalteten GPUs über AI Runtime aus, sodass Forscher mit GPU-Infrastruktur arbeiten können, ohne selbst eine separate Trainingsplattform betreiben zu müssen.
Die Trainingsarbeit ist eng damit verknüpft, wie TinyFish sein Modell evaluiert. Da das Modell als Teil eines größeren Web-Agenten fungiert, liefert die Evaluierung einer einzelnen Modellantwort nur ein unvollständiges Bild. Stattdessen evaluiert TinyFish, ob der gesamte Agent die angeforderte Aufgabe erfolgreich abschließt.
In seinem internen Go/No-Go-Benchmark schloss das Web-Native-Modell von TinyFish 1.691 von 2.178 Web-Agenten-Aufgaben erfolgreich ab, was einer Erfolgsquote von 77,6 % entspricht. Ein separater LLM-Judge überprüft die ursprüngliche Anfrage, den Aktionsverlauf des Agenten und sein Endergebnis. Eine Aufgabe gilt nur dann als bestanden, wenn die angeforderte Aktion abgeschlossen oder die korrekte Antwort unter Erfüllung aller Anforderungen zurückgegeben wurde; Teilabschlüsse, falsche Antworten und ungültige Ergebnisse gelten als Fehler.
Das liefert TinyFish wertvolle Signale für die Modellentwicklung. Das Team kann sehen, wie sich Änderungen am Modell auf die Leistung des gesamten Agenten auswirken, und diese Ergebnisse zur Steuerung des anschließenden Post-Trainings nutzen.
Erfolgreiche Modelliterationen können anschließend über Databricks Model Serving in die Produktion überführt werden. TinyFish stellt bereits Produktionsmodelle auf Databricks bereit, darunter seinen Search-Reranker und Query-Rewriter. Das Team hostet und stellt auch sein Web-Native-Modell auf der Plattform bereit.
In einem Zeitraum von 15 Tagen verzeichnete TinyFish 294.781 Agentenläufe mit seinem Web-Native-Modell über 6,4 Millionen Tool-Schritte hinweg. Die geschätzten Kosten für das Model Serving in diesem Zeitraum lagen bei 0,088 $ pro Lauf bzw. 0,0040 $ pro Tool-Schritt. Diese Zahlen spiegeln nur die Serving-Kosten für das Web-Native-Modell von TinyFish wider, nicht für den gesamten Agenten-Stack, und bieten dem Team eine konsistente Möglichkeit, die Serving-Wirtschaftlichkeit zusammen mit Qualitäts- und Nutzungsdaten in Databricks zu verfolgen.
Zusammen bieten diese Funktionen TinyFish einen durchgängigen Pfad vom Agentenverhalten über Post-Training und Evaluierung bis hin zur Bereitstellung. Evaluierungsergebnisse, Nutzungsdaten und Kostenberichte können zusammen mit der Serving-Workload in Databricks verbleiben, was dem Team eine gemeinsame Grundlage bietet, um die Modellleistung zu verstehen und die spätere Modellentwicklung zu steuern.
Allzweck-Foundation-Modelle spielen nach wie vor eine wichtige Rolle in der Agentenarchitektur von TinyFish, aber sein Web-Native-Modell bietet dem Team ein System, das gezielt für Web-Agenten-Aufgaben optimiert werden kann.
TinyFish kann sein Modell anhand der Aufgaben entwickeln und evaluieren, die sein Produkt tatsächlich ausführen muss, anstatt sich im gesamten Agenten ausschließlich auf externe Foundation-Modell-APIs zu verlassen. Die Unterstützung dieses Ansatzes erfordert mehr als nur GPU-Kapazität. Der Entwicklungszyklus umfasst Post-Training, Evaluierung, Produktions-Serving und die betrieblichen Daten rund um das Modell.
AI Runtime bietet TinyFish eine verwaltete GPU-Infrastruktur in derselben Databricks-Umgebung, die es für den umliegenden ML-Lebenszyklus nutzt. Dadurch kann das Team Training und Serving näher an den Evaluierungs- und Betriebsdaten halten, die es zur Analyse der Modellleistung verwendet, anstatt einen separaten Deep-Learning-Stack um das Modell herum aufzubauen.
Neben seinen eigenen Modellen konsolidiert TinyFish den Zugriff auf externe Foundation-Modelle über Unity Gateway für zentrales Kostentracking, Schlüsselverwaltung und Governance. Dies ermöglicht dem Team eine konsistentere Verwaltung des Modell-Traffics bei der Erweiterung des Agenten-Stacks.
Für ein wachsendes KI-Unternehmen ist der Nutzen praktisch: Weniger eigenständige Systeme zum Betreiben bedeuten mehr Entwicklungszeit für die Modelle und das Produktverhalten, die TinyFish von anderen unterscheiden.
Unser Vorteil bei TinyFish liegt darin, wie schnell wir den Agenten verbessern können. Wir möchten nicht, dass unsere Entwickler ihre Zeit mit der Verwaltung von GPU-Infrastruktur oder dem Verschieben von Modellen und Daten zwischen getrennten Systemen verbringen. Databricks bietet uns eine einheitliche Grundlage zum Entwickeln, Verbessern und Betreiben unseres Web-Native-Modells, damit sich das Team ganz auf das Produkt konzentrieren kann.—Sudheesh Nair, Co-Founder and CEO, TinyFish
TinyFish entwickelt seinen Ansatz zur Entwicklung seines Web-Native-Modells kontinuierlich weiter, erweitert Supervised Fine-Tuning um DPO und erkundet mit fortschreitender Modellentwicklung größere Trainings-Workloads.
Der zugrunde liegende Workflow ist so konzipiert, dass er auch bei Änderungen dieser Techniken konsistent bleibt. Die Agenten-Evaluierung kann zeigen, wo das Modell eine gute Leistung erbringt und wo weitere Arbeit erforderlich ist. Diese Informationen können in das Post-Training einfließen, neue Versionen können anhand vollständiger Aufgaben evaluiert und produktionsreife Modelle aus derselben Umgebung bereitgestellt werden.
Durch die Ausführung dieses Lebenszyklus auf Databricks kann TinyFish die GPU-Infrastruktur als Teil seiner ML-Plattform betrachten und nicht als separates System, das das Team aufbauen und warten muss. Das bietet dem Team einen direkteren Weg von den Erkenntnissen über das Modell in der Produktion zur nächsten Modelliteration.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.