FactSet nutzt feingetunte Open-Source-Modelle für „Text To Formula (TTF)“, wandelt Anfragen in natürlicher Sprache in FactSet Query Language um und trainiert alle paar Wochen neu, wenn neue Daten verfügbar sind.
von Nikhil Hiriyur Sunderraj, Dakshina Murthy Malladi, Nikitha Goram, Ryan Roser, Kate Stepp, Julia Brouillette, Tejas Sundaresan und Lucas de Paula
Das Text-to-Formula (TTF)-System von FactSet hat eine täuschend schwierige Aufgabe: eine Anfrage in natürlicher Sprache von einem Investment-Profi in die richtige FactSet Query Language (FQL)-Formel zu übersetzen.
FactSet hat TTF ursprünglich auf der Basis von Retrieval-Augmented Generation (RAG) entwickelt und Retrieval genutzt, um relevante Beispiele und Informationen für eine bestimmte Anfrage zu finden. Mit zunehmender Nutzung wurden die Anfragen jedoch spezialisierter und die Formeln komplexer; der Ansatz stieß an eine Qualitätsgrenze. FactSet begann, feingetunte Open-Source-Modelle in seine Compound-AI-Architektur zu integrieren. So konnte das Team Modelle auf der Struktur und den Mustern von FQL trainieren, anstatt sich zur Inferenzzeit hauptsächlich auf Retrieval zu verlassen. In früheren Arbeiten an TTF stellte FactSet fest, dass die Einbindung feingetunter Modelle die End-to-End-Latenz um etwa 60 % reduzierte.
Mit der Weiterentwicklung des Systems änderte sich auch die Rolle des Fine-Tunings. FactSet sammelte mehr Trainingsdaten und begann, seine Modelle regelmäßig zu aktualisieren. So wurde aus einem experimentellen Workflow ein wiederkehrender Bestandteil der TTF-Entwicklung. Heute führt das Team etwa alle zwei bis drei Wochen ein Fine-Tuning der Modelle durch.
Ein Training alle paar Wochen verändert die Infrastrukturanforderungen. Das Vorbereiten einer Umgebung und das Konfigurieren von GPU-Compute mag für ein gelegentliches Experiment machbar sein. Diese Arbeit jedoch jedes Mal zu wiederholen, wenn neue Daten oder ein neues Modell zum Testen bereitstehen, bedeutet direkten Zusatzaufwand für den Entwicklungszyklus.
Auch die Modellanforderungen können sich von Experiment zu Experiment ändern. FactSet hat mit Llama-basierten Modellen gearbeitet und evaluiert weiterhin neuere Open-Source-Modelle. Unterschiedliche Modelle, Prompt-Längen und Ausgabeeigenschaften können verschiedene Compute-Konfigurationen erfordern. Das Binden der Trainingsumgebung an ein festes GPU-Setup würde daher die Anpassung bei Experimenten des Teams erschweren.
FactSet nutzt Databricks AI Runtime, um diese Fine-Tuning-Workloads auf einer Serverless-GPU-Infrastruktur auszuführen. Ingenieure können Compute basierend auf den Anforderungen eines bestimmten Trainingslaufs auswählen, ohne zuvor die zugrunde liegende GPU-Umgebung bereitstellen und konfigurieren zu müssen.
Der Trainings-Workflow von TTF läuft zudem parallel zu Daten, Experimenten, Modellverwaltung und Governance, die bereits auf Databricks ausgeführt werden. FactSet nutzt MLflow zum Nachverfolgen von Modellentwicklung und Experimenten, während die zugrunde liegenden Daten in der bestehenden Lakehouse-Umgebung governed bleiben.
Die Durchführung des Fine-Tunings mit AI Runtime hält das GPU-Training innerhalb dieses Workflows. Ingenieure können mit governed Daten arbeiten, ein neues Modell trainieren, die resultierenden Artefakte nachverfolgen und die Bereitstellung anstreben, ohne einen separaten GPU-Stack für das Fine-Tuning unterhalten zu müssen. Für FactSet reduzierte dies die Zeit für die Einrichtung, das Training und das Deployment eines benutzerdefinierten TTF-Modells von Tagen auf Stunden.
Databricks AI Runtime hat den Prozess des Trainings eines benutzerdefinierten Text-to-Formula (TTF)-Modells erheblich vereinfacht. Ohne Infrastruktur-Setup oder Verzögerungen war es einfach, basierend auf Prompt-Größe und Output-Token-Generierung die passende Compute-Ressource auszuwählen. So konnten wir schnell agieren, unsere Lakehouse-Workflows beibehalten und ein qualitativ hochwertiges Modell mit vollständiger Governance liefern, wodurch sich die Zeit für Setup, Training und Deployment unseres Modells von Tagen auf Stunden reduzierte.- Nikhil Sunderraj, Principal Machine Learning Engineer, FactSet Research Systems, Inc.
Die Möglichkeit, Modelle zu wechseln, war von Anfang an Teil der Entwicklung von TTF. Fortgeschrittenes RAG, insbesondere das ausschließliche Verlassen auf extern gehostete Modelle, wird bei steigender Nutzung und komplexeren Formeln zu einem Engpass für konsistente Genauigkeit und Latenz. RAG funktionierte, bis das System auf komplexere Formeln stieß. Feingetunte Open-Source-Modelle boten FactSet eine weitere Möglichkeit, Qualität und Latenz zu verbessern. Wenn nun neuere Modelle verfügbar werden, kann das Team diese im Hinblick auf den Workload evaluieren, anstatt die aktuelle Modellwahl als endgültig zu betrachten.
TTF selbst wird immer spezialisierter. Da FactSet mehr Daten sammelt, prüft das Team zusätzliche feingetunte Modelle für Aufgaben wie Query Decomposition, Komponenten-Extraktion und Bibliotheksidentifikation. Dies schafft mehr Möglichkeiten, für jeden Teil des Workflows das am besten geeignete Modell einzusetzen, macht aber auch ein schnelles, wiederholbares Training noch wichtiger.
Ein Modellwechsel lässt sich viel einfacher testen, wenn dafür nicht die gesamte Trainingsumgebung neu aufgebaut werden muss. Mit GPU-Compute, der über AI Runtime on demand verfügbar ist, verlagert sich die Entwicklungsarbeit auf die Fragen, die TTF tatsächlich betreffen: welches Modell verwendet werden soll, wie es trainiert werden soll und ob die resultierende Version die Anwendung verbessert.
Darüber hinaus wurde die Fine-Tuning-Pipeline auf Databricks Lakeflow Jobs und Pipelines als wiederverwendbares Plug-and-Play-Framework aufgebaut — konzipiert für die einfache Übernahme bei verschiedenen TTF-Aufgaben und durch andere Teams mit minimalem Setup-Aufwand, wodurch eine standardisierte Grundlage geschaffen wird, die Hürden beim Onboarding verringert und die Integration beschleunigt.
Open-Source-Modelle entwickeln sich rasant weiter. Das Modell, das heute die richtige Balance aus Qualität, Latenz und Kosten bietet, ist möglicherweise nicht das, welches ein Team in sechs Monaten nutzen möchte. Die Wahlfreiheit bei Modellen zu bewahren erfordert daher mehr als nur die Möglichkeit, einen neuen Satz von Gewichten herunterzuladen. Der umliegende Trainings- und Deployment-Workflow muss Schritt halten.
Die Erfahrung von FactSet mit TTF zeigt, wie das in der Praxis aussieht. Das Team kann weiterhin neue Open-Source-Modelle testen, während sich Daten und Anwendung weiterentwickeln, während AI Runtime Serverless-GPU-Infrastruktur innerhalb der bestehenden Databricks-Workflows bereitstellt. Anstatt Tage mit der Einrichtung, dem Training und dem Deployment jeder Iteration zu verbringen, kann FactSet diesen Zyklus in Stunden abschließen.
Für ein System, das alle paar Wochen neu trainiert wird, summiert sich dieser Unterschied enorm. Neue Daten können schneller in ein neues Modell einfließen, und Entwickler können in jeder Iteration mehr Zeit mit der Verbesserung von TTF verbringen, anstatt die für das Training erforderliche Infrastruktur vorzubereiten.
(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag
Abonnieren Sie unseren Blog und erhalten Sie die neuesten Beiträge direkt in Ihren Posteingang.