Warum ein Frontier-Data-Agent allgemeine Coding-Agents in Qualität und Kosten übertrifft

Die gängige Meinung im Bereich der agentischen KI besagt, dass bessere Antworten mehr Token kosten: Wenn man den Agenten länger suchen, mehr überprüfen und häufiger versuchen lässt, steigt die Genauigkeit. Als wir Genie Code im direkten Vergleich mit drei führenden Allzweck-Coding-Agents bei über 400 realen Datenaufgaben aus unserer internen Nutzung getestet haben, stellten wir das Gegenteil fest: Genie Code war sowohl der genaueste als auch der kosteneffizienteste der von uns getesteten Agenten.

Der Grund dafür ist, dass Data Agents in einem neuen Paradigma arbeiten müssen, mit dem allgemeine Coding-Agents Probleme haben. Wie wir bereits berichtet haben, stehen Data Agents vor einzigartigen Herausforderungen: Sie müssen die richtigen Assets in einem dynamischen, sich ständig weiterentwickelnden Arbeitsbereich mit Hunderttausenden von Tabellen, Notebooks, Dashboards und Dokumenten finden. Sie müssen die Quelle der Wahrheit in Metadaten und Dokumenten ermitteln, die veraltet oder widersprüchlich sein können – und das alles ohne die überprüfbaren Tests, auf die sich Coding-Agents stützen.

Um diese Herausforderungen zu bewältigen, haben wir Genie Code mit Funktionen ausgestattet, die es ihm ermöglichen, die ziellose Suche („Random Walk“) zu überspringen, auf die allgemeine Coding-Agents zurückgreifen müssen: semantische Suche im Katalog und in den Workspace-Assets, ein dauerhaftes Gedächtnis für die Tabellen und die Geschäftslogik, auf die sich die Nutzer verlassen, sowie ein tiefes semantisches Verständnis des Unternehmenskontexts.

Diesen Unterschied konnten wir in den Evaluierungssitzungen direkt beobachten. In einem Beispiel findet Genie Code mithilfe von semantischer Suche und Metadaten effizient die richtige Tabelle, schreibt eine einzige SQL-Abfrage und liefert in nur fünf Tool-Aufrufen die richtige Antwort, während sich keiner der drei Allzweck-Agenten aus der Suchphase befreien kann.

Im Folgenden werfen wir einen genaueren Blick darauf, wie wir Genie Code anhand eines breiten Spektrums realer Benutzeraufgaben evaluiert haben.

Wir haben die Agenten anhand von über 400 realen Aufgaben aus der Praxis evaluiert

Wir haben bewusst ein Evaluierungsset zusammengestellt, das eine breite Verteilung realer Benutzeraufgaben auf Genie Code abdeckt. Wir haben 401 in sich geschlossene Aufgaben aus der realen internen Nutzung bei Databricks extrahiert, die von alltäglichen Fragen bis hin zu komplexeren Problemen von Power-Usern reichen: Discovery-Aufgaben, bei denen der Agent die richtigen Assets finden muss, das Erstellen und Ändern von Code und Abfragen, das Debuggen von Code, das Verstehen und Erklären von vorhandenem Code, präzise Datenabfragen, bei denen exakte Zahlen aus Tabellen extrahiert werden müssen, und vieles mehr.

Wir haben dieselben Aufgaben mit Genie Code und drei führenden Allzweck-Coding-Agents durchgeführt, die wir Agent X, Agent Y und Agent Z nennen. Jeder hatte ein Zeitlimit von 20 Minuten pro Aufgabe. Die Antworten wurden von einer unabhängigen Jury danach bewertet, ob sie korrekt und nützlich waren. Eine Aufgabe, bei der das Zeitlimit überschritten wurde, galt als Fehlschlag. Die Dollarbeträge in dieser Analyse sind Schätzungen der Kosten, die für einen Benutzer pro Agent anfallen würden, und sind vor allem in Relation zueinander aussagekräftig.

Ergebnisse

Wir haben jeden Agenten mit allen 401 Aufgaben getestet, wobei alle Agenten ähnliche LLMs auf Frontier-Niveau verwendeten und durch Databricks MCP erweitert wurden.

Genie Code ist der genaueste und günstigste Agent in diesem Benchmark: Die Kosten pro Aufgabe betragen etwa die Hälfte von Agent X und weniger als die Hälfte der Kosten pro korrekter Antwort. Die Agenten Y und Z erreichen eine Genauigkeit im mittleren 50-Prozent-Bereich, was zu einem großen Teil auf Zeitüberschreitungen bei lang laufenden Scans zurückzuführen ist – oft verursacht durch ineffiziente, unbegrenzte Abfragen auf sehr großen Tabellen.

Bei diesem speziellen Benchmark stellten wir fest, dass die mittlere Aufgabe (Median) 0,34 $ kostet, das 99. Perzentil (p99) bei 2,72 $ liegt, die teuerste Aufgabe 3,87 $ kostet und nur 4 % der Aufgaben die 2-Dollar-Marke überschreiten. Bei den anderen Agenten lagen 33–40 % der Aufgaben über 1 $ (im Vergleich zu 16 % bei Genie Code), und die tiefgehenden Suchläufe von Agent X erreichten mit 9,49 $ deutlich höhere Spitzenkosten. Da alle Agenten Zugriff auf dieselbe Klasse von Modellen auf Frontier-Niveau haben, hängen die Kostenunterschiede von der Effizienz ab: weniger Schritte zu machen und weniger Token zu verbrauchen, um zu einer Antwort zu gelangen.

Der Unterschied liegt darin begründet, wie die einzelnen Agenten die benötigten Daten finden. Bei den schwierigsten Aufgaben im Set werden die Assets nicht explizit genannt. Der Agent muss die richtigen Tabellen, Notebooks oder Dashboards sowie die relevante Geschäftslogik ausfindig machen, bevor er antworten kann. Bei diesen Aufgaben greifen die Allzweck-Agenten auf eine ineffiziente Suche im Workspace zurück, was sowohl zu einer geringeren Genauigkeit als auch zu höheren Kosten führt.

Dank des Verständnisses von Genie Code für den Workspace-Kontext – semantische Suche im Katalog und ein dauerhaftes Gedächtnis für die Daten des Workspace – konnte der Großteil dieser Suche übersprungen werden. Im Durchschnitt waren nur 8,3 Tool-Aufrufe pro Aufgabe erforderlich – weniger als bei jedem anderen von uns getesteten Agenten. Das erklärt auch die oben erwähnten Kostenausreißer: Die teuren Durchläufe aller Agenten werden von diesen Discovery-Aufgaben dominiert, und bei Genie Code ist dieser Ausreißer-Bereich am kleinsten. Wir gehen davon aus, dass dieser Vorteil durch die Genie Ontology noch weiter verstärkt wird. Wir haben die Ontology bei diesem Durchlauf deaktiviert, da sie unseren Kunden noch nicht weltweit zur Verfügung steht.

Fazit

Als wir mit unserer Untersuchung begannen, hatten wir mit einem Kompromiss zwischen Genauigkeit und Kosten gerechnet. Stattdessen stellen wir bei einer breiten Verteilung realer Benutzeraufgaben fest, dass Genie Code dank seines starken semantischen Verständnisses der Daten in der Lage ist, allgemeine Coding-Agents zu übertreffen – und dabei sowohl genauer als auch günstiger zu sein.

Genie Code wurde als moderner Frontier-Data-Agent entwickelt, der für den Einsatz in einer hochdynamischen und unübersichtlichen Umgebung wie dem Databricks-Workspace optimiert ist. Allgemeine Coding-Agents tun sich in solchen Umgebungen schwer: Sie verbrauchen ihre Schritte und Token damit, den Kontext neu zu erschließen, den Genie Code bereits besitzt. Dieses Fachwissen zahlt sich gleichzeitig in Genauigkeit, Geschwindigkeit und Kosten aus, ohne dass Abstriche bei den allgemeinen Fähigkeiten gemacht werden müssen.

Schließlich zeigt sich – ähnlich wie bei unserem Coding-Agent-Benchmark auf der Databricks-Codebasis –, dass generische Bestenlisten die alltägliche Benutzererfahrung nicht adäquat abbilden können. Wir erweitern unsere Evaluierungen täglich auf der Grundlage realer Aufgaben und werden unsere Erkenntnisse auch in Zukunft veröffentlichen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag