Perché un data agent di frontiera supera i coding agent generici in termini di qualità e costi

L'opinione comune nell'ambito dell'AI agentica sostiene che risposte migliori richiedano più token: lasciando che l'agente esplori più a lungo, verifichi di più e faccia più tentativi, l'accuratezza aumenterà sempre. Quando abbiamo valutato Genie Code in un confronto diretto con tre dei principali coding agent generici su oltre 400 attività di dati reali tratte dal nostro utilizzo interno, abbiamo scoperto il contrario: Genie Code è risultato sia l'agente più accurato tra quelli testati, sia il più efficiente in termini di costi.

Il motivo è che i data agent devono operare in un nuovo paradigma in cui i coding agent generici si trovano in difficoltà. Come abbiamo già condiviso, i data agent affrontano sfide uniche: devono individuare gli asset corretti in uno spazio di lavoro dinamico e in continua evoluzione con centinaia di migliaia di tabelle, notebook, dashboard e documenti; devono determinare la fonte di verità tra metadati e documenti che possono essere obsoleti o contraddittori; e devono fare tutto questo senza i test verificabili su cui fanno affidamento i coding agent.

Per affrontare queste sfide, abbiamo dotato Genie Code di funzionalità che gli consentono di evitare l'esplorazione casuale (random walk) a cui ricorrono i coding agent generici: ricerca semantica nel catalogo e negli asset dello spazio di lavoro, memoria persistente delle tabelle e della logica di business su cui gli utenti fanno affidamento, e una profonda comprensione semantica del contesto aziendale.

Osserviamo questa differenza direttamente nelle sessioni di questa valutazione. In un esempio, Genie Code trova in modo efficiente la tabella corretta sfruttando la ricerca semantica e i metadati, scrive una singola query SQL e giunge alla risposta corretta in cinque chiamate di strumenti (tool call), mentre nessuno dei tre agenti generici riesce a recuperare dalla fase di esplorazione.

Di seguito, approfondiamo il modo in cui abbiamo valutato Genie Code su un ampio spettro di attività utente reali.

Abbiamo valutato gli agenti su oltre 400 attività reali derivanti dall'utilizzo effettivo

Abbiamo creato deliberatamente un set di valutazione per coprire un'ampia distribuzione di attività utente reali su Genie Code. Abbiamo estratto 401 attività autonome dall'effettivo utilizzo interno di Databricks, che spaziano dalle domande quotidiane ai problemi più complessi affrontati dai power user: attività di scoperta in cui l'agente deve trovare gli asset giusti, creazione e modifica di codice e query, debug del codice, comprensione e spiegazione del codice esistente, ricerche precise di dati che richiedono l'estrazione di numeri esatti dalle tabelle e altro ancora.

Abbiamo eseguito le stesse attività con Genie Code e tre dei principali coding agent generici, che chiameremo Agent X, Agent Y e Agent Z, ciascuno con lo stesso budget di tempo effettivo (wall-clock) di 20 minuti per attività. Le risposte sono state valutate da un giudice indipendente in base alla correttezza e all'utilità della risposta. Un'attività che va in timeout viene considerata un fallimento. Le cifre in dollari in questa analisi sono stime di ciò che un utente pagherebbe per ciascun agente e sono più informative in termini relativi.

Risultati

Abbiamo eseguito ciascun agente su tutte le 401 attività, con tutti gli agenti che utilizzavano LLM di frontiera simili e potenziati con Databricks MCP.

Genie Code è l'agente più accurato in questo benchmark e il più economico: costa circa la metà per attività rispetto ad Agent X e meno della metà del suo costo per risposta corretta. Gli Agent Y e Z si attestano intorno al 55% di accuratezza, penalizzati in gran parte da timeout di tempo effettivo su scansioni a lungo termine, spesso dovuti a query inefficienti e senza limiti su tabelle molto grandi.

Per questo specifico benchmark, abbiamo osservato che l'attività mediana costa $0,34, il p99 è di $2,72, l'attività più costosa è di $3,87 e solo il 4% delle attività supera i $2. Gli altri agenti registrano il 33-40% delle loro attività sopra $1 (rispetto al 16% di Genie Code) e le sessioni di esplorazione profonda di Agent X raggiungono un costo massimo significativamente più alto di $9,49. Poiché tutti gli agenti hanno accesso allo stesso livello di modelli di frontiera, le variazioni di costo si riducono all'efficienza: effettuare meno passaggi e consumare meno token per arrivare a una risposta.

Il divario è guidato dal modo in cui ciascun agente trova i dati di cui ha bisogno. Le attività più difficili del set non nominano esplicitamente gli asset e l'agente deve individuare le tabelle, i notebook o le dashboard corretti, insieme alla logica di business pertinente, prima di poter rispondere. In queste attività, gli agenti generici ripiegano su un'esplorazione inefficiente dello spazio di lavoro, e tale esplorazione si traduce sia in una minore accuratezza che in costi più elevati.

La comprensione del contesto dello spazio di lavoro da parte di Genie Code — ricerca semantica nel catalogo e memoria persistente dei dati dello spazio di lavoro — gli consente di evitare la maggior parte di questo processo, registrando una media di sole 8,3 chiamate di strumenti per attività, meno di qualsiasi altro agente testato. Questo spiega anche le code di costo menzionate sopra: le sessioni costose di ogni agente sono dominate da queste attività di scoperta e la coda di Genie Code è la più breve. Prevediamo che questo vantaggio sarà ulteriormente rafforzato dalla Genie Ontology; abbiamo disabilitato l'Ontology durante questa esecuzione poiché non è ancora disponibile a livello globale per tutti i nostri clienti.

Conclusione

All'inizio della nostra indagine, ci aspettavamo un compromesso tra accuratezza e costi. Al contrario, su un'ampia distribuzione di attività utente reali, scopriamo che Genie Code è in grado di utilizzare la sua solida comprensione semantica dei dati per superare i coding agent generici, risultando più accurato ed economico.

Genie Code è progettato come un data agent di frontiera, ottimizzato per operare in un ambiente altamente dinamico e ambiguo come lo spazio di lavoro di Databricks. I coding agent generici faticano in questi ambienti: finiscono per consumare i propri passaggi e token per riscoprire un contesto che Genie Code già possiede. Questa competenza si traduce contemporaneamente in accuratezza, velocità e riduzione dei costi, senza alcun compromesso sulle capacità generali.

Finalmente, come per il nostro benchmark dei coding agent sulla codebase di Databricks, la lezione più ampia è che le classifiche generiche non possono misurare l'esperienza quotidiana degli utenti. Ampliamo costantemente le nostre valutazioni sulla base di attività reali e continueremo a pubblicare ciò che apprendiamo.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale