Scopri automaticamente le inefficienze nell'utilizzo dell'IA
Quando si cerca di ridurre i costi dell'IA, i team spesso partono dai budget o dai modelli open-source. Ma le tracce degli agenti possono rivelare altre opportunità di risparmio. In Databricks, l'analisi delle tracce ne ha evidenziate diverse: i replay offline non hanno mostrato alcun guadagno in termini di prestazioni passando da Opus 4.8 a Opus 5, quindi siamo rimasti sul più economico 4.8; la correzione di errori MCP comuni ha permesso di recuperare circa 1,2 milioni di dollari all'anno in costi; e le tracce hanno mostrato che prompt semplici venivano inviati a modelli costosi, spingendoci ad adottare Smart Routing.
Oggi presentiamo Unity Gateway Insights, che utilizza automaticamente Genie per analizzare milioni di tracce di agenti insieme ai dati aziendali e all'ontologia. Rileva dove vengono sprecati i token: errori MCP ricorrenti, attività semplici eseguite su costosi modelli di frontiera e flussi di lavoro ripetuti che vale la pena trasformare in competenze condivise, il tutto nel contesto del vostro business e con la stessa governance degli altri dati.

Se avete già traffico che passa attraverso Unity Gateway, aprite AI Gateway > Observability > Insights e generate un report per l'ultimo giorno, gli ultimi 7 giorni o gli ultimi 30 giorni. Insights compila quindi un report sulla tokenomics del rollout dei vostri agenti di codifica che risponde alle seguenti domande:

Ogni risultato rimanda a sessioni di esempio, così potete aprire le tracce sottostanti.

Potete aggiungere fino a 10 domande personali a un report, ad esempio se l'ultimo modello vale la pena per il lavoro del vostro team. Per approfondire, continuate la conversazione con Genie. Chiedete quale server MCP ha sprecato più token questo mese e chi ne è il proprietario, e avrete un bug report pronto da inviare.

Ecco cosa c'è dietro ogni tipo di spreco segnalato da Insights:
Trovare questo tipo di spreco richiede una registrazione completa di ogni fase di ogni sessione dell'agente: input e output, chiamate a strumenti, subagenti, passaggi intermedi, latenza e costo in token. Un gateway indipendente registra solo le richieste che lo attraversano. Acquisire il resto di ciascuna sessione significa instrumentare autonomamente ogni agente di codifica, esportando poi le tracce su una piattaforma dati per analizzarle.
Puntare Claude Code su quelle tracce vi lascia comunque il compito di progettare l'indagine da soli, senza una mappa del vostro business come quella fornita da Genie Ontology. Insights esegue l'indagine che abbiamo sviluppato durante l'implementazione degli agenti di codifica per migliaia di ingegneri Databricks. Campiona le sessioni e le raggruppa in flussi di lavoro per tipo di attività. Quindi controlla ciascun flusso di lavoro per individuare strumenti MCP difettosi, contesto sovraccarico, modelli di frontiera su attività semplici e flussi di lavoro ripetuti, classificando i risultati in base ai token in gioco. Dipende da quattro cose che un gateway indipendente non può avere:
Se i vostri sviluppatori eseguono già agenti di codifica tramite Unity Gateway, potete generare il vostro primo report oggi stesso:
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.