Passa al contenuto principale
Piattaforma

Introduzione a Unity Gateway Insights

Scopri automaticamente le inefficienze nell'utilizzo dell'IA

di Adam Gurary, Alkis Polyzotis e Vishnu Kannan

Quando si cerca di ridurre i costi dell'IA, i team spesso partono dai budget o dai modelli open-source. Ma le tracce degli agenti possono rivelare altre opportunità di risparmio. In Databricks, l'analisi delle tracce ne ha evidenziate diverse: i replay offline non hanno mostrato alcun guadagno in termini di prestazioni passando da Opus 4.8 a Opus 5, quindi siamo rimasti sul più economico 4.8; la correzione di errori MCP comuni ha permesso di recuperare circa 1,2 milioni di dollari all'anno in costi; e le tracce hanno mostrato che prompt semplici venivano inviati a modelli costosi, spingendoci ad adottare Smart Routing. 

Oggi presentiamo Unity Gateway Insights, che utilizza automaticamente Genie per analizzare milioni di tracce di agenti insieme ai dati aziendali e all'ontologia. Rileva dove vengono sprecati i token: errori MCP ricorrenti, attività semplici eseguite su costosi modelli di frontiera e flussi di lavoro ripetuti che vale la pena trasformare in competenze condivise, il tutto nel contesto del vostro business e con la stessa governance degli altri dati.

Come funziona Insights

Se avete già traffico che passa attraverso Unity Gateway, aprite AI Gateway > Observability > Insights e generate un report per l'ultimo giorno, gli ultimi 7 giorni o gli ultimi 30 giorni. Insights compila quindi un report sulla tokenomics del rollout dei vostri agenti di codifica che risponde alle seguenti domande:

  • Su cosa stanno lavorando le persone? Insights confronta la quota di sessioni di ciascun flusso di lavoro con la sua quota di token. Un flusso di lavoro con il 10% delle sessioni e il 35% dei token è il primo posto da cui iniziare a guardare.
  • Dove posso risparmiare? Insights mostra dove vanno a finire i token e classifica ogni tipo di spreco in base al costo. Per ogni flusso di lavoro ripetuto, Insights scrive un prompt che potete copiare per trasformare quel flusso di lavoro in una competenza condivisa.

Ogni risultato rimanda a sessioni di esempio, così potete aprire le tracce sottostanti.

Potete aggiungere fino a 10 domande personali a un report, ad esempio se l'ultimo modello vale la pena per il lavoro del vostro team. Per approfondire, continuate la conversazione con Genie. Chiedete quale server MCP ha sprecato più token questo mese e chi ne è il proprietario, e avrete un bug report pronto da inviare.

Cosa trova Insights nelle vostre tracce

Ecco cosa c'è dietro ogni tipo di spreco segnalato da Insights:

  • Errori MCP e sprechi: Quando una chiamata a uno strumento fallisce, gli agenti ritentano o aggirano il problema fino al completamento dell'attività, quindi la sessione sembra aver funzionato mentre voi pagate per ogni tentativo. Gli 1,2 milioni di dollari che abbiamo trovato provenivano da soli sette piccoli bug nei nostri server MCP: 499 mila dollari in token sprecati più 12.000 ore di ingegneri in attesa degli agenti. Risolverli tutti e sette ha richiesto circa un'ora.
  • Utilizzo inefficiente del modello: Insights valuta la complessità dell'attività in ogni sessione con modello di frontiera e conta quelle rapide e di routine, insieme ai token utilizzati. Queste sono le sessioni che Smart Routing può inviare a un modello più economico, mantenendo i modelli di frontiera per il lavoro che ne ha bisogno.
  • Flussi di lavoro comuni da codificare: Un flusso di lavoro viene conteggiato quando si ripete in almeno tre sessioni o tra due ingegneri. Una competenza condivisa fornisce agli agenti questi passaggi in anticipo, evitando di continuare a pagare affinché elaborino i passaggi da capo a ogni sessione.

Il piano di controllo dell'IA sulla vostra piattaforma dati

Trovare questo tipo di spreco richiede una registrazione completa di ogni fase di ogni sessione dell'agente: input e output, chiamate a strumenti, subagenti, passaggi intermedi, latenza e costo in token. Un gateway indipendente registra solo le richieste che lo attraversano. Acquisire il resto di ciascuna sessione significa instrumentare autonomamente ogni agente di codifica, esportando poi le tracce su una piattaforma dati per analizzarle.

Puntare Claude Code su quelle tracce vi lascia comunque il compito di progettare l'indagine da soli, senza una mappa del vostro business come quella fornita da Genie Ontology. Insights esegue l'indagine che abbiamo sviluppato durante l'implementazione degli agenti di codifica per migliaia di ingegneri Databricks. Campiona le sessioni e le raggruppa in flussi di lavoro per tipo di attività. Quindi controlla ciascun flusso di lavoro per individuare strumenti MCP difettosi, contesto sovraccarico, modelli di frontiera su attività semplici e flussi di lavoro ripetuti, classificando i risultati in base ai token in gioco. Dipende da quattro cose che un gateway indipendente non può avere:

  • Ogni agente tracciato automaticamente. Unity Gateway è il piano di controllo attraverso cui passano le richieste dei vostri agenti di codifica. Quando gli ingegneri avviano Claude Code, Codex o GitHub Copilot con la ug CLI, ug attiva automaticamente il tracciamento OpenTelemetry di ciascun agente, in modo che i vostri team non debbano instrumentare nulla. Le tracce finiscono nella unified trace table, una tabella Delta governata in Unity Catalog di vostra proprietà, in un formato aperto leggibile da qualsiasi strumento.
  • Genie che conosce il vostro business. Genie scrive il codice SQL e legge le sessioni. Con Genie Ontology, le sue risposte utilizzano i nomi dei vostri progetti e le sfumature aziendali.
  • Scalabilità per milioni di tracce. Databricks SQL esegue query sulla cronologia completa delle tracce con la stessa scala e le stesse prestazioni che offre per le vostre tabelle più grandi.
  • Blindato per impostazione predefinita. Le tracce contengono prompt, codice e output degli strumenti, quindi solo il proprietario della tabella può interrogazione finché gli amministratori non concedono l'accesso tramite autorizzazioni di Unity Catalog e filtri di riga. Insights legge la tabella sul posto, quindi non esportate mai i vostri dati più sensibili per analizzarli.

Per iniziare

Se i vostri sviluppatori eseguono già agenti di codifica tramite Unity Gateway, potete generare il vostro primo report oggi stesso:

  1. Configurate la unified trace table in modo che Unity Gateway registri le tracce.
  2. Fate avviare ai vostri team i loro agenti di codifica con la ug CLI.
  3. Nel vostro workspace, aprite AI Gateway > Observability > Insights e generate un report. Vedete la documentazione di Insights per i dettagli.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale

Tag correlati:

Unity Gateway e Genie

Ricevi gli ultimi articoli nella tua casella di posta

Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.