Una guida su persone, processi e tecnologie necessari per distribuire agenti AI governati e affidabili su scala aziendale
AgentOps è la disciplina operativa per creare, distribuire e migliorare gli agenti AI in produzione. Unisce architettura, valutazione, osservabilità, governance, sicurezza e gestione dei costi in un processo ripetibile per i team.
Un agente AI è molto più di un modello che genera una risposta. Gli agenti possono scegliere gli strumenti a runtime, recuperare dati aziendali, chiamare API e svolgere autonomamente attività in più passaggi. Ognuna di queste funzionalità rappresenta un punto in cui qualcosa può andare storto, come la chiamata errata a uno strumento, un'autorizzazione troppo ampia o un picco di costi imprevisto.
AgentOps esiste per evitare che questa complessità diventi un problema. Se implementato correttamente, rende il sistema abbastanza affidabile da conquistare la fiducia degli utenti e abbastanza semplice da poter essere gestito concretamente da un team.
L'AI generativa è passata dalla fase di sperimentazione a quella aziendale più rapidamente della maggior parte delle altre ondate tecnologiche. La prossima sfida consiste nel trasformare progetti pilota promettenti in sistemi affidabili su cui le persone possano contare.
La maggior parte dei team si blocca sulle stesse domande operative:
Per rispondere a queste domande non basta un modello più potente. Occorre un modello operativo per l'agente stesso.
Questo è un territorio familiare. L'MLOps si è consolidato quando i team hanno spostato i modelli di machine learning dai notebook alla produzione. È seguito l'LLMOps, che ha introdotto pratiche per il versionamento di prompt e modelli, il serving distribuito e il controllo dei costi. AgentOps rappresenta il livello successivo ed estende questa disciplina a sistemi in grado di ragionare, utilizzare strumenti e agire in autonomia.
Un agente in produzione ha bisogno di limiti chiari su ciò che i suoi strumenti possono toccare, un registro tracciabile dell'esecuzione multi-step, un modo per misurare la qualità, un piano per gestire eventuali errori e un allineamento sufficiente tra i team di engineering, prodotto, sicurezza, compliance e finanza, in modo che il rilascio non riservi sorprese a nessuno.
L'esperienza dei clienti lo dimostra. L'agente di conoscenza text-to-code di FactSet si è evoluto da un singolo modello foundation a un sistema di agenti completo, offrendo un miglioramento del 44% nella precisione. Leggi la storia di FactSet.
The Big Book of AgentOps codifica le pratiche che aiutano i team aziendali a compiere questa transizione: pattern di architettura, una pipeline di rilascio a fasi, loop di valutazione e feedback, governance, gestione dei costi e le decisioni degli stakeholder che determinano se un agente raggiungerà effettivamente la produzione.
Il libro spazia dai concetti all'implementazione attraverso sei capitoli.
Gli agenti non equivalgono a una semplice chiamata LLM di tipo prompt-risposta.
Logging, gate di valutazione, governance, rollback e monitoraggio sono tutti importanti, ma i requisiti variano a seconda delle quattro architetture degli agenti. Descriviamo ogni architettura e i relativi requisiti operativi per una facile consultazione.
Altrettanto importanti sono gli anti-pattern che impediscono il rilascio dei progetti pilota: iniziare con un caso d'uso troppo ampio, ricorrere all'orchestrazione multi-agente prima che la complessità sia giustificata, utilizzare un loop di ragionamento non necessario e rimandare la valutazione a un momento successivo a quello opportuno. Condividiamo un elenco di quelli più comuni che abbiamo riscontrato, in modo da evitare errori simili.
Le architetture di distribuzione variano da semplici a complesse a seconda del caso d'uso e delle esigenze dell'organizzazione. Esaminiamo quattro pattern di distribuzione, che vanno dalla distribuzione da un singolo workspace Databricks alla configurazione più complessa: una topologia aziendale multi-account e multi-agente. Ogni pattern è accompagnato da indicazioni su come selezionare ed evolvere tra i vari modelli al variare delle esigenze. In ogni fase, Unity Catalog, Unity Gateway e MLflow rimangono al centro del supporto all'architettura.
Una roadmap in sette fasi che spazia da come formare un team e selezionare un caso d'uso, fino alla configurazione dell'infrastruttura dati, ai loop di valutazione e alle best practice di governance.
Evidenziamo gli aspetti importanti da notare per ciascuna fase. Ad esempio, il costo è una parte cruciale del ciclo di vita. Una singola richiesta dell'utente può attivare diverse chiamate al modello se si considerano sotto-agenti, tentativi e controlli dei guardrail. Per questo motivo è fondamentale attribuire l'utilizzo, impostare limiti e stabilire una chiara responsabilità per la spesa.
I team devono iterare rapidamente per sviluppare un agente di alta qualità. Devono inoltre far evolvere l'agente in base agli sviluppi della ricerca di frontiera e in risposta alle mutevoli esigenze della propria organizzazione. Per affrontare questo aspetto, evidenziamo come i principi di flusso, feedback e apprendimento continuo, tratti da The DevOps Handbook, forniscano una base utile per la gestione dei sistemi di agenti AI.
Applicare questi principi ai sistemi di agenti significa creare un dataset di valutazione di riferimento (golden dataset) a partire da tracce reali, calibrare i giudici automatizzati in base al feedback degli esperti in materia (SME) e utilizzare i risultati della valutazione per guidare gli sviluppi successivi. Un esempio pratico di un agente per le e-mail dei clienti mostra come la revisione umana, i giudici basati su modelli e i controlli basati su regole possano collaborare senza trasformare ogni rilascio in un audit manuale.
Una sequenza di pianificazione in sei passaggi aiuta i team a concentrare gli sforzi dove possono davvero fare la differenza: mappare il flusso di lavoro umano, tradurlo in un'architettura tecnica, definire le esigenze di osservabilità per persona, progettare il tracciamento nel sistema, mappare i controlli di accesso a dati e strumenti e identificare ciò che può essere riutilizzato.
Un agente di assistenza clienti per le telecomunicazioni mette in pratica questa sequenza, fino agli schemi dei dati, agli strumenti a disposizione di un sotto-agente di fatturazione e ai controlli granulari che impediscono a un cliente di visualizzare i dati di un altro.
Una buona progettazione tecnica non garantisce che un agente raggiunga la produzione. Molti progetti validi dal punto di vista tecnico si bloccano invece a causa di problemi legati alle persone.
La conformità per la produzione dipende dall'allineamento degli stakeholder in tutta l'organizzazione, dagli sponsor esecutivi e dai product owner fino a SME, sicurezza, compliance e finanza. Questa sezione fornisce una matrice RACI pratica che chiarisce la titolarità delle decisioni che più spesso si bloccano e suggerisce cadenze di comunicazione per le fasi del progetto precedenti e successive al lancio. Questi processi di team si traducono in stretti loop di feedback con gli SME, garantendo che il monitoraggio operativo post-lancio e le revisioni procedano senza intoppi e che i progetti offrano valore a lungo termine.
Scegli un caso d'uso ben definito con metriche di successo chiare prima di passare all'orchestrazione. Presenta presto un prototipo funzionante agli stakeholder. Lascia che sia ciò che impari, e non una roadmap predefinita, a decidere cosa sviluppare in seguito.
DXC Technology ha intrapreso questa strada durante l'espansione del suo portfolio AI. L'azienda gestisce ora tre agenti AI in produzione, ne ha altri otto in fase pilota o di sviluppo e ha ridotto il costo totale di proprietà della piattaforma del 30% dopo la migrazione a Databricks. Leggi la storia di DXC Technology.
La valutazione è ciò che consente a un team di rilasciare un agente con sicurezza e di continuare ad aggiornarlo in modo sicuro in seguito. Inizia con la revisione di tracce reali da parte degli SME, non con una manciata di prompt di chat selezionati manualmente. Questo giudizio umano fa emergere le modalità di errore, crea un set di valutazione rappresentativo e calibra i giudici automatizzati che alla fine si occuperanno dei controlli di routine.
Databricks integra tutto questo direttamente nella piattaforma: valutazione degli agenti, giudici assistiti dall'AI e analisi basata sulle tracce che consentono ai team di individuare i problemi in produzione, analizzarne le cause principali e testare una correzione prima della nuova distribuzione.
Intercontinental Exchange (ICE) ha messo in pratica questo approccio in un'applicazione text-to-SQL regolamentata che risponde a domande aziendali utilizzando dati finanziari, ottenendo una precisione sintattica del 77% e una corrispondenza di esecuzione del 96% su circa 50 query.
I conti che risiedono all'interno delle singole applicazioni diventano più difficili da verificare con l'aumentare del numero di agenti. Un approccio basato su piattaforma offre ai team un unico punto per gestire l'accesso ai dati, l'utilizzo di modelli e strumenti, il tracciamento, la valutazione e l'applicazione delle policy, anziché dover reinventare la governance per ogni nuovo agente.
Su Databricks, questa base è costituita da MLflow per la valutazione e il tracciamento, Unity Gateway per il traffico di modelli e strumenti, e Unity Catalog per l'individuazione regolamentata, le autorizzazioni, la derivazione (lineage) e il controllo degli accessi a livello di dati e risorse AI.
Block è un ottimo esempio dei vantaggi offerti da una base governata. Il suo ambiente Databricks supporta sia casi d'uso di AI sia operativi, con Unity Catalog che gestisce l'accesso ai dati tra le varie business unit. Databricks segnala 10 milioni di dollari di incrementi di produttività derivanti dal sistema di agenti AI di Block per le operazioni dei venditori.
The Big Book of AgentOps è scritto per chiunque sia responsabile del rilascio in produzione di un agente AI o del suo mantenimento una volta avviato:
Chiunque abbia utenti che dipendono dal comportamento dell'agente dovrebbe avere questa guida sulla propria scrivania.
Leggi l'eBook completo per approfondire ed esplorare le funzionalità della piattaforma alla base degli agenti AI in produzione:
È l'insieme di pratiche per creare, valutare, distribuire, governare, osservare e migliorare gli agenti AI una volta avviati, nonché la disciplina operativa che consente a un sistema di ragionare, utilizzare strumenti e agire in modo affidabile.
Perché possono accadere moltissime cose tra la ricezione di una richiesta e l'invio di una risposta: chiamate a strumenti, recupero delle informazioni, verifiche dei permessi, tentativi di retry e orchestrazione. Ognuno di questi elementi influisce su qualità, rischio, latenza o costi, e nessuno di essi emerge se si monitora solo l'output finale del modello.
Panoramica e anti-pattern degli agenti, architetture di deployment, una pipeline di progetto in sette fasi, loop di valutazione e feedback, pratiche DevOps adattate per sistemi non deterministici, attività di pianificazione ad alto impatto e gestione degli stakeholder.
Scegli un caso d'uso circoscritto con criteri di successo misurabili. Crea un set di valutazione a partire da esempi reali, traccia le azioni effettive dell'agente, applica una governance basata sul principio del minimo privilegio e stabilisci un ritmo operativo prima di passare a un'orchestrazione più complessa.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.