Come scalare le applicazioni basate su agenti senza creare una proliferazione dell'AI

Creare un agente sta diventando sempre più semplice. Modelli più capaci e agenti di codifica rendono la creazione e l'iterazione più veloci. Gestire molti agenti in un'intera azienda, tuttavia, è un problema diverso.

Man mano che gli agenti passano dal rispondere alle domande al compiere azioni, dipendono sempre più da una rete di modelli, dati aziendali, semantica di business, strumenti e applicazioni. Un singolo flusso di lavoro potrebbe recuperare dati governati, selezionare un modello, chiamare diversi strumenti, passare il lavoro a un altro agente e aggiornare un sistema aziendale, il tutto operando con le autorizzazioni corrette e lasciando una traccia sufficiente per capire cosa sia successo.

Poiché ogni team collega questi elementi in modo indipendente, può emergere un nuovo tipo di proliferazione dell'AI: integrazioni duplicate, policy incoerenti, aumento della spesa per l'AI, contesto frammentato e applicazioni che diventano più difficili da modificare con il crescere del numero di agenti.

La sfida consiste nello scalare queste applicazioni senza moltiplicare l'infrastruttura circostante per ognuna di esse.

Di recente abbiamo riunito Databricks, OpenAI e Stellantis per esaminare cosa serve per scalare le applicazioni agentiche in produzione. Un tema centrale è stato che, man mano che gli agenti diventano più capaci e autonomi, l'infrastruttura che li circonda acquista maggiore importanza.

Su scala aziendale, questa infrastruttura deve fornire tre elementi: scelta, in modo che i team possano utilizzare i modelli, gli strumenti e i framework giusti man mano che si evolvono; contesto, in modo che gli agenti possano lavorare con dati aziendali governati e significato aziendale; e controllo, in modo che autorizzazioni, policy, valutazione, osservabilità e gestione dei costi rimangano coerenti con la crescita delle applicazioni.

Su Databricks, questa base unisce Agent Bricks, Omnigent, e Unity Gateway. Agent Bricks fornisce la piattaforma unificata per creare, governare e ottimizzare flotte di agenti. Omnigent offre ai team un livello comune per lavorare su diversi harness di agenti, mentre Unity Gateway centralizza l'accesso, i controlli dei costi e l'osservabilità tra i modelli, gli agenti e gli strumenti utilizzati da tali applicazioni.

Con queste funzionalità condivise tra le applicazioni, i team possono aggiungere nuovi agenti e flussi di lavoro senza trasformare ognuno di essi in un progetto di integrazione e governance separato.

Il contesto deve essere condiviso, non ricostruito

Un agente aziendale ha bisogno di qualcosa di più del semplice accesso a un modello. Richiede dati, definizioni aziendali, documenti, applicazioni e strumenti necessari per comprendere il compito da svolgere.

Questo contesto spesso esiste già all'interno dell'organizzazione. La sfida consiste nel renderlo disponibile agli agenti in una forma governata e riutilizzabile.

Consideriamo due agenti al servizio di team diversi. Un agente di vendita e un agente del supporto clienti potrebbero aver entrambi bisogno di capire chi è considerato un cliente attivo, quali prodotti possiede quel cliente e come sono definite le gerarchie degli account. Se ogni applicazione ricrea in modo indipendente queste definizioni, lo stesso concetto aziendale può significare cose diverse nei vari flussi di lavoro.

Questa frammentazione crea anche una maggiore infrastruttura da mantenere, poiché i team collegano gli agenti separatamente ai dati dei clienti, alle definizioni dei prodotti, alle metriche e ai documenti interni.

Agent Bricks si basa su un livello di contesto condiviso basato su dati aziendali governati e semantica di business. Unity Catalog governa l'accesso ai dati e agli asset AI, mentre la Genie Ontology offre agli agenti una comprensione comune dei concetti e delle relazioni aziendali. Funzionalità come Document Intelligence, AI Search, e Agent Memory possono estendere questo contesto con la comprensione dei documenti, il recupero e la cronologia per flussi di lavoro più complessi.

I team possono quindi riutilizzare lo stesso contesto aziendale governato in tutte le applicazioni, invece di ricrearlo ogni volta.

La scelta non deve creare frammentazione

È improbabile che il modello, lo strumento o l'harness di agenti migliore per un compito rimanga invariato.

Fasi diverse in un'applicazione agentica possono richiedere compromessi differenti tra qualità del ragionamento, latenza e costi. Continuano a emergere nuovi modelli e harness, e flussi di lavoro complessi possono combinarne diversi contemporaneamente.

Questa flessibilità diventa difficile da gestire quando ogni harness ha la propria interfaccia, sessioni, policy e modalità di esecuzione.

Omnigent aggiunge un livello comune sopra gli harness di agenti, in modo che i team possano comporre agenti creati con harness diversi e passare dall'uno all'altro con meno sforzo di rielaborazione. Unity Gateway gestisce la scelta a livello di modello e di harness, fornendo un accesso coerente a modelli proprietari e aperti, insieme a Smart Routing, capacità e controlli dei costi.

Insieme, questi livelli consentono ai team di modificare i modelli e le tecnologie degli agenti alla base di un'applicazione, mantenendo coerente l'infrastruttura circostante.

Il controllo deve seguire ogni azione

La necessità di controllo cresce man mano che gli agenti passano dalla generazione di risposte al compimento di azioni.

Un agente potrebbe leggere i dati aziendali, chiamare un sistema aziendale, eseguire codice, aggiornare un flusso di lavoro o invocare un altro agente. Ogni funzionalità aggiuntiva espande ciò che l'applicazione può fare e crea più interazioni che devono essere governate.

Consideriamo un agente che gestisce il rimborso di un cliente. L'operatore che avvia la richiesta potrebbe avere un ampio accesso all'account del cliente. Allo stesso tempo, l'agente ha bisogno solo dei dettagli dell'ordine, della policy di rimborso pertinente e dell'autorizzazione per eseguire una transazione specifica. La sua autorità dovrebbe corrispondere al compito che gli è stato chiesto di completare.

Ciò richiede controlli che coprano l'intera interazione dell'AI.

Unity Gateway fornisce un control plane centralizzato per modelli, agenti, server MCP, strumenti e skill. I team possono applicare policy di accesso e guardrail, gestire budget e limiti di frequenza, controllare quali asset AI sono disponibili e conservare le tracce di queste interazioni. Insieme a Unity Catalog, questi controlli possono riflettere l'identità, le autorizzazioni dei dati e il contesto alla base di una richiesta.

Per i carichi di lavoro che eseguono codice o strumenti, Databricks Sandbox aggiunge un ambiente di esecuzione isolato con accesso limitato ai dati e ai sistemi di cui l'agente ha bisogno.

Il risultato è un confine più chiaro intorno a ciò a cui un agente può accedere, quali azioni può intraprendere e come queste decisioni vengono applicate con la crescita delle applicazioni.

Il controllo richiede anche visibilità su ciò che è accaduto

Una volta che un'applicazione è in grado di recuperare il contesto, scegliere i modelli, chiamare gli strumenti e coordinare più passaggi, la sua risposta finale racconta solo una parte della storia.

Una risposta apparentemente corretta può nascondere un recupero non riuscito, la chiamata a uno strumento errato o un percorso di esecuzione imprevisto. Quando qualcosa va storto, i team devono ricostruire il modo in cui l'applicazione è arrivata al suo risultato: quali informazioni ha utilizzato, quali strumenti ha chiamato, quale modello ha gestito il compito, quali policy sono state applicate e dove il comportamento ha deviato dalle aspettative.

Unity Gateway centralizza la telemetria tra le interazioni dell'AI, inclusi tracce, utilizzo, costi e attività degli strumenti. MLflow integra questa visibilità operativa con flussi di lavoro di tracciamento e valutazione che consentono ai team di ispezionare il comportamento dell'applicazione, acquisire interazioni rappresentative nei dataset e valutare le modifiche a prompt, modelli, strumenti o orchestrazione.

Questo feedback può informare l'iterazione successiva dell'applicazione. I team possono confrontare le modifiche prima di un'implementazione più ampia, identificare le regressioni e utilizzare il comportamento in produzione per migliorare la qualità, l'affidabilità e i costi nel tempo.

L'infrastruttura condivisa semplifica la composizione

I flussi di lavoro aziendali più ampi spesso coinvolgono più di un agente, modello o strumento. Un componente potrebbe comprendere la richiesta di un utente, un altro potrebbe analizzare i dati e un sistema deterministico potrebbe eseguire un calcolo o aggiornare un processo aziendale.

La capacità di comporre questi elementi diventa più preziosa quando l'infrastruttura circostante è già condivisa. Omnigent fornisce un'interfaccia comune per gli agenti creati con diversi harness, mentre Agent Bricks offre la piattaforma più ampia per creare e gestire la flotta di agenti risultante. Lo stesso contesto governato e gli stessi controlli possono essere applicati all'intero flusso di lavoro.

Man mano che i team creano più applicazioni, gli agenti, gli strumenti, le competenze e il contesto aziendale possono diventare blocchi costitutivi riutilizzabili. I nuovi flussi di lavoro possono attingere a un'infrastruttura esistente, ben governata e osservabile, anziché creare un altro stack isolato.

Sviluppare per scelta, contesto e controllo

Man mano che gli agenti diventano più capaci, l'architettura circostante si fa carico di renderli affidabili su scala aziendale.

Scelta offre ai team lo spazio per adottare nuovi modelli, harness e strumenti al variare dell'ecosistema. 

Contesto radica queste applicazioni nei dati aziendali governati e nella semantica di business. 

Controllo garantisce una governance e operazioni coerenti su tutta la flotta di agenti risultante, dalle autorizzazioni e policy ai budget, tracciamenti, valutazione e costi.

Agent Bricks unisce queste funzionalità in una piattaforma unificata per creare, governare e ottimizzare flotte di agenti su scala, con Omnigent che supporta la composizione tra diversi harness e Unity Gateway che fornisce un piano di controllo comune per tutte le interazioni AI.

I modelli e gli harness continueranno a cambiare. Le aziende non hanno bisogno di standardizzarsi su uno di essi per scalare con successo. Devono invece standardizzare l'infrastruttura circostante, in modo che i nuovi agenti possano ereditare lo stesso contesto, controlli e modello operativo senza creare un ulteriore livello di frammentazione dell'AI.

Scopri di più

Guarda Agents at Work: Shipping Agentic Apps at Scale on demand per un'analisi più approfondita dell'infrastruttura, del modello operativo e dei pattern di produzione alla base delle applicazioni basate su agenti in ambito aziendale.

Inizia ora

Con la CLI di Agent Bricks, iniziare è semplicissimo. In poche righe di codice, puoi sviluppare un agente integrato con tutte le funzionalità di Agent Bricks, tra cui Unity Gateway per la capacità del modello, il Runtime ospitato sull'infrastruttura Databricks e il tracciamento degli agenti basato su MLflow.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale