Come integrare determinismo, ragionamento degli agenti, autorità umana e autonomia limitata nei sistemi aziendali
L'AI aziendale non può sostituire ogni controllo deterministico. Questi quattro pattern aiutano gli architetti a decidere dove gli agenti possono ragionare, agire e rimanere soggetti a controlli o all'autorità umana.
Le aziende stanno aggiungendo agenti a sistemi basati su regole fisse e processi ripetibili. Gli agenti possono elaborare problemi complessi, ma i sistemi aziendali, specialmente nei settori regolamentati, devono rimanere controllati e verificabili. La domanda non è quale scegliere, ma come farli lavorare insieme.
Scriviamo questa serie perché i clienti ci pongono le stesse domande: come fanno le aziende di tutto il mondo a gestire vincoli simili ai nostri? Qual è la realtà dell'adozione dell'AI aziendale? In che modo le altre organizzazioni affrontano queste sfumature? Come aiuta Databricks a risolverle quando i requisiti sono ambigui, complessi e molto specifici per l'organizzazione?
Noi, in qualità di Forward Deployed Engineer, lavoriamo su questo confine. Trasformiamo problemi di business ambigui in sistemi pronti per la produzione. Sebbene le implementazioni varino da un'istituzione all'altra e non possiamo rivelare dettagli specifici di implementazione, possiamo discutere pattern e pratiche generalizzate. Man mano che gli agenti diventano parte di grandi sistemi aziendali, due domande continuano a ripresentarsi:
La risposta non è la stessa per ogni caso d'uso. Tra i sistemi che stiamo costruendo e modernizzando sul campo, stanno emergendo quattro pattern. Questo primo articolo introduce il framework. I successivi quattro articoli mostrano come funziona ogni pattern nella pratica.
Usa questo pattern quando i risultati devono essere rigorosamente deterministici e riproducibili, o quando gli errori sono irreversibili e comportano alti costi di rimedio. Qui, deterministico significa che il risultato può essere riprodotto sotto un contratto esplicito e versionato che registra insieme dati, regola, tolleranza, configurazione e contesto di esecuzione.
Le istituzioni finanziarie hanno molti controlli. Le riconciliazioni ne sono un buon esempio. Il controllo deve calcolare i saldi, applicare una regola approvata e produrre un risultato PASS o FAIL riproducibile. Un agente non può reinterpretare la tolleranza o trasformare la propria spiegazione in un controllo superato. Quando una riconciliazione fallisce, un agente può raccogliere prove, ispezionare il lignaggio e lo stato del batch, confrontare l'anomalia con incidenti precedenti, testare un insieme limitato di cause e consigliare cosa fare dopo. Il controllo deterministico decide ancora se la riconciliazione è stata superata. L'agente aiuta a spiegare perché è fallita.
L'agente può indagare sul controllo. Non può diventare il controllo.
Questo pattern si applica anche ai calcoli normativi, all'applicazione delle policy, ai controlli sulla qualità dei dati e alle verifiche di integrità del sistema, ovunque il risultato debba essere preciso, riproducibile e verificabile.
Usa questo pattern quando più di una risposta può essere valida, ma il risultato può essere testato in modo oggettivo.
La migrazione di sistemi legacy o la modernizzazione ne sono un buon esempio. Un agente può analizzare un carico di lavoro esistente e generare un'implementazione di destinazione. Potrebbe non produrre esattamente la stessa implementazione ogni volta. Questo non è necessariamente un problema. Ciò che conta è se il risultato è corretto.
Un giudice deterministico può verificare se il codice compila, gli schemi sono conformi, i dati si riconciliano, i totali di controllo corrispondono, i requisiti di governance sono soddisfatti e le prestazioni soddisfano l'obiettivo. Se il risultato fallisce, l'agente riceve le prove, diagnostica il problema, corregge il proprio lavoro ed esegue nuovamente la validazione.
Superare quel giudice dimostra che il candidato ha soddisfatto il contratto di accettazione approvato. Non dimostra che il contratto copra ogni comportamento di produzione. La copertura dei test, i casi limite modellati sulla produzione e la revisione periodica rimangono importanti.
Non rendere l'agente deterministico quando puoi valutarne l'output in modo deterministico.
Il validatore non è solo un controllo. È il ciclo di feedback che consente all'agente di migliorare il suo risultato. Questo pattern funziona bene per la migrazione, la generazione di codice, la trasformazione, i test e la risoluzione.
Usa questo pattern quando la risposta richiede giudizio e non può essere dimostrata corretta da un test deterministico.
Le indagini sui reati finanziari sono un esempio. Un agente può correlare transazioni, documenti, policy, relazioni e pattern storici. Può raccogliere prove, identificare spiegazioni probabili, far emergere domande irrisolte e consigliare una decisione. Questo è anche spesso richiesto dalla normativa quando una decisione influisce in modo significativo su una persona o quando si deve giustificare il risultato a un'autorità di vigilanza, a un revisore, a un tribunale o alla persona interessata.
Ma una raccomandazione non è una decisione. Quando il risultato è rilevante e non esiste un modo deterministico per stabilire la correttezza, l'autorità deve rimanere in capo a una persona responsabile.
La revisione umana dovrebbe trovarsi al confine decisionale, non all'interno di ogni passaggio.
Il ragionamento dell'agente deve anche essere spesso spiegabile. Ogni raccomandazione dovrebbe ricondurre alle prove, alle fonti e agli strumenti che la supportano. Ciò consente all'investigatore di contestare la logica e permette ai revisori o alle autorità di regolamentazione di ricostruire come l'agente sia arrivato alla sua raccomandazione. Laddove la normativa riconosce alla persona interessata il diritto a una spiegazione, questa deve essere specifica per la decisione. Copre i fattori principali, il ruolo dell'agente e il ruolo umano. "Il modello lo ha segnalato" non basta. L'investigatore registra la motivazione della decisione finale, inclusa qualsiasi sostituzione (override) da parte dell'agente.
L'agente riduce lo sforzo investigativo e migliora la coerenza delle prove presentate. L'investigatore mantiene la responsabilità della decisione finale, che può essere soggettiva, ricca di sfumature e non deterministica.
Usa questo pattern quando l'agente deve agire, ma solo all'interno di un perimetro operativo esplicito.
Considera un modulo di Governance Intelligence che gestisce l'accesso ai dati aziendali governati. Un utente descrive quali dati gli servono, perché ne ha bisogno e per quanto tempo. L'agente interpreta la richiesta, identifica il prodotto dati appropriato, determina l'accesso minimo richiesto e raccoglie il contesto pertinente relativo a identità, policy, proprietà, classificazione, lignaggio e utilizzo.
Richiedere l'approvazione manuale per ogni richiesta standard crea ritardi senza necessariamente ridurre il rischio. Dare all'agente un'autorità illimitata per concedere l'accesso crea un divario di controllo inaccettabile. La risposta è l'autonomia limitata.
Il perimetro operativo definisce:
All'interno di quel perimetro, l'agente può interpretare la richiesta, assemblare le prove, selezionare il flusso di lavoro approvato e avviare un diritto a tempo determinato. I servizi di policy deterministici convalidano ogni condizione richiesta prima che Unity Catalog applichi la concessione.
Non cercare di limitare ogni decisione. Limita il perimetro operativo. L'implementazione di framework di giudizio multi-agente attraverso i cicli di validazione all'interno di questo perimetro può anche integrare la supervisione umana con controlli di sicurezza automatizzati e multi-prospettiva.
Se la richiesta esula dal perimetro, ad esempio perché coinvolge dati sensibili, attributi mancanti, policy in conflitto, privilegi eccessivi o un'eccezione alla separazione dei compiti, il sistema blocca l'esecuzione diretta e la instrada al proprietario dei dati, al referente o al revisore del rischio appropriato.
Databricks offre una base protetta e governata che attraversa tutti e quattro i pattern. Omnigent permette di configurare agenti e sistemi di agenti senza legare l'architettura a un agente specifico. Unity Gateway gestisce l'accesso a modelli, strumenti, server MCP e API esterne. Unity Catalog governa i dati aziendali e applica accessi approvati, incluse le regole di residenza dei dati e di trasferimento transfrontaliero. Una connettività sicura consente di raggiungere sistemi locali, cloud e SaaS senza aggirare questi punti di controllo. MLflow conserva le tracce e le evidenze di valutazione che fungono anche da registri di controllo per gli enti normativi. Guarda il diagramma allegato per un'architettura di riferimento che mostra come le chiamate degli agenti transitano attraverso punti di controllo governati verso i sistemi dei clienti in ambienti locali, cloud e giurisdizioni regolamentate.

La modernizzazione tradizionale cambia il luogo e le modalità di esecuzione della tecnologia. La trasformazione basata sull'AI cambia il modello di esecuzione stesso. I sistemi che in precedenza seguivano istruzioni predefinite possono ora interpretare, ragionare, generare e agire.
Questo non significa eliminare i sistemi deterministici che le aziende hanno impiegato decenni a costruire. In molti casi, quei sistemi diventano la base dell'architettura degli agenti:
L'opportunità non è semplicemente sostituire i sistemi legacy con gli agenti. In tutti e quattro i pattern, ciò che rende un agente pronto per il deployment sono le sue fondamenta: dati aziendali governati, lignaggio verificabile, accessi regolamentati, qualità misurabile e un audit trail riproducibile.
Questo è particolarmente importante nei settori regolamentati, dove un confine architetturale debole può portare a guasti nei controlli, sanzioni o ritardi negli impegni normativi. Un confine ben progettato può ridurre lo sforzo investigativo, accorciare i cicli di modernizzazione e consentire un'automazione ad alto valore senza trasferire un'autorità inappropriata al modello.
L'architettura nativa per l'AI consiste nel decidere dove debbano risiedere determinismo, intelligenza e autorità.
Prima di progettare una soluzione basata su agenti, poniti tre domande:
Queste risposte determinano se la soluzione richiede un controllo deterministico, un giudice deterministico, un confine di decisione umano o un perimetro operativo esplicito. Il modello arriva dopo questa decisione architetturale, non prima.
I pattern non si escludono a vicenda. Un sistema di produzione può utilizzare un controllo deterministico per una decisione, l'autorità umana per un'eccezione e un'autonomia limitata per una correzione approvata. Il punto fondamentale è rendere esplicito ciascun confine.
Man mano che i sistemi maturano in produzione, questi confini possono adattarsi: i giudici deterministici affinano le loro regole di valutazione utilizzando i dati di utilizzo accumulati, mentre i confini dell'autorità umana possono spostarsi man mano che il feedback consolida la fiducia nel ragionamento dell'agente.
I prossimi quattro articoli affrontano ciascun pattern, dall'architettura all'implementazione:
Parte 2: Controllo deterministico e ragionamento degli agenti
Come gli agenti possono investigare le eccezioni relative ai controlli finanziari deterministici senza indebolire l'applicazione o la verificabilità.
Parte 3: Esecuzione degli agenti e giudice deterministico
Come gli agenti possono generare e correggere implementazioni mentre la validazione deterministica decide se il risultato è accettabile.
Parte 4: Ragionamento degli agenti e autorità umana
Come Lakewatch può combinare segnali di monitoraggio, dati bancari e intelligence di reti specialistiche in un pacchetto di prove verificabile, mentre un investigatore responsabile prende la decisione finale.
Parte 5: Esecuzione degli agenti con autonomia limitata
Un progetto di riferimento per consentire agli agenti di coordinare l'accesso ai dati governati all'interno di un perimetro operativo definito da policy, con autorizzazione deterministica, applicazione tramite Unity Catalog e risoluzione umana delle eccezioni materiali.
Classifica il tuo use case utilizzando il framework a quattro pattern, quindi passa all'articolo di implementazione che corrisponde al confine richiesto dal tuo sistema. Per use case regolamentati che coinvolgono più pattern, contatta il tuo team di account Databricks o il FDE engagement manager per mappare i confini di controllo, ragionamento e autorità prima di selezionare l'architettura degli agenti.
Molly Nagamuthu è una Principal Forward Deployed Engineer presso Databricks. Lavora con le aziende su iniziative complesse di trasformazione dei dati e dell'AI, in particolare con banche globali dove la modernizzazione deve coesistere con la governance, i controlli e il rigore operativo.
In questa serie, Molly e altri Forward Deployed Engineer condividono i pattern di implementazione emersi dal lavoro sul campo, man mano che le aziende passano da architetture deterministiche a sistemi nativi per l'AI.
(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale
Iscriviti al nostro blog e ricevi gli ultimi articoli direttamente nella tua casella di posta.