La governance dell'AI è la strategia: perché le iniziative di AI di successo iniziano con il controllo, non con il codice

L'AI si sta integrando nei flussi di lavoro, nelle interazioni con i clienti e nei processi decisionali aziendali in tutte le organizzazioni. Per i consigli di amministrazione e i CEO, questo cambiamento modifica la conversazione. La domanda centrale non è più "Con quale rapidità possiamo adottare l'AI?", ma piuttosto: "Siamo in grado di governarla abbastanza bene da potercene fidare su Scale?"

Lexy Kassan, una dirigente tecnologica senior responsabile della strategia e della governance dell'AI aziendale in Databricks, vanta una profonda esperienza nell'operare all'intersezione tra dati, AI e trasformazione aziendale. La sua prospettiva non si basa sulla teoria, ma sulla realtà dell'implementazione di sistemi generativi e agentivi all'interno di grandi organizzazioni, dove tono, bias, monitoraggio e responsabilità non sono rischi astratti, ma requisiti operativi.

Di seguito una conversazione sul perché la governance è un prerequisito per lo scaling di un'AI aziendale di alta qualità.

La governance di AI porta a output affidabili e rilevanti.

Catherine Brown: Quando i dirigenti dicono di "fare governance dell'IA", cosa fraintendono di ciò che è effettivamente necessario per Scale l'IA in produzione?

Lexy Kassan: Solitamente, quando sento parlare di approccio alla governance dell'AI da parte delle organizzazioni, diventa una questione del tipo: "Abbiamo una policy, abbiamo una serie di processi documentati e abbiamo persone che approveranno le cose. Finché qualcuno ha spuntato le caselle e seguito i passaggi, allora va tutto bene.”

Realisticamente, la governance ha un impatto sulle iniziative di AI sia nella fase di sviluppo che nel successo costante su larga Scale. Una governance solida si traduce in un'AI di produzione affidabile, che continua a migliorare e a supportare l'organizzazione come da progetto. Scale non deriva dall'ottenere approvazioni. Scale deriva dal gestire l'AI su base continuativa. E questo richiede molto più del solo team dati e AI.

La governance AI per la fiducia su Scale richiede tre cose: comunicazione, collaborazione e iterazione. Comunicare le aspettative sia dal punto di vista della policy e della mitigazione del rischio, sia dell'intenzione e dell'uso aziendale. Collaborare tra esperti di settore, esperti tecnici, esperti di rischio e sicurezza e altri per affrontare le problematiche e realizzare sistemi affidabili. E iterare nel tempo per mantenere i sistemi di AI pertinenti, affidabili e di valore.

La governance come fattore abilitante del valore dell'AI

Catherine: A che punto la governance di AI smette di essere una questione di conformità e diventa un requisito operativo per l'azienda?

Lexy: la governance ha subito una trasformazione negli ultimi anni, soprattutto a causa dell'AI. Cinque o dieci anni fa, la governance era spesso inquadrata come mitigazione del rischio e conformità. Era quasi vista come l'antitesi dell'innovazione. Ora la governance è meglio compresa nella sua forma più autentica: come il fattore che abilita la realizzazione di valore. Senza governance, è molto difficile fidarsi dei dati o dell'AI. E senza fiducia, nessuno li usa. Ed è dall'uso che deriva il valore.

Se nessuno si fida della tua AI, hai investito risorse senza ottenere alcun valore. 

La governance è quindi già un requisito per un'ampia adozione e per operare su larga scala.

Il sovraccarico di processi rallenta l'innovazione

Catherine: Cosa succede quando le organizzazioni si limitano ad aggiungere l'IA ai loro processi di revisione esistenti invece di riprogettare il modello operativo?

Lexy: È qui che si tende a inserire una quantità eccessiva di processi.

Le organizzazioni dicono: "Invece di identificare un percorso più agevole per l'AI, ci limitiamo a prendere i processi esistenti (valutazioni sulla privacy, revisioni dell'architettura, revisioni della sicurezza) e ad appesantirli". Ci si ritrova con comitati sconnessi tra loro che magari si riuniscono una volta al mese. Si stratifica l'AI su una governance lenta invece di riprogettare la governance per l'AI.

Se ci vogliono sei mesi per ottenere l'approvazione di qualcosa e le capacità dell'AI si evolvono mensilmente, ti stai strutturalmente predisponendo a rimanere indietro. La governance non dovrebbe significare più oneri. Dovrebbe significare identificare un percorso spianato, un'architettura e un framework che mitighino già il rischio, in modo da non dover ricominciare da capo ogni volta.

Il passaggio dall'insight all'azione cambia il profilo di rischio

Catherine: Come cambia il discorso sulla governance quando i sistemi di AI passano dal generare informazioni dettagliate all'intraprendere azioni tramite agenti e applicazioni?

Lexy: Quando pensiamo di inserire AI in un processo, spesso pensiamo a un continuum che va dal controllo alla fiducia. A un'estremità, ci sono i processi completamente controllati dall'uomo. All'altra estremità, ci sono i sistemi completamente automatizzati e agentivi. Quando AI passa dalla generazione di approfondimento all'azione, la posta in gioco cambia. Si rinuncia a un maggiore controllo e quindi si deve poter riporre maggiore fiducia nel sistema. 

Per raggiungere i livelli di fiducia necessari per l'azione agentiva, la maggior parte della responsabilità della governance di AI deve spostarsi verso gli esperti di settore aziendale. Avere un approccio graduale per test, feedback, sviluppo di guardrail e valutazione aiuta a creare fiducia nel fatto che gli agenti agiranno in modo appropriato per la stragrande maggioranza del tempo. E questa responsabilità continua in produzione, dove feedback aggiuntivi e la prompt ingegneria mantengono i sistemi sulla strada giusta. 

Questo copre l'aspetto dei contenuti e delle azioni, ma per quanto riguarda la parte tecnica? È qui che i meccanismi di fallback del sistema, la resilienza e la robustezza diventano fondamentali. Cosa succede se l'AI non è disponibile? Cosa succede se è necessario riaddestrare un modello o effettuare il refactoring di una catena? La governance include la pianificazione per tali scenari. Dove avviene il fallback? A chi spetta il fallback? In cosa consiste?

Responsabilità prima della messa in produzione

Catherine: Quali decisioni devono prendere fin da subito i team dirigenziali in merito a responsabilità, percorsi di escalation e supervisione umana prima che AI arrivi in produzione?

Lexy: Sempre più spesso, vediamo che le organizzazioni pensano agli agenti quasi come a dei dipendenti. Ci sono aziende che inseriscono gli agenti negli strumenti di gestione della forza lavoro, li assegnano a dei manager e ritengono questi ultimi responsabili delle loro prestazioni. È possibile applicare la logica della gestione delle prestazioni agli agenti, proprio come si farebbe con un dipendente umano. Come sta performando? Resta entro i limiti stabiliti? Produce i risultati per cui è stato progettato? Per certi versi è più facile correggere gli agenti — è possibile modificare le istruzioni o riaddestrare i modelli — ma è anche diverso. Gli agenti non hanno le stesse motivazioni degli esseri umani.

I team dirigenziali devono decidere come verranno misurate le prestazioni, come verrà valutata la fiducia e cosa è necessario per ritirare un prodotto dalla produzione, e cosa serve per ripristinarlo. La fiducia è facile da perdere e molto più difficile da ricostruire. Questo vale per l'AI così come per le persone.

Scalare responsabilmente senza rallentare

Catherine: nelle organizzazioni con cui lavori, quali schemi distinguono i team che Scale responsabilmente l'AI pur muovendosi rapidamente?

Lexy: Il primo è il percorso tracciato di cui ho parlato prima. Arrivano a un punto in cui non devono discutere la tecnologia ogni volta. Hanno un'architettura governata con tracciabilità, verificabilità e responsabilità integrate. Ciò consente loro di muoversi rapidamente perché le barriere di protezione sono già presenti.

Il secondo è coinvolgere gli esperti di materia aziendale direttamente nel processo. La scalabilità avviene più rapidamente quando non c'è un continuo botta e risposta tra i team aziendali e i team di tecnologia per la traduzione dei requisiti. Il business fornisce il contesto: cosa si intende per un buon risultato, cosa è valido e cosa non lo è.

La governance non è più una questione che riguarda solo i tecnologi. Si tratta di far convergere business e tecnologia in un framework condiviso.

La fiducia deve essere progettata e misurata

Catherine: In che modo i dirigenti dovrebbero pensare alla fiducia, come qualcosa da progettare, misurare e gestire, sia internamente che con i clienti?

Lexy: La fiducia è difficile da misurare direttamente. Quindi ci affidiamo a indicatori indiretti. Misuriamo la qualità dei dati, le prestazioni del sistema, l'adozione e l'utilizzo. Valutiamo se il sistema rimane entro limiti definiti e produce risultati accettabili.

Si può pensare a questo come alla gestione delle performance di una persona. Quanto fanno affidamento gli altri su di loro? Quanto sono produttivi? Con quale costanza soddisfano le aspettative?

La fiducia in sé può essere difficile da quantificare, ma le prestazioni, la coerenza e l'aderenza agli standard sono misurabili. Nel tempo, queste misurazioni aiutano a creare fiducia.

La governance attecchisce quando esistono cicli di feedback.

Catherine: Se un CEO ti chiedesse un cambiamento concreto da apportare nei prossimi 90 giorni per garantire che la governance di AI attecchisca davvero, cosa consiglieresti?

Lexy: Assicuratevi che ci sia un feedback, sia nell'utilizzo sia nella comprensione del motivo per cui qualcosa non viene utilizzato. Se le persone interagiscono con l'AI, forniscono un feedback sulla qualità dei risultati? Valutano i risultati? E se nessuno interagisce direttamente con essa, dobbiamo comunque valutare tali risultati. Chi fa parte di quel ciclo di revisione?

La governance prende piede quando il feedback genera un cambiamento significativo. Quando le persone vedono che il loro contributo migliora il sistema e il loro modo di lavorare, vi partecipano attivamente.

E infine, assicuratevi di dare priorità al valore. Costruite ciò che vale la pena costruire. Stabilisci quindi un percorso chiaro, in modo che sia più facile dire di sì alla prossima iniziativa AI di valore.

La governance è la condizione per la Scale

La governance dell'AI è spesso inquadrata come un meccanismo di controllo. In pratica, è una disciplina operativa. Scalare l'AI non significa aggiungere più comitati di revisione o più documentazione. Significa integrare i guardrail nell'architettura, stabilire cicli di feedback e progettare sistemi di cui ci si possa fidare nel tempo.

Per i team dirigenziali, la conclusione è semplice: non è la governance a rallentare AI, ma una governance progettata male. Quando la governance è integrata nella piattaforma, allineata con la titolarità del business e rafforzata attraverso misurazioni e feedback, diventa la condizione che consente all'AI di scalare in modo responsabile e sostenibile.

Esplora il report di Databricks, Delivering a Secure Data and AI Strategy, per scoprire come le aziende leader stanno integrando governance, sicurezza e fiducia direttamente nei loro modelli operativi di AI.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale