L'intelligenza di dominio è la carta vincente: cosa significa realmente "alta qualità" nell'AI di produzione

Mentre le aziende passano dalla sperimentazione con l'IA generativa all'implementazione di sistemi agentivi in produzione, la conversazione sta cambiando. La domanda che i dirigenti si pongono non è più "Questo modello è in grado di ragionare?", ma "Questo sistema è affidabile?"

Per esplorare cosa significa realmente questo cambiamento, ho incontrato Maria Zervou, Chief AI Officer per l'area EMEA di Databricks. Maria lavora a stretto contatto con i clienti in settori industriali regolamentati e in rapida evoluzione e dedica il suo tempo all'intersezione tra architettura dell'AI, governance ed esecuzione nel mondo reale.

Durante la conversazione, Maria è tornata più volte sullo stesso punto: il successo con l'IA agentiva non dipende dal modello. Riguarda i sistemi che lo circondano: dati, disciplina di ingegneria e una chiara attribuzione di responsabilità.

Catherine Brown: Molti dirigenti con cui parlo equiparano ancora la qualità dell'IA a quanto impressionante sembra il modello. Lei ha sostenuto che si tratta dell'approccio sbagliato. Perché?

Maria Zervou: L'equivoco più grande che vedo è che le persone confondono l'intelligenza di un modello o la sua percepita capacità di ragionamento con la qualità. Non sono la stessa cosa.

La qualità, specialmente nei sistemi agentivi, riguarda l'affidabilità composta. Non si sta più valutando una singola risposta. Stai valutando un sistema che potrebbe richiedere centinaia di passaggi: recupero di dati, chiamata di strumenti, presa di decisioni, escalation di problemi. Anche gli errori più piccoli possono sommarsi in modi imprevedibili.

Quindi le domande cambiano. L'agente ha usato i dati giusti? Ha trovato le risorse giuste? Sapeva quando fermarsi o effettuare un'escalation? È qui che risiede la vera qualità.

E, cosa importante, la qualità assume significati diversi per i diversi stakeholder. I team tecnici spesso si concentrano su KPI come costi, latenza o throughput. Gli utenti finali sono interessati alla conformità al brand, al tono e ai vincoli legali. Quindi, se queste prospettive non sono allineate, si finisce per ottimizzare la cosa sbagliata.

Catherine: È interessante, soprattutto perché molti leader presumono che i sistemi di IA debbano essere “perfetti” per essere utilizzabili, in particolare negli ambienti regolamentati. In che modo le aziende dei settori industriali altamente regolamentati dovrebbero approcciare le iniziative di IA?

Maria: Nei settori altamente regolamentati è necessaria un'elevata precisione, ma il primo benchmark dovrebbero essere le prestazioni umane. Gli esseri umani commettono errori, continuamente. Se non si ancorano le aspettative alla realtà, non si andrà mai avanti.

Ciò che conta di più sono la tracciabilità e la responsabilità. Quando qualcosa va storto, è possibile risalire al motivo per cui è stata presa una decisione? Chi è il responsabile del risultato? Quali dati sono stati utilizzati? Se non è possibile rispondere a queste domande, il sistema non è pronto per la produzione, indipendentemente da quanto impressionante appaia l'output.

Catherine: Parli molto di agenti specifici per dominio rispetto a modelli generici. Come dovrebbero i dirigenti considerare questa distinzione?

Maria: Un modello generico è essenzialmente un motore di ragionamento molto capace, addestrato su set di dati molto grandi e diversificati. Ma non capisce il tuo business. Un agente specifico per dominio utilizza gli stessi modelli di base, ma diventa più potente grazie al contesto. Lo si forza in un caso d'uso predefinito. Si limita lo spazio in cui può cercare. Gli si insegna cosa significano i tuoi KPI, cosa significa la tua terminologia e quali azioni può intraprendere.

Questa limitazione è in realtà ciò che lo rende migliore. Restringendo il dominio, si riducono le allucinazioni e si aumenta l'affidabilità degli output. La maggior parte del valore non deriva dal modello stesso. Deriva dai dati proprietari a cui può accedere in modo sicuro, dal livello semantico che ne definisce il significato e dagli strumenti che è autorizzato a utilizzare. In sostanza, può ragionare sui tuoi dati. È qui che risiede il vantaggio competitivo.

Catherine: Dove vedi tipicamente che i flussi di lavoro degli agenti di IA si interrompono quando le organizzazioni cercano di passare dal prototipo alla produzione?

Maria: Ci sono tre punti di fallimento principali. Il primo è il disallineamento dei ritmi. La tecnologia si muove più velocemente della maggior parte delle organizzazioni. I team si lanciano nella creazione di agenti prima di aver svolto il lavoro di base sull'accesso ai dati, la sicurezza e la struttura.

La seconda è la conoscenza tacita. Gran parte di ciò che rende efficaci i dipendenti risiede nella testa delle persone o in documenti sparsi. Se questa conoscenza non viene codificata in una forma che un agente può utilizzare, il sistema non si comporterà mai nel modo in cui l'azienda si aspetta.

La terza è l'infrastruttura. Molti team non pianificano la Scale o l'utilizzo nel mondo reale. Costruiscono qualcosa che funziona una volta, in una demo, ma che collassa sotto il carico di produzione.

Tutti e tre questi problemi tendono a presentarsi insieme.

Catherine: Hai già detto che acquisire la conoscenza aziendale è importante tanto quanto scegliere il modello giusto. In che modo vedi le organizzazioni riuscire a farlo bene?

Maria: Si inizia riconoscendo che i sistemi di IA non sono progetti una tantum. Sono sistemi vivi. Un approccio pratico consiste nel registrare e trascrivere le riunioni e trattarle come materia prima. A questo punto si strutturano, riassumono e taggano le informazioni in modo che il sistema possa recuperarle in seguito. Nel tempo, si costruisce una base di conoscenza che riflette il modo in cui l'azienda pensa realmente.

Altrettanto importante è il modo in cui si progettano le valutazioni. Le prime versioni di un agente dovrebbero essere utilizzate da stakeholder aziendali, non solo da ingegneri. Il loro feedback — ciò che sembra giusto, ciò che non lo è, perché qualcosa è sbagliato — diventa dati di addestramento.

Creare un sistema di valutazione efficace, personalizzato per lo scopo specifico di quell'agente, è fondamentale per garantire output di alta qualità, il che è in definitiva fondamentale per qualsiasi progetto di IA in produzione. I nostri dati di utilizzo mostrano che i clienti che usano strumenti di valutazione dell'IA mettono in produzione un numero di progetti di IA quasi 6 volte superiore rispetto a quelli che non li usano.

Di fatto, si sta codificando il cervello aziendale in criteri di valutazione.

Catherine: Sembra un processo costoso e lungo. Come si bilanciano rigore e velocità?

Maria: È qui che parlo di governance minima sostenibile. Il problema della governance non si risolve per l'intera azienda il primo giorno. Si risolve per il dominio e il caso d'uso specifici su cui si sta lavorando. Ci si assicura che i dati siano controllati, tracciabili e auditabili per quell'agente. Poi, man mano che il sistema si dimostra valido, ci si espande.

Ciò che aiuta è disporre di elementi costitutivi ripetibili, ovvero modelli che codificano già buone pratiche di ingegneria e governance. Questo è il principio alla base di approcci come Agent Bricks, in cui i team possono start da fondamenta consolidate invece di reinventare ogni volta da zero flussi di lavoro, valutazioni e controlli.

I dirigenti dovrebbero comunque insistere fin dall'inizio su alcuni punti non negoziabili: KPI aziendali chiari, uno sponsor esecutivo designato, valutazioni costruite con gli utenti aziendali e solide basi di ingegneria del software. Il primo progetto sarà faticoso, ma definisce il modello per tutto ciò che segue e rende gli agenti successivi molto più veloci da implementare.

Se si salta questo passaggio, ci si ritrova con quello che io chiamo "demo wear": prototipi impressionanti che non diventano mai del tutto reali.

Catherine: Può condividere esempi in cui gli agenti hanno cambiato materialmente il modo in cui viene svolto il lavoro?

Maria: Internamente a Databricks, lo abbiamo riscontrato in alcuni ambiti. Nei Servizi Professionali, gli agenti vengono utilizzati per scansionare gli ambienti dei clienti durante le migrazioni. Anziché avere tecnici che esaminano manualmente ogni schema e sistema, l'agente genera flussi di lavoro consigliati basati sulle best practice. Ciò riduce drasticamente il tempo dedicato alle analisi ripetitive.

Nel Field ingegneria, gli agenti generano automaticamente ambienti demo personalizzati per il settore e il caso d'uso di un cliente. Ciò che prima richiedeva ore di preparazione manuale ora avviene molto più velocemente, con una maggiore coerenza.

In entrambi i casi, l'agente non ha sostituito le competenze, le ha amplificate.

Catherine: Se dovesse riassumere questo concetto per un CIO o un CDO che ha appena intrapreso questo percorso, su cosa dovrebbe concentrarsi per prima cosa?

Maria: Partite dai dati. Gli agenti affidabili richiedono una base di dati unificata, controllabile e verificabile. Se i dati sono frammentati o inaccessibili, l'agente fallirà, indipendentemente da quanto sia buono il modello. In secondo luogo, siate chiari sulla titolarità. Chi è responsabile della qualità? Chi è responsabile dei risultati? Chi decide quando l'agente è "abbastanza buono"? E infine, ricordate che l'IA agentiva non consiste nel dimostrare quanto è intelligente il sistema. Si tratta di capire se il sistema aiuta affidabilmente l'azienda a prendere decisioni migliori, più velocemente, senza introdurre nuovi rischi.

Considerazioni finali

L'IA agentiva rappresenta un vero e proprio cambiamento: da strumenti che assistono gli esseri umani a sistemi che agiscono per loro conto. Ma come chiarisce Maria, il successo dipende molto meno dalla sofisticatezza del modello che dalla disciplina: nei dati, nella governance e nell'ingegneria.

Per i dirigenti, la sfida non è se gli agenti arriveranno. È se le loro organizzazioni sono pronte a costruire sistemi affidabili una volta che arriveranno.

Per saperne di più sulla creazione di un modello operativo efficace, scarica il Modello di maturità dell'IA di Databricks.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale