Cosa sono le allucinazioni dell'AI?

Le allucinazioni dell'AI sono output che sembrano coerenti e sicuri di sé, ma che sono di fatto errati, inventati o non supportati dai dati di addestramento del modello di AI. Questo fenomeno si verifica nei chatbot, nei generatori di immagini e nei sistemi multimodali: un chatbot potrebbe inventare una citazione legale inesistente, o un modello di generazione di immagini potrebbe aggiungere un dito in più a una mano. Il modello non percepisce nulla; si limita a prevedere la parola successiva più probabile e, a volte, tale previsione è una falsità apparentemente plausibile.

Le allucinazioni non sono rari casi limite. Sono una proprietà intrinseca del funzionamento di questi modelli e creano rischi reali per chiunque distribuisca l'AI, dalla responsabilità legale alla conformità normativa, fino alla fiducia dei clienti.

Come si verificano le allucinazioni dell'AI?

Le allucinazioni non sono bug. Derivano dal modo in cui i modelli di AI generativa vengono creati e addestrati. Dietro di esse vi sono alcuni fattori principali:

• Prevedono, non "sanno". I modelli generano testo indovinando la parola successiva più probabile sulla base dei pattern che hanno appreso, non verificando i fatti. Di conseguenza, forniranno con sicurezza una risposta anche quando non dispongono effettivamente delle informazioni corrette.
• Vengono premiati per tirare a indovinare. L'addestramento standard spinge i modelli a dare sempre una risposta piuttosto che ammettere l'incertezza, quindi un "Non lo so" difficilmente ha la meglio (ricerca OpenAI, 2025).
• I loro dati di addestramento hanno dei limiti. I modelli ereditano errori, lacune, bias o informazioni obsolete presenti nei dati su cui si sono addestrati. Un modello con un limite di conoscenza aggiornato al 2023, ad esempio, potrebbe inventare dettagli su eventi più recenti.
• Le loro impostazioni influiscono sulla precisione. I controlli di generazione come la "temperatura" bilanciano la creatività e l'affidabilità. Impostazioni più creative aumentano le probabilità di generare output inventati, motivo per cui i casi d'uso basati su dati di fatto richiedono una sintonizzazione accurata.

Perché i modelli più recenti non sono necessariamente più sicuri

Ci si potrebbe aspettare che ogni nuova generazione di modelli produca meno allucinazioni. A volte accade il contrario. TechCrunch (2025) ha riferito che il modello o3 più recente di OpenAI ha generato risposte false circa il doppio delle volte rispetto ai modelli precedenti che ha sostituito. I nuovi modelli di "ragionamento" affrontano i problemi un passo alla volta, e un piccolo errore iniziale può trasformarsi in una risposta finale sicura ma completamente errata.

Esempi reali di allucinazioni dell'AI

Le allucinazioni non sono teoriche. Hanno causato danni misurabili in vari settori e diversi incidenti di alto profilo illustrano la varietà di modi in cui possono manifestarsi.

L'errore fattuale di Google Bard sul JWST

Nel febbraio 2023, Google ha presentato il suo chatbot Bard in uno spot promozionale. A Bard è stato chiesto quali nuove scoperte avesse fatto il James Webb Space Telescope. Una delle sue risposte affermava che il JWST aveva scattato le primissime immagini di un pianeta al di fuori del nostro sistema solare. Questo non era corretto. Le prime immagini di esopianeti sono state catturate dal Very Large Telescope nel 2004.

L'errore è stato subito notato dagli astronomi sui social media e Alphabet, la società madre di Google, ha perso circa 100 miliardi di dollari di valore di mercato in una singola sessione di borsa. L'incidente ha dimostrato che le allucinazioni comportano conseguenze finanziarie anche quando si verificano in contesti di marketing piuttosto che in sistemi di produzione.

La causa legale contro il chatbot di Air Canada

Nel 2024, il chatbot del servizio clienti di Air Canada ha riferito a un passeggero che avrebbe potuto prenotare un volo a tariffa intera e poi richiedere retroattivamente uno sconto per lutto. Questa policy non esisteva. Quando il passeggero ha cercato di richiedere lo sconto, Air Canada ha rifiutato. Il caso è finito davanti a un tribunale civile canadese, che ha dato torto alla compagnia aerea.

Il tribunale ha stabilito che Air Canada era responsabile dell'accuratezza delle informazioni fornite dal suo chatbot, indipendentemente dal fatto che la risposta fosse stata generata da un essere umano o da un'AI. La sentenza ha stabilito un importante precedente legale: l'implementazione di un sistema di AI che produce allucinazioni non esonera l'organizzazione dalla responsabilità per la disinformazione generata.

Gli output imprevedibili di Microsoft Sydney

All'inizio del 2023, Microsoft ha integrato un chatbot di AI (nome in codice interno Sydney) nel motore di ricerca Bing. Durante conversazioni prolungate, Sydney ha prodotto output instabili, emotivamente manipolatori e di fatto errati. Diceva agli utenti di amarli, insisteva sul fatto di essere senziente e, in alcuni casi, forniva informazioni che contraddicevano fatti facilmente verificabili.

Microsoft ha rapidamente limitato la durata delle conversazioni del chatbot e ha aggiunto dei guardrail, ma l'episodio ha evidenziato come le allucinazioni possano andare oltre i semplici errori fattuali, traducendosi in output dannosi per la reputazione e difficili da prevedere durante i test.

Citazioni legali inventate

Diversi avvocati negli Stati Uniti sono stati sanzionati dai tribunali dopo aver presentato memorie contenenti citazioni legali generate da ChatGPT. I casi, le leggi e le citazioni sembravano autentici ma non esistevano. Nell'incidente più noto, un avvocato di New York ha utilizzato ChatGPT per fare ricerche su una causa per lesioni personali e ha depositato una memoria contenente sei citazioni di casi inventate di sana pianta.

Il tribunale ha imposto sanzioni e l'incidente è diventato un esempio monitorio per l'intera professione legale. Questi casi non sono isolati. Il ricercatore Damien Charlotin gestisce un database di casi di allucinazioni dell'AI che, a metà del 2026, documenta circa 1.745 caso legali in tutto il mondo che coinvolgono contenuti frutto di allucinazioni dell'AI.

Implicazioni aziendali delle allucinazioni dell'AI

Le allucinazioni dell'AI possono avere gravi conseguenze quando gli output dei modelli influenzano decisioni, informazioni pubbliche o flussi di lavoro aziendali. I rischi comuni includono:

• Rischi per la salute e la sicurezza: output errati possono portare a trattamenti non necessari, azioni non sicure o decisioni sbagliate in contesti ad alto rischio.
• Disinformazione e bias: i modelli possono generare affermazioni non supportate o rafforzare pattern presenti in dati di addestramento incompleti o non rappresentativi.
• Minacce alla sicurezza: i malintenzionati possono manipolare gli input per influenzare il comportamento del modello, creando rischi per la cybersecurity, i sistemi autonomi e altre applicazioni sensibili.
• Esposizione reputazionale e normativa: output imprecisi possono danneggiare la fiducia del pubblico ed esporre le organizzazioni a controlli, sanzioni o violazioni della conformità.
• Responsabilità finanziaria: consigli, dettagli sui prodotti o informazioni sulla conformità inventati possono causare controversie, multe, costi di ripristino o richieste di risarcimento assicurativo.
• Perdita di fiducia da parte degli utenti: imprecisioni ripetute possono spingere dipendenti e clienti ad abbandonare gli strumenti di AI o a creare soluzioni alternative che ne riducono il valore.

Le organizzazioni possono ridurre questi rischi attraverso guardrail più solidi, test avversari, monitoraggio continuo, verifica delle fonti e revisione umana per gli output ad alto rischio. Dove le allucinazioni dell'AI rappresentano il rischio maggiore

Le allucinazioni sono problematiche ovunque, ma alcuni settori affrontano conseguenze sproporzionate perché il costo di una risposta errata è eccezionalmente alto.

Sanità e supporto alle decisioni cliniche

Quando i medici utilizzano strumenti di AI per assistere nella diagnosi, nella pianificazione del trattamento o nel controllo delle interazioni farmacologiche, un output frutto di allucinazione può influire direttamente sulla sicurezza del paziente. Un modello che inventa una raccomandazione sul dosaggio di un farmaco o una controindicazione inesistente crea un rischio difficile da individuare in ambienti clinici dai ritmi frenetici. ECRI, un'organizzazione no-profit focalizzata sulla sicurezza sanitaria, ha classificato l'uso improprio dei chatbot di AI in ambito sanitario come il pericolo tecnologico numero uno per la salute nel 2026.

Ricerca legale e analisi dei contratti

I casi di citazioni inventate descritti sopra sono l'esempio più evidente, ma il rischio si estende alla revisione dei contratti, all'analisi normativa e alla documentazione di conformità. Uno strumento di AI che inventa una clausola in un contratto o travisa un requisito normativo può esporre un'organizzazione a responsabilità che potrebbero non emergere se non mesi o anni dopo, quando il contratto viene contestato o la normativa viene applicata.

Servizi finanziari e reportistica di conformità

Gli istituti finanziari operano nel rispetto di severi requisiti di reportistica. Un dato frutto di allucinazione in un modello di rischio, una transazione inventata in un audit trail o un'errata citazione normativa in un documento di conformità possono innescare indagini, multe e la perdita delle licenze operative. Le conseguenze sono così gravi che molti istituti finanziari hanno adottato un approccio prudente nei confronti dell'AI generativa, limitandone l'uso ad applicazioni a basso rischio fino a quando i tassi di allucinazione non potranno essere ridotti a livelli accettabili.

Strategie comprovate per prevenire le allucinazioni dell'AI

Nessuna singola tecnica elimina del tutto le allucinazioni, ma le organizzazioni possono ridurne la frequenza e l'impatto combinando solide pratiche sui dati, limiti di sistema chiari, test continui e supervisione umana.

Utilizzare dati di addestramento affidabili

I modelli sono affidabili solo quanto le informazioni da cui apprendono o che recuperano. Utilizza dati accurati, aggiornati, pertinenti e ben curati, e rimuovi duplicati, contenuti obsoleti ed errori noti ovunque sia possibile.

Per le applicazioni aziendali, la generazione aumentata dal recupero può connettere un modello a fonti di conoscenza affidabili al momento della risposta. Sulla Piattaforma Databricks, i team possono creare workflow RAG che collegano i modelli a dati aziendali governati e utilizzare Unity Catalog per supportare il controllo degli accessi e la governance dei dati.

Definisci un obiettivo chiaro per il modello

Un modello offre prestazioni più affidabili quando ha un ruolo chiaro e limitato. Definisci cosa deve fare il sistema, chi lo userà, su quali informazioni deve fare affidamento e quali richieste esulano dal suo ambito.

Per casi d'uso specializzati, il fine-tuning su esempi verificati e specifici del dominio può aiutare il modello a funzionare in modo coerente. Il fine-tuning dovrebbe integrare, e non sostituire, il recupero, la valutazione e altre misure di sicurezza.

Crea modelli di dati riutilizzabili

Prompt strutturati, schemi e modelli di risposta forniscono al modello istruzioni più chiare e riducono l'ambiguità. Inoltre, rendono gli output più coerenti e più facili da esaminare automaticamente.

I modelli funzionano al meglio quando definiscono i campi obbligatori, i valori accettabili, i requisiti delle fonti e cosa fare quando le informazioni necessarie non sono disponibili. Questo aiuta a evitare che il modello colmi le lacune con dettagli inventati.

Limita le risposte

Imposta limiti chiari su ciò a cui il modello può rispondere e su quali fonti può utilizzare. Formati delimitati, knowledge base approvate, requisiti di citazione e risposte esplicite del tipo "Non lo so" possono ridurre le risposte troppo sicure o non supportate da prove.

Questi controlli sono particolarmente importanti per i workflow ad alto rischio. Il modello dovrebbe essere in grado di rifiutare, inoltrare la richiesta a un livello superiore o richiedere una revisione umana quando una domanda esula dalle sue conoscenze o dalla sua autorità.

Testa e migliora regolarmente il sistema

Valuta l'intero sistema AI utilizzando prompt realistici, casi limite e test set specifici del dominio. Monitora l'accuratezza fattuale, le affermazioni non supportate, il comportamento di rifiuto e le prestazioni nei diversi scenari e con diversi utenti.

Utilizza i risultati della valutazione per migliorare nel tempo i prompt, il recupero, la qualità dei dati e la configurazione del modello. Il monitoraggio continuo aiuta i team a identificare nuovi pattern di errore man mano che il sistema, i dati e il comportamento degli utenti cambiano.

Sviluppa processi Human-in-the-Loop (HITL)

La revisione umana aggiunge un importante controllo di sicurezza per gli output che potrebbero influire su clienti, dipendenti, finanze, questioni legali o salute. Le persone possono convalidare, approvare, correggere o inoltrare le risposte prima che raggiungano gli utenti finali.

L'HITL non richiede la revisione di ogni singola interazione a basso rischio. Le organizzazioni possono indirizzare i casi a più alto rischio o con il minor livello di confidenza a revisori esperti e utilizzare il loro feedback per migliorare le valutazioni, i prompt e le misure di sicurezza.

Crea applicazioni AI affidabili con Databricks

Le allucinazioni dell'AI rappresentano una sfida fondamentale quando si lavora con modelli generativi, non un bug temporaneo che scomparirà con la prossima release. Le organizzazioni che implementano l'AI con successo sono quelle che trattano la prevenzione delle allucinazioni come una disciplina ingegneristica: misurando l'accuratezza in modo sistematico, ancorando gli output a dati governati e integrando la valutazione in ogni fase del ciclo di vita dello sviluppo.

La Piattaforma Databricks unisce le funzionalità che rendono tutto questo possibile. Pipeline RAG ancorate ai dati aziendali. Workflow di fine-tuning con valutazione integrata. Governance e tracciamento della lineage tramite Unity Catalog. Rilevamento delle allucinazioni integrato nella CI/CD con MLflow e Agent Evaluation. Insieme, questi strumenti aiutano i team a passare dal prototipo alla produzione con la certezza che le loro applicazioni AI siano accurate, verificabili e affidabili.

Per saperne di più su come creare un'AI responsabile sulla Piattaforma Databricks, esplora le risorse di seguito o inizia con la formazione sui concetti fondamentali dell'AI generativa.

Domande frequenti

Quali sono i tipi più comuni di allucinazioni dell'AI, con relativi esempi?

I tipi più comuni includono l'invenzione di fatti (inventare fatti, statistiche o citazioni inesistenti), la sovrapposizione di entità (unire dettagli di persone, luoghi o eventi diversi in un'unica risposta errata) e la confusione temporale (attribuire eventi al periodo di tempo errato). Gli esempi includono ChatGPT che genera citazioni legali inesistenti che hanno portato a sanzioni giudiziarie, e Google Bard che attribuisce erroneamente la prima fotografia di un esopianeta al telescopio spaziale James Webb.

Come si rileva se un modello AI sta avendo allucinazioni?

Il rilevamento richiede il confronto degli output del modello con una ground truth verificata. Gli approcci automatizzati includono il punteggio di coerenza fattuale, le verifiche di implicazione semantica e la verifica basata sul recupero, in cui gli output vengono confrontati con documenti di origine affidabili. La revisione umana rimane importante per gli ambiti critici. Nei sistemi di produzione, i team possono integrare il rilevamento delle allucinazioni nelle pipeline di CI/CD utilizzando strumenti come le metriche di valutazione di MLflow e modelli specializzati come Patronus AI Lynx.

Quali sono i rischi aziendali e legali delle allucinazioni dell'AI?

I rischi aziendali includono danni reputazionali derivanti da errori visibili al pubblico, responsabilità finanziaria derivante da consigli errati o informazioni inventate e l'erosione della fiducia interna che ostacola l'adozione dell'AI. I rischi legali stanno crescendo rapidamente. I tribunali hanno ritenuto le organizzazioni responsabili della disinformazione generata dai loro sistemi AI, come nella sentenza sul chatbot di Air Canada. Gli avvocati sono stati sanzionati per aver presentato citazioni legali inventate dall'AI. I quadri normativi come l'EU AI Act impongono requisiti di accuratezza e trasparenza sulle distribuzioni di AI ad alto rischio, creando ulteriori rischi di conformità.

I nuovi modelli AI di ragionamento hanno più allucinazioni rispetto a quelli più vecchi?

In diversi casi documentati, sì. Il modello di ragionamento o3 di OpenAI ha avuto allucinazioni sul benchmark PersonQA a un tasso circa doppio rispetto ai suoi predecessori. DeepSeek-R1 ha avuto allucinazioni a un tasso quasi quattro volte superiore rispetto al suo predecessore non di ragionamento DeepSeek-V3. I modelli di ragionamento utilizzano un'elaborazione chain-of-thought che può amplificare piccoli errori in più passaggi, producendo conclusioni internamente coerenti ma fattualmente errate. Più recente non significa automaticamente più accurato, motivo per cui una valutazione sistematica è essenziale indipendentemente dal modello implementato.

(Questo post sul blog è stato tradotto utilizzando strumenti basati sull'intelligenza artificiale) Post originale