Apprendimento automatico contro apprendimento profondo

Comprendi le distinzioni fondamentali e dove ciascuno si colloca all'interno dell'IA.

Comprendere la gerarchia di AI, ML e DL

Nel più vasto mondo dell'intelligenza artificiale (AI), i concetti di machine learning e deep learning vengono spesso confusi. L'AI è il vasto campo della creazione di sistemi intelligenti che eseguono attività che richiedono un processo decisionale simile a quello umano. Il machine learning (ML) è un tipo di IA in cui i sistemi apprendono modelli elaborando dati storici per prendere decisioni senza essere programmati esplicitamente per ogni regola. Il deep learning (DL) è un sottoinsieme specializzato del machine learning che utilizza reti neurali multistrato per apprendere automaticamente da grandi set di dati al fine di risolvere problemi complessi di percezione e linguaggio.

La seguente gerarchia spiega la relazione tra IA, ML e DL:

Intelligenza Artificiale (AI) Regole e logica

 └── Machine Learning (ML) sostituisce le regole con l'esperienza

      └── Deep Learning (DL) apprendimento automatico

ML e DL sono approcci per realizzare l'AI. Infatti, la maggior parte dei prodotti di IA di oggi sono in realtà sistemi di ML, modelli di deep learning o pipeline di dati basate su ML.

Che cos'è il machine learning?

Il machine learning funziona consentendo a un computer di apprendere modelli dai dati e quindi di utilizzare tali modelli per fare previsioni o prendere decisioni. Migliora con l'esperienza senza una programmazione esplicita. I dati sono il carburante per il ML. Si parte da un problema, o da una domanda a cui si vuole che il sistema risponda, e si usano i dati raccolti e normalizzati in un modello (un algoritmo che mappa gli input sugli output). Ogni modello ha parametri appresi dai dati e iperparametri scelti dagli esseri umani.

I modelli di ML più comuni includono:

• Regressione lineare: algoritmi di ML che modellano la relazione tra una variabile dipendente (ciò che si vuole prevedere) e una o più variabili indipendenti (input) adattando una linea retta (o un iperpiano) ai dati. Questo modello apprende facendo previsioni senza coefficienti iniziali, misurando l'errore tra le previsioni e i valori effettivi e regolando i coefficienti per ridurre al minimo gli errori.
• Albero decisionale: una classe di algoritmi di ML che effettua previsioni apprendendo un insieme di regole se-allora (if-then) dai dati e quindi suddivide i dati in rami in base ai valori delle feature, formando una struttura ad albero. Ogni domanda è un nodo decisionale e ogni risposta porta a un ramo finché un nodo foglia non fornisce la previsione finale.
• Random forest: un modello che combina una raccolta di alberi decisionali per creare previsioni più accurate e stabili. Ciascun albero viene addestrato su un campione di dati diverso e la previsione finale è una media o un voto di maggioranza sull'output migliore.
• Macchine a vettori di supporto (SVM): una classe di modelli di ML utilizzati per la classificazione e la regressione che trovano il confine migliore che separa i punti dati in classi diverse.

I modelli di machine learning apprendono i pattern in modo più efficace con la feature engineering, un processo di trasformazione dei dati grezzi in segnali utili per un modello. Una feature è una variabile di input (numerica, categorica, data/ora, testo) utilizzata da un modello. Delle buone feature possono migliorare l'accuratezza, l'interpretabilità e ridurre i tempi di addestramento.

I quattro tipi di machine learning

• Apprendimento supervisionato: un approccio di machine learning in cui un modello viene addestrato utilizzando dati etichettati (dati che includono sia le feature di input sia l'output corretto). Al modello vengono mostrati degli esempi e gli viene fornita la risposta corretta per apprendere una mappatura. Le attività comuni di apprendimento supervisionato includono la classificazione (spam o non spam, o presenza di una malattia) o la regressione (previsione dei prezzi, previsioni di vendita).
• Apprendimento non supervisionato: machine learning in cui un modello trova e apprende pattern da dati non etichettati che non hanno una risposta predefinita. Può trovare pattern raggruppando punti dati simili, riducendo il numero di feature, individuando punti dati anomali o rari o trovando relazioni tra le variabili. Esempi del mondo reale includono la segmentazione dei clienti e il rilevamento delle anomalie.
• Apprendimento semi-supervisionato: un approccio di machine learning che utilizza una piccola quantità di dati etichettati insieme a una grande quantità di dati non etichettati per addestrare un modello. I dati etichettati ancorano l'apprendimento, mentre i dati non etichettati aiutano a perfezionare il confine decisionale. Questo approccio è comunemente usato per la classificazione delle immagini, la diagnosi medica e il riconoscimento vocale.
• Apprendimento per rinforzo: un tipo di machine learning per tentativi ed errori in cui un agente impara interagendo con un ambiente, eseguendo azioni e ricevendo ricompense o penalità, invece di apprendere da esempi etichettati (ad es. giochi, robotica).

Che cos'è il deep learning?

Il deep learning è un approccio di ML che utilizza reti neurali artificiali multistrato per apprendere automaticamente pattern complessi da grandi quantità di dati. Sono chiamate reti neurali perché imitano la struttura neuronale del cervello umano. È uno degli approcci più potenti per la creazione di sistemi di AI.

Con il deep learning, gli esseri umani non progettano le feature da cui apprendere; i modelli apprendono le rappresentazioni direttamente dai dati grezzi utilizzando molti strati di reti neurali. Gli strati costruiscono una gerarchia di feature e includono uno strato di input, più strati nascosti e uno strato di output. Ogni strato applica dei pesi, aggiunge un bias e passa attraverso un'attivazione non lineare.

Tipi comuni di reti neurali

• Reti feed-forward: sono le reti neurali più semplici e rappresentano l'architettura fondamentale per le reti neurali. I dati fluiscono in un'unica direzione dai livelli di input a quelli nascosti fino a quelli di output, pertanto sono ideali per dati strutturati, regressione e classificazione.
• Reti neurali convoluzionali (CNN): reti specializzate per dati di tipo a griglia. Utilizza filtri di convoluzione per rilevare modelli come bordi e forme. È ideale per il riconoscimento di immagini e le attività di computer vision.
• Reti neurali ricorrenti (RNN): reti con loop di feedback che mantengono uno stato nascosto, progettate per dati sequenziali come la generazione di testo, il riconoscimento vocale e la previsione di serie temporali.
• Reti generative avversarie (GAN): utilizzate per generare nuovi dati realistici addestrando due reti neurali che competono tra loro. Una rete crea dati falsi e l'altra cerca di rilevarli, in modo che entrambe migliorino attraverso la competizione. Tra gli esempi vi sono la generazione di immagini, audio e video.

Le somiglianze tra Machine Learning e Deep Learning

Sia il ML che il DL rientrano nell'ambito dell'AI e sono strettamente correlati perché il deep learning è un sottoinsieme del machine learning. Condividono molti principi, flussi di lavoro e obiettivi fondamentali. Entrambi apprendono pattern dai dati e mirano a fare previsioni o prendere decisioni basate su tali dati.

Apprendendo dai dati, entrambi possono migliorare le proprie prestazioni in un processo di apprendimento iterativo. Ed entrambi possono generalizzare da tali dati a dati nuovi e mai visti prima. Sia l'ML che il DL richiedono addestramento su dati storici, convalida per ottimizzare i parametri e test su dati mai visti.

Ed entrambi possono essere applicati a problemi di classificazione, regressione e clustering.

Requisiti dei dati e feature ingegneria

Sebbene il machine learning e il deep learning abbiano molte somiglianze, hanno requisiti di dati diversi e richiedono diversi sforzi di ingegneria delle funzionalità. L'ML funziona spesso bene con set di dati strutturati di piccole e medie dimensioni, ma le prestazioni dipendono dalla qualità delle feature, che richiede una feature engineering guidata dall'uomo per identificare le variabili pertinenti.

Il DL dipende da grandi quantità di dati non strutturati (immagini, testo, audio) e la Scale degli esempi influisce direttamente sulle prestazioni, poiché il DL esegue l'estrazione automatica delle feature con un intervento umano minimo.

La conoscenza del dominio e la qualità delle feature sono essenziali per il ML, mentre con il DL i modelli apprendono le feature internamente, quindi la scalabilità dei dati e l'infrastruttura diventano più importanti.

Potenza di calcolo e tempo di addestramento

È utile confrontare i requisiti di compute e il tempo di addestramento necessario sia per l'ML che per il DL, poiché questi sono i fattori che più influenzano i costi, la velocità di iterazione e la fattibilità del prodotto dei tuoi sistemi. I modelli di ML tradizionali possono essere eseguiti su CPU standard con meno memoria, mentre il DL richiede GPU o TPU con molta memoria per un addestramento efficiente, pertanto i costi dell'infrastruttura saranno più elevati con il DL.

I modelli di ML si addestrano rapidamente per iterazioni e sperimentazioni veloci, mentre i modelli di DL richiedono tempi di addestramento più lunghi a causa di architetture complesse e multistrato. Pertanto, i costi di addestramento, l'infrastruttura, l'energia e la complessità sono più elevati con il DL, ma l'ML potrebbe non avere prestazioni adeguate per problemi su larga scala.

Interpretabilità e trasparenza

Altri fattori da considerare quando si confrontano machine learning e deep learning sono l'interpretabilità (la facilità con cui un essere umano può capire perché un modello ha effettuato una previsione) e la trasparenza (quanto sono visibili e spiegabili la logica interna e il processo decisionale del modello).

I modelli di ML sono progettati per essere trasparenti e spesso più interpretabili, mostrando l'importanza delle feature e consentendo un ragionamento passo-passo. Ad esempio: le regole if-then degli alberi decisionali sono leggibili dall'uomo, i coefficienti della regressione lineare mostrano l'impatto diretto delle feature e gli odds ratio della regressione lineare ne spiegano l'influenza.

I modelli di DL agiscono più come "scatole nere" dal punto di vista della trasparenza. Non si basano su regole esplicite o su caratteristiche progettate dall'uomo. Contengono milioni di parametri e apprendono rappresentazioni gerarchiche e distribuite, rendendo difficile capire quali caratteristiche causano una previsione.

L'interpretabilità è importante per l'auditing e diventa fondamentale in settori industriali regolamentati come quello sanitario, finanziario e legale, dove vengono prese di routine decisioni ad alto rischio e la fiducia è essenziale.

Quando usare il Machine Learning

L'indicazione generale è di utilizzare il ML quando un problema ben definito implica modelli nei dati che sono difficili da definire con regole fisse, ma dove il deep learning sarebbe superfluo o inefficiente. Il ML è particolarmente indicato quando i dati sono strutturati e il set di dati è di piccole-medie dimensioni, come nel caso dei dati aziendali (previsioni di vendita, metriche finanziarie, record dei clienti).

L'ML è efficace quando il budget di calcolo è limitato e l'iterazione rapida è importante (rilevamento di frodi, credit scoring) e per applicazioni in cui sono richieste interpretabilità e spiegabilità (finanza, sanità, assicurazioni, settore legale).

Quando usare il deep learning

Il DL può eccellere nei problemi che coinvolgono pattern complessi in grandi quantità di dati eterogenei e non strutturati, quando si hanno a disposizione GPU/TPU e il tempo per supportarlo. Il DL è più adatto per input difficili da modellare con il ML tradizionale (immagini, video, audio). Il DL è necessario quando la progettazione manuale delle caratteristiche è difficile o impossibile, ma i dati grezzi contengono segnali utili. Il DL è appropriato anche quando l'accuratezza è più importante dell'interpretabilità e del costo e il sistema può tollerare cicli di addestramento più lunghi.

Il DL è particolarmente efficace quando è disponibile il transfer learning da modelli pre-addestrati (riconoscimento di immagini e oggetti) e il problema riguarda la percezione o il linguaggio (visione artificiale, riconoscimento vocale, elaborazione del linguaggio naturale, veicoli autonomi e robotica).

Esempi di IA del mondo reale

ChatGPT è IA o ML? La risposta è sì!

Ricorda che ML e DL sono entrambi tipi di AI e che il DL è un sottoinsieme dell'ML. In realtà, ChatGPT è un modello di deep learning costruito con una rete neurale trasformatore molto grande. GPT (Generative Pre-trained Transformer) è costituito da milioni o miliardi di parametri e da un'enorme quantità di dati di addestramento.

I più diffusi sistemi di creazione di immagini come DALL-E e Midjourney sono modelli di diffusione costruiti utilizzando reti neurali profonde, quindi entrambi rientrano nella categoria del DL. Entrambi richiedono un addestramento su Scale per creare immagini da prompt di testo, calcoli intensivi e apprendimento della rappresentazione.

Quando Netflix o Spotify forniscono consigli, utilizzano una combinazione di modelli di ML tradizionali e modelli di DL che lavorano insieme. Questi sistemi analizzano il comportamento degli utenti, gli attributi dei contenuti e le somiglianze tra entrambi per decidere quali contenuti mostrare, in quale ordine e a quali utenti. L'ML viene utilizzato per il ranking, la personalizzazione e gli A/B test. Il DL viene utilizzato per modellare i gusti degli utenti, comprendere i contenuti e apprendere le relazioni utente-elemento su larga scala.

Questi prodotti appaiono così nella gerarchia dei sistemi di IA:

Intelligenza Artificiale (AI)

 └── Machine Learning (ML)

       └── Modelli di filtraggio collaborativo (Netflix/Spotify)

 └── Deep Learning (DL)

       └── Modelli di diffusione (DALL·E, Midjourney)

       └── Modelli Transformer (ChatGPT/GPT, Netflix/Spotify)

Scegliere l'approccio giusto: una checklist decisionale

Dimensioni del set di dati:
Piccolo/strutturato = ML
Grande/non strutturato = DL

Necessità di interpretabilità
Alta = ML
Bassa = il DL è accettabile

Risorse computazionali disponibili
Limitate = ML
Solide = il DL è possibile

Tipo di problema
Dati tabulari = ML
Immagini/testo/audio = DL

Roadmap per ML e DL

Ecco una roadmap di apprendimento pratica, che inizia con alcuni fondamenti condivisi, poiché il DL si basa sui fondamenti dell'ML. Tieni anche presente che il tuo percorso specifico dipende dal particolare problema da risolvere e dalle risorse disponibili per il tuo sistema.

Fondamenti condivisi:

• Imparare la programmazione di base e la preparazione dei dati, come i fondamenti di Python, NumPy, Polars/pandas e la visualizzazione dei dati (matplotlib, seaborn)
• Conoscere i fondamenti della matematica come algebra lineare, probabilità, statistica e calcolo di base
• Imparare le basi della gestione dei dati come pulizia dei dati, feature engineering, addestramento, convalida e test.

Percorso di Machine Learning:

• Concetti fondamentali come apprendimento supervisionato e non supervisionato, bias-variance tradeoff, overfitting, regolarizzazione e metriche di valutazione.
• Concentrati sui modelli ML classici (regressione lineare e logistica, alberi decisionali, random forest, SVM).
• Librerie principali (scikit-learn)
• Ingegneria delle feature, inclusa la codifica di variabili categoriali, la scalabilità e la normalizzazione, le feature e le aggregazioni basate sul tempo.
• Tecniche di ottimizzazione e convalida dei modelli come convalida incrociata, ottimizzazione degli iperparametri, selezione delle feature e analisi degli errori.
• Attività di ML di produzione, tra cui distribuzione del modello, monitoraggio e rilevamento del drift, pipeline di riaddestramento e spiegabilità.

Percorso di Deep Learning:

• Fondamenti delle reti neurali, tra cui perceptron, funzioni di attivazione, funzioni di perdita, backpropagation e ottimizzazione
• Architetture DL principali con un focus su reti feedforward, CNN (immagini), RNN/LSTM/GRU (sequenze) e transformer (NLP, vision)
• Framework di DL (Pytorch, TensorFlow, Keras)
• Addestramento (addestramento su GPU, addestramento distribuito, precisione mista e transfer learning)

Ricorda che il DL si basa sui fondamenti del ML, quindi inizia con le nozioni di base del ML indipendentemente dal tuo obiettivo finale.

Fare la scelta giusta per le tue esigenze

Il Machine learning e il deep learning sono due approcci per realizzare l'AI, a seconda dei requisiti dei dati, delle esigenze computazionali, delle necessità di interpretabilità e dei casi d'uso.

I casi d'uso del ML sono caratterizzati da set di dati più piccoli e strutturati in forma tabellare. Spesso hanno elevate esigenze di interpretabilità/spiegabilità, requisiti computazionali inferiori e impegni di tempo ridotti.

I casi d'uso del DL coinvolgono pattern complessi, grandi quantità di dati diversi e non strutturati, e l'accuratezza è più importante dell'interpretabilità. Per l'addestramento dei modelli di DL sono necessari un'infrastruttura di compute e un investimento di tempo molto più grandi.

La scelta migliore dipende dal problema specifico e dalle risorse disponibili. Sappi che entrambe le tecnologie continuano a evolversi, con architetture di modelli più robuste che utilizzano meno memoria, un addestramento più efficiente e una migliore valutazione e test. C'è una crescente convergenza nell'IA, dove ML, DL e regole sono combinati in sistemi ibridi. Nuove applicazioni e richieste normative e di governance influenzeranno anche il modo in cui i modelli vengono creati e distribuiti.

L'ML non sta sostituendo il DL. Entrambi continuano a evolversi fianco a fianco.