Apprentissage automatique vs apprentissage profond

Comprendre les distinctions fondamentales et la place de chacun au sein de l'IA.

Comprendre la hiérarchie entre l'IA, le ML et le DL

Dans le monde plus vaste de l'intelligence artificielle (IA), les concepts de machine learning et d'apprentissage profond sont souvent confondus. L'IA est le vaste domaine de la construction de systèmes intelligents qui effectuent des tâches nécessitant une prise de décision de type humain. Machine learning (ML) est un type d'IA où les systèmes apprennent des modèles à partir de données historiques afin de prendre des décisions sans être explicitement programmés pour chaque règle. Le deep learning (DL) est un sous-ensemble spécialisé du machine learning qui utilise des réseaux de neurones multicouches pour apprendre automatiquement à partir de grands datasets afin de résoudre des problèmes complexes de perception et de langage.

La hiérarchie suivante explique la relation entre l'IA, le ML et le DL :

Intelligence Artificielle (IA) Règles et logique

 └── Machine Learning (ML) remplace les règles par l'expérience

      └── Apprentissage profond (DL) apprentissage automatique

Le ML et le DL sont des approches permettant de réaliser l'IA. En fait, la plupart des produits d'IA actuels sont en réalité des systèmes de ML, des modèles de deep learning ou des pipelines de données basés sur le ML.

Qu'est-ce que le machine learning ?

Machine learning permet à un ordinateur d'apprendre des motifs à partir de données, puis d'utiliser ces motifs pour faire des prédictions ou prendre des décisions. Il s'améliore avec l'expérience, sans programmation explicite. Les données sont le carburant du ML. Tout start par un problème ou une question à laquelle vous voulez que le système réponde. Il utilise ensuite les données collectées et normalisées dans un modèle (un algorithme qui fait correspondre des entrées à des sorties). Chaque modèle a des paramètres appris à partir des données et des hyperparamètres choisis par des humains.

Les modèles de ML courants incluent :

• Régression linéaire : algorithmes de ML qui modélisent la relation entre une variable dépendante (ce que vous voulez prédire) et une ou plusieurs variables indépendantes (entrées) en ajustant une ligne droite (ou un hyperplan) aux données. Ce modèle apprend en effectuant des prédictions sans coefficients initiaux, en mesurant l'erreur entre les prédictions et les valeurs réelles, et en ajustant les coefficients pour minimiser les erreurs.
• Arbre de décision : catégorie d'algorithmes de ML qui effectuent des prédictions en apprenant un ensemble de règles si-alors à partir de données, puis qui divisent ces données en branches en fonction des valeurs des caractéristiques, formant ainsi une structure arborescente. Chaque question est un nœud de décision, et chaque réponse mène à une branche jusqu'à ce qu'un nœud terminal donne la prédiction finale.
• Forêt aléatoire : Un modèle qui combine un ensemble d'arbres de décision pour effectuer des prédictions plus précises et plus stables. Chaque arbre s'entraîne sur un échantillon de données différent et la prédiction finale est une moyenne ou un vote majoritaire sur le meilleur résultat.
• Machines à vecteurs de support (SVM) : Une classe de modèles de ML utilisés pour la classification et la régression qui trouvent la meilleure frontière qui sépare les points de données en différentes classes.

Les modèles de machine learning apprennent les motifs plus efficacement grâce au feature engineering, un processus de transformation des données brutes en signaux utiles pour un modèle. Une caractéristique est une variable d'entrée (numérique, catégorielle, date/heure, texte) utilisée par un modèle. De bonnes caractéristiques peuvent améliorer la précision, l'interprétabilité et réduire le temps d'entraînement.

Les quatre types de machine learning

• Apprentissage supervisé : une approche de machine learning où un modèle est entraîné à l'aide de données étiquetées (données qui incluent à la fois les caractéristiques d'entrée et la sortie correcte). On montre des exemples au modèle et on lui indique la bonne réponse pour qu'il apprenne une mise en correspondance. Les tâches courantes d'apprentissage supervisé comprennent la classification (spam ou non-spam, ou présence d'une maladie) ou la régression (prédiction des prix, prévisions des ventes).
• Apprentissage non supervisé : type de machine learning où un modèle trouve et apprend des motifs à partir de données non étiquetées qui n'ont pas de réponse prédéfinie. Il peut trouver des motifs en regroupant des points de données similaires, en réduisant le nombre de caractéristiques, en trouvant des points de données anormaux ou rares ou en trouvant des relations entre les variables. La segmentation client et la détection d'anomalies en sont des exemples concrets.
• Apprentissage semi-supervisé : une approche de machine learning qui utilise une petite quantité de données étiquetées ainsi qu'une grande quantité de données non étiquetées pour entraîner un modèle. Les données étiquetées ancrent l'apprentissage, tandis que les données non étiquetées aident à affiner la frontière de décision. Cette approche est couramment utilisée pour la classification d'images, le diagnostic médical et la reconnaissance vocale.
• Apprentissage par renforcement : apprentissage automatique par essais et erreurs où un agent apprend en interagissant avec un environnement, en effectuant des actions et en recevant des récompenses ou des pénalités, plutôt qu'en apprenant à partir d'exemples étiquetés (par exemple, jeux vidéo, robotique).

Qu'est-ce que le deep learning ?

L'apprentissage profond est une approche de ML qui utilise des réseaux de neurones artificiels multicouches pour apprendre automatiquement des motifs complexes à partir de grandes quantités de données. On les appelle réseaux de neurones, car ils imitent la structure neuronale du cerveau humain. C'est l'une des approches les plus puissantes pour créer des systèmes d'IA.

Avec le deep learning, les humains ne conçoivent pas les caractéristiques à partir desquelles apprendre. Les modèles apprennent les représentations directement à partir des données brutes en utilisant de nombreuses couches de réseaux de neurones. Les couches construisent une hiérarchie de caractéristiques et comprennent une couche d'entrée, plusieurs couches cachées et une couche de sortie. Chaque couche applique des poids, ajoute un biais et passe par une activation non linéaire.

Types courants de réseaux de neurones

• Réseaux feedforward : ce sont les réseaux de neurones les plus simples et ils représentent l'architecture fondamentale des réseaux de neurones. Les données circulent dans une seule direction, des couches d'entrée aux couches de sortie en passant par les couches cachées. Ils sont donc les mieux adaptés aux données structurées, à la régression et à la classification.
• Réseaux de neurones convolutifs (CNN) : réseaux spécialisés pour les données de type grille. Il utilise des filtres de convolution pour détecter des motifs comme les contours et les formes. Ils sont particulièrement adaptés aux tâches de reconnaissance d'images et de vision par ordinateur.
• Réseaux de neurones récurrents (RNN) : des réseaux avec des boucles de rétroaction qui maintiennent un état caché, conçus pour les données séquentielles comme la génération de texte, la reconnaissance vocale et la prévision de séries temporelles.
• Réseaux antagonistes génératifs (GAN) : utilisés pour générer de nouvelles données réalistes en entraînant deux réseaux de neurones qui sont en compétition l'un avec l'autre. Un réseau crée de fausses données et l'autre essaie de les détecter, de sorte que les deux s'améliorent par la compétition. Les exemples incluent la génération d'images, d'audio et de vidéos.

En quoi le Machine Learning et le Deep Learning sont similaires

Le ML et le DL relèvent tous deux de l'IA et sont étroitement liés, car le deep learning est un sous-ensemble du machine learning. Ils partagent de nombreux principes fondamentaux, workflows et objectifs. Tous deux apprennent des motifs à partir des données et visent à faire des prédictions ou à prendre des décisions sur la base de ces données.

Lorsqu'ils apprennent à partir de données, les deux peuvent améliorer leurs performances à mesure qu'ils reçoivent plus de données dans un processus d'apprentissage itératif. Et les deux peuvent généraliser à partir de ces données pour de nouvelles données, jamais vues auparavant. Le ML et le DL requièrent tous deux un entraînement sur des données historiques, une validation pour ajuster les paramètres et des tests sur des données nouvelles.

Et tous deux peuvent être appliqués à des problèmes de classification, de régression et de clusters.

Exigences en matière de données et ingénierie des caractéristiques

Bien que le machine learning et l'apprentissage profond présentent de nombreuses similitudes, ils ont des exigences différentes en matière de données et d'efforts d'ingénierie des caractéristiques. Le ML fonctionne souvent bien avec des datasets structurés de petite à moyenne taille, mais ses performances dépendent de la qualité des caractéristiques, ce qui nécessite une ingénierie des caractéristiques dirigée par l'homme pour identifier les variables pertinentes.

Le DL dépend de grandes quantités de données non structurées (images, texte, audio) et l'échelle des exemples a un impact direct sur les performances, car le DL effectue une extraction automatique des caractéristiques avec une intervention humaine minimale.

La connaissance du domaine et la qualité des caractéristiques sont essentielles en ML, tandis qu'avec le DL, les modèles apprennent les caractéristiques en interne, si bien que l'échelle des données et l'infrastructure deviennent plus importantes.

Puissance de calcul et temps d'entraînement

Il est utile de comparer les besoins en compute et le temps d'entraînement nécessaires pour le ML et le DL, car ce sont les facteurs qui affectent le plus le coût, la vitesse d'itération et la faisabilité de vos systèmes en tant que produits. Les modèles de ML traditionnels peuvent fonctionner sur des processeurs (CPU) standards avec une mémoire plus faible, tandis que le DL nécessite des processeurs graphiques (GPU) ou des TPU avec une mémoire élevée pour un entraînement efficace. Les coûts d'infrastructure seront donc plus élevés avec le DL.

Les modèles de ML s'entraînent rapidement, ce qui permet des itérations et des expérimentations rapides, tandis que les modèles de DL nécessitent des temps d'entraînement plus longs en raison de leurs architectures complexes et multicouches. Le coût d'entraînement, l'infrastructure, l'énergie et la complexité sont donc plus élevés avec le DL, mais le ML peut ne pas être performant pour les problèmes à grande échelle.

Interprétabilité et transparence

D'autres facteurs à prendre en compte lors de la comparaison entre le machine learning et l'apprentissage profond sont l'interprétabilité (la facilité avec laquelle un humain peut comprendre pourquoi un modèle a fait une prédiction) et la transparence (la visibilité et l'explicabilité de la logique interne et du processus de décision du modèle).

Les modèles de ML sont conçus pour être transparents et souvent plus interprétables. Ils montrent l'importance des caractéristiques et permettent un raisonnement étape par étape. Par exemple : les règles si-alors des arbres de décision sont lisibles par l'homme, les coefficients de régression linéaire montrent l'impact direct des caractéristiques et les odds ratios de la régression linéaire expliquent leur influence.

Les modèles de DL agissent davantage comme des "boîtes noires" du point de vue de la transparence. Ils ne reposent pas sur des règles explicites ou des caractéristiques conçues par l'homme. Ils contiennent des millions de paramètres et apprennent des représentations hiérarchiques et distribuées, ce qui rend difficile la compréhension des caractéristiques qui sont à l'origine d'une prédiction.

L'interprétabilité est importante pour l'audit et devient essentielle dans les Secteurs d'activité réglementés tels que la santé, la finance et le droit, où des décisions à fort enjeu sont prises régulièrement et où la confiance est primordiale.

Quand utiliser Machine Learning

En règle générale, il est conseillé d'utiliser le ML lorsqu'un problème bien défini implique des motifs dans les données qui sont difficiles à définir avec des règles fixes, mais où l'apprentissage profond serait inutile ou inefficace. Le ML est bien adapté lorsque les données sont structurées et que le dataset est de taille petite à moyenne, comme c'est le cas pour les données d'entreprise (prévisions des Ventes, métriques financières, dossiers clients).

Le ML est efficace lorsque le budget de compute est limité et qu'une itération rapide est importante (détection de la fraude, évaluation du crédit), ainsi que pour les applications où l'interprétabilité et l'explicabilité sont requises (finance, santé, assurance, droit).

Quand utiliser le deep learning

Le DL peut exceller dans la résolution de problèmes qui impliquent des modèles complexes dans de grandes quantités de données diverses et non structurées, lorsque vous disposez de GPU/TPU et du temps nécessaire pour le prendre en charge. Le DL est le plus adapté aux entrées difficiles à modéliser avec le ML traditionnel (images, vidéo, audio). Le DL est nécessaire lorsque la conception manuelle de caractéristiques est difficile ou impossible, mais que les données brutes contiennent des signaux utiles. Le DL est également approprié lorsque la précision est plus importante que l'interprétabilité et le coût, et que le système peut tolérer des cycles d'entraînement plus longs.

Le DL est particulièrement efficace lorsque l'apprentissage par transfert est disponible à partir de modèles pré-entraînés (reconnaissance d'images et d'objets) et que le problème implique la perception ou le langage (vision par ordinateur, reconnaissance vocale, traitement du langage naturel, véhicules autonomes et robotique).

Exemples d'IA dans le monde réel

ChatGPT, est-ce de l'IA ou du ML ? La réponse est : les deux !

N'oubliez pas que le ML et le DL sont deux types d'IA, et que le DL est un sous-ensemble du ML. En fait, ChatGPT est un modèle de deep learning construit avec un très grand réseau de neurones de type transformer. GPT (Generative Pre-trained Transformer) est composé de millions à des milliards de paramètres et de quantités massives de données d'entraînement.

Les systèmes de création d'images populaires comme DALL-E et Midjourney sont des modèles de diffusion construits à l'aide de réseaux de neurones profonds. Ils entrent donc tous deux dans la catégorie du DL. Les deux nécessitent un entraînement à grande échelle pour créer des images à partir d'invites textuelles, des calculs intensifs et un apprentissage de la représentation.

Lorsque Netflix ou Spotify font des recommandations, ils utilisent une combinaison de modèles de ML traditionnels et de modèles de DL qui fonctionnent ensemble. Ces systèmes analysent le comportement de l'utilisateur, les attributs du contenu et les similitudes entre les deux pour décider quel contenu afficher, dans quel ordre et à quels utilisateurs. Le ML est utilisé pour le classement, la personnalisation et les tests A/B. Le DL est utilisé pour modéliser les goûts des utilisateurs, comprendre le contenu et apprendre les relations utilisateur-élément à grande échelle.

Voici à quoi ressemblent ces produits dans la hiérarchie du système d'IA :

Intelligence Artificielle (IA)

 └── Machine Learning (ML)

       └── Modèles de filtrage collaboratif (Netflix/Spotify)

 └── Apprentissage profond (DL)

       └── Modèles de diffusion (DALL·E, Midjourney)

       └── Modèles Transformer (ChatGPT/GPT, Netflix/Spotify)

Choisir la bonne approche : une checklist de décision

Taille du dataset :
Petit/structuré = ML
Grand/non structuré = DL

Besoin d'interprétabilité
Élevé = ML
Faible = Le DL est acceptable

Ressources de calcul disponibles
Limitées = ML
Robustes = DL possible

Type de problème
Données tabulaires = ML
Images/texte/audio = DL

Feuilles de route d'apprentissage pour le ML et le DL

Voici une feuille de route d'apprentissage pratique, qui commence par quelques principes fondamentaux partagés, puisque le DL s'appuie sur les principes fondamentaux du ML. Gardez également à l'esprit que votre parcours spécifique dépend du problème particulier à résoudre et des ressources disponibles pour votre système.

Fondamentaux communs :

• Apprendre les bases de la programmation et de la préparation des données, comme les fondamentaux de Python, NumPy, Polars/pandas et la visualisation de données (matplotlib, seaborn)
• Connaître les fondamentaux des mathématiques tels que l'algèbre linéaire, les probabilités, les statistiques et les bases du calcul
• Apprenez les bases du traitement des données, comme le nettoyage des données, l'ingénierie des caractéristiques, l'entraînement, la validation et le test.

Parcours Machine Learning :

• Concepts fondamentaux tels que l'apprentissage supervisé et non supervisé, le compromis biais-variance, le surajustement (overfitting), la régularisation et les métriques d'évaluation.
• Se concentrer sur les modèles de ML classiques (régression linéaire et logistique, arbres de décision, forêts aléatoires, SVM).
• Bibliothèques principales (scikit-learn)
• Feature engineering, y compris l'encodage des variables catégorielles, la mise à l'échelle et la normalisation, les caractéristiques temporelles et les agrégations.
• Techniques de réglage et de validation des modèles telles que la validation croisée, le réglage des hyperparamètres, la sélection des caractéristiques et l'analyse des erreurs.
• Tâches de ML en production, y compris le déploiement de modèles, le monitoring et la détection de drift, les pipelines de réentraînement et l'explicabilité.

Parcours Deep Learning :

• Principes fondamentaux des réseaux de neurones, notamment le perceptron, les fonctions d'activation, les fonctions de perte, la rétropropagation et l'optimisation
• Architectures DL de base axées sur les réseaux feedforward, les CNN (images), les RNN/LSTM/GRU (séquences) et les transformeurs (NLP, vision)
• Frameworks de DL (Pytorch, TensorFlow, Keras)
• Entraînement (entraînement sur GPU, entraînement distribué, précision mixte et transfer learning)

N'oubliez pas que le DL s'appuie sur les principes fondamentaux du ML, alors commencez par les bases du ML quel que soit votre objectif final.

Faire le bon choix pour vos besoins

L'apprentissage automatique et l'apprentissage profond sont deux approches pour réaliser l'IA, en fonction de vos exigences en matière de données, de vos demandes de calcul, de vos besoins en interprétabilité et de vos cas d'utilisation.

Les cas d'utilisation du ML sont caractérisés par des datasets structurés, tabulaires et plus petits. Ils ont souvent des besoins élevés en matière d'interprétabilité/explicabilité et des exigences de calcul et de temps plus faibles.

Les cas d'utilisation du DL impliquent des motifs complexes, de grandes quantités de données diverses et non structurées, et la précision y est plus importante que l'interprétabilité. Un investissement en temps et une infrastructure de compute beaucoup plus importants sont nécessaires pour l'entraînement des modèles de DL.

Le meilleur choix dépend de votre problème spécifique et des ressources disponibles. Sachez que ces deux technologies continuent d'évoluer, avec des architectures de modèles plus robustes utilisant moins de mémoire, un entraînement plus efficace, ainsi qu'une évaluation et des tests améliorés. On observe une convergence croissante dans l'IA, où le ML, le DL et les règles sont combinés dans des systèmes hybrides. Les nouvelles applications et les exigences en matière de réglementation et de gouvernance influenceront également la manière dont les modèles sont créés et déployés.

Le ML ne remplace pas le DL. Les deux continuent d'évoluer côte à côte.