18.13. Rétropropagation et formation des réseaux de neurones : surajustement et sous-ajustement
La rétropropagation est un algorithme fondamental dans la formation des réseaux de neurones, en particulier lorsqu'il s'agit d'apprentissage profond. Il est chargé d'ajuster les poids d'un réseau de neurones afin de minimiser la différence entre les sorties prédites et les sorties attendues (étiquettes de formation). Ce processus est effectué en calculant le gradient de la fonction de perte par rapport à chaque poids du réseau, ce qui permet une mise à jour efficace des poids dans la direction qui réduit les erreurs.
Comment fonctionne la rétropropagation ?
L'algorithme de rétropropagation fonctionne en deux étapes principales : la propagation vers l'avant (passage avant) et la propagation vers l'arrière (passage vers l'arrière). Lors de la propagation vers l'avant, les données d'entrée traversent le réseau pour générer une sortie. Lors de l'étape de propagation vers l'arrière, le gradient de la fonction de perte est calculé et propagé à travers le réseau, mettant à jour les poids si nécessaire.
La fonction de perte, également connue sous le nom de fonction de coût, mesure dans quelle mesure le réseau neuronal accomplit sa tâche. Une fonction de perte courante est l'entropie croisée pour les problèmes de classification et l'erreur quadratique moyenne pour les problèmes de régression. Le but de la formation est de minimiser cette fonction de perte.
Défis de formation : surapprentissage et sous-apprentissage
Lors de l'entraînement d'un réseau de neurones, nous pouvons rencontrer deux problèmes principaux : le surapprentissage et le sous-apprentissage.
Surapprentissage
Le surapprentissage se produit lorsque le réseau neuronal apprend si bien l'ensemble de données d'entraînement qu'il devient incapable de le généraliser à de nouvelles données. Cela se produit généralement lorsque le réseau comporte trop de paramètres (est trop complexe) par rapport à la quantité de données d'entraînement disponibles. En conséquence, le réseau peut capturer du bruit ou des modèles aléatoires qui ne sont pas représentatifs du processus global modélisé.
Pour lutter contre le surapprentissage, plusieurs techniques peuvent être appliquées :
- Régularisation : ajoute un terme de pénalité à la fonction de perte pour décourager les pondérations importantes et complexes dans le réseau.
- Abandon : pendant l'entraînement, certains neurones sont abandonnés de manière aléatoire, ce qui aide le réseau à devenir moins sensible à des poids spécifiques.
- Arrêt anticipé : l'entraînement s'arrête avant que le réseau n'ait la possibilité de surajuster les données d'entraînement.
- Augmentation des données : augmente l'ensemble de données d'entraînement avec des données modifiées, ce qui peut aider le réseau à apprendre des fonctionnalités plus généralisables.
- Validation croisée : utilise différentes partitions de l'ensemble de données pour entraîner et valider le modèle, ce qui permet de garantir que le modèle se généralise bien aux nouvelles données.
Sous-ajustement
D'un autre côté, le sous-apprentissage se produit lorsque le réseau neuronal est trop simple pour capturer la complexité des données. Cela signifie que le réseau n'apprend même pas les modèles de base à partir des données d'entraînement, ce qui entraîne de mauvaises performances à la fois sur l'ensemble d'entraînement et sur l'ensemble de test.
Pour résoudre le sous-apprentissage, nous pouvons :
- Augmenter la complexité du réseau : l'ajout de couches ou de neurones supplémentaires peut aider le réseau à capturer des modèles plus complexes.
- Prolonger la durée de formation : permettre au réseau de s'entraîner plus longtemps peut l'aider à mieux apprendre les modèles dans les données.
- Optimiser les hyperparamètres : le réglage des hyperparamètres tels que le taux d'apprentissage et la taille des lots peut améliorer le processus d'apprentissage.
- Enrichir les données de formation : l'ajout de données ou de ressources supplémentaires peut fournir au réseau davantage d'informations sur lesquelles tirer des enseignements.
Conclusion
La rétropropagation est un élément central de la formation des réseaux de neurones, leur permettant d'apprendre efficacement à partir des données. Cependant, il est crucial d'être conscient des problèmes de surapprentissage et de sous-apprentissage, qui peuvent compromettre la capacité du réseau à généraliser à de nouvelles données. Grâce à l'utilisation de techniques telles que la régularisation, l'abandon, l'arrêt anticipé, l'augmentation des données et la validation croisée, nous pouvons atténuer le risque de surajustement. De même, pour éviter le sous-ajustement, nous pouvons augmenter la complexité du réseau, prolonger le temps de formation, optimiser les hyperparamètres et enrichir les données de formation. Avec ces stratégies à l'esprit, il est possible de former des réseaux de neurones qui non seulement s'adaptent bien aux données d'entraînement, mais maintiennent également des performances élevées sur des données inédites.
