Algorithme de rétropropagation
Les algorithmes de rétropropagation constituent une famille de méthodes utilisées pour former efficacement des réseaux de neurones artificiels (ANN) en suivant un algorithme d'optimisation basé sur le gradient qui exploite la règle de chaîne . La caractéristique principale de la rétropropagation est sa méthode itérative, récursive et efficace pour le calcul des mises à jour des pondérations afin d’améliorer le réseau jusqu’à ce qu’il soit capable d’exécuter la tâche pour laquelle il est traité. Il est étroitement lié à l’algorithme de Gauss – Newton .
La rétropropagation nécessite que les dérivés des fonctions d'activation soient connus au moment de la conception du réseau.
La différenciation automatique est une technique qui peut fournir automatiquement et de manière analytique les dérivées de l'algorithme d'apprentissage. Dans le contexte de l’apprentissage, la rétropropagation est couramment utilisé par le gradient de descente optimisation d’un algorithme pour ajuster le poids des neurones en calculant le gradient de la fonction perdue ; La rétro-propagation calcule le ou les gradients, alors que la descente de gradient (stochastique) utilise les gradients pour l'apprentissage du modèle (via l'optimisation).
