Normalisation par lot

La normalisation par lots est une technique pour améliorer la vitesse, la performance et la stabilité des réseaux de neurones artificiels. La normalisation par lots a été introduite dans un article de 2015  Elle est utilisé pour normaliser la couche d'entrée en ajustant et en mettant à l'échelle les activations.

Bien que l’effet de la normalisation des lots soit évident, les raisons de son efficacité restent débattues. On pensait qu’elle pouvait atténuer le problème du décalage de la covariable interne, où l’initialisation des paramètres et les modifications de la répartition des entrées de chaque couche affectaient le taux d’apprentissage du réseau. 

Récemment, certains chercheurs ont montré que la normalisation des lots ne réduit pas le décalage de la covariable interne, mais plutôt aplanit la fonction objectif pour améliorer les performances.

D'autres ont prouvé que la normalisation par lots permet un découplage dans le sens de la longueur et accélère ainsi les réseaux neuronaux.