Arbitrage biais-variance

L’arbitrage biais-variance est la propriété d'un ensemble de modèles prédictifs dans lequel les modèles avec un faible biais dans l’estimation des paramètres ont une plus grande variance de l’estimation des paramètres à travers des échantillons, et inversement.

Le dilemme biais-variance est le conflit qui consiste à simultanément essayer de minimiser ces deux sources d’erreur qui empêchent de généraliser les résultats des algorithmes d’apprentissage supervisé au-delà de leur jeu de données d’entraînement:

• L’erreur de biais est une erreur d'hypothèses erronées dans l’algorithme d' apprentissage . Un biais élevé peut empêcher un algorithme de trouver des relations pertinentes entre les caractéristiques et les sorties cibles (sous-ajustement).
• La variance est une erreur provenant de la sensibilité aux petites fluctuations du jeu d’entraînement. Une variance élevée peut amener un algorithme à modéliser le bruit aléatoire dans la donnée d'apprentissage, plutôt que les sorties prévues (surajustement).