Etude de cas A/B Test sur un site d'ecommerce DELL.com

Voici les résultats d'un A/B test sur l'ordre d'affichage des options de tris sur une page listant des produits.

L'objet de l'A/B Test

Déterminer s'il faut faire apparaître l'option "Meilleur Résultat" (c'est à dire en fonction d'un algorithme maison) devant après les deux autres options ("Du plus cher au moins cher" et "Du moins cher au plus cher").

Ciblage

Trafic de la section promotion "Deals" du site de Dell US.

Les trois versions en compétition

Version A: Option "Meilleur résultat", puis "Moins cher au plus cher", puis "Plus cher au moins cher"

Version B: Option  "Moins cher au plus cher", puis "Plus cher au moins cher", "Meilleur résultat"

Version C: Option  "Plus cher au moins cher", "Moins cher au plus cher", "Meilleur résultat", 

 Résultat du test A/B sur le menu de tri: Version B

Hypothèse

Bien que la modification de l'ordre de ces filtres semble être un changement mineur, l'équipe de test estimait qu'il était souhaitable de mesure l'impact de l'ordre des options de tri sur le tau de conversion, le nombre de commandes et le chiffre d'affaires.

Plateforme de l'AB Test

Adobe Target.

Durée du test

Deux semaines

KPI mesurés

La valeur moyenne des commandes (AOV), le revenu par visiteur (RPV) ont été trackés pour toutes les versions

Analyse du test

Par rapport à la version A où le "Meilleur résultat" était affiché en premier, le fait de le placer en bas de page a fait grimper le RPV de 22 %. Les résultats ont atteint une signification statistique avec un niveau de confiance de 99,9 %.

Il est intéressant de noter que l'AOV a légèrement baissé de 3,6 % par rapport à la version originale. Toutefois, ce résultat n'était pas statistiquement significatif.

Si le fait de placer le "Meilleur résultat" en bas de page était certainement la meilleure solution, l'ordre du texte sur les prix semblait également avoir de l'importance.

Le fait de mettre "Meilleur résultat" suivi de "Prix : élevé à faible" a donné de meilleurs résultats que l'inverse, à savoir mettre "Meilleur résultat" suivi de "Prix : Bas à Haut".

Par conséquent, même si la version B a entraîné une baisse de l'AOV, parce qu'elle a obtenu une augmentation statistiquement significative du RPV, cette version a été déclarée gagnante.

Fiabilité des résultats du test

Pour déterminer la fiabilité d'un test, un certain nombre de critères doivent être évalués, notamment la durée du test, la taille de l'échantillon (13  000 visiteurs pour chaque version), la discordance du rapport d'échantillonnage (SRM, lorsque l'une des versions reçoit beaucoup plus de trafic que les autres) et la signification statistique.

Vous souhaitez parfaitement maîtriser l'A/B Testing avec Google Optimize ? Inscrivez-vous à notre formation à Google Optimize.