Durée : 10 minutes
Le test A/B est un exemple de test d'hypothèse statistique classique, c'est-à-dire : l'utilisation de statistiques pour déterminer la probabilité qu'une hypothèse donnée soit vraie ou non. En d'autres termes, vous définissez un problème, vous proposez une solution et vous prédisez le résultat.
Établir une hypothèse
L'hypothèse nulle fait référence à une idée qui est supposée être vraie a priori, peu importe l'environnement dans lequel elle peut être testé. Elle est donc considérée comme vraie s'il n'y a pas de différence réelle entre l'environnement de traitement (celui où on applique des paramètres pour une expérience) et l'environnement de contrôle (celui dont on observe les résultats sans apporter de changement à l'environnement naturel). Toute différence observée entre les deux groupes n'est considérée que comme du "bruit".
L'hypothèse alternative, elle, fait référence à ce qui est testé par rapport à l'hypothèse nulle. C'est fondamentalement une hypothèse que vous croyez vraie. L'hypothèse alternative est ce que vous espérez prouver comme vrai grâce à votre test A/B.
Une hypothèse fait correspondre un problème identifié avec une solution identifiée tout en stipulant les résultats que l'on souhaite obtenir de cette association.
Exemple :
- Problème identifié : Le taux d'ajout panier sur votre page produit est de 11 %. En effectuant des recherches préalables (des enquêtes, une évaluation heuristique...), vous avez identifié un problème : l'absence d'avis sur les produits sur la page.
- Solution proposée : En ajoutant des avis d'anciens acheteurs sur vos pages produit, vous augmenterez la preuve sociale, la confiance dans le produit, et le nombre d'utilisateurs ajoutant des articles à leur panier augmentera par conséquent également. L'analyse du CTA "Ajouter au panier" vous permettra de mesurer les résultats.
Ici, l'hypothèse nulle serait : Ajouter des avis sur la page génèrera un taux d'ajout panier égal à 11%.
Et l'hypothèse alternative est la suivante : Ajouter des avis sur la page entraînera un taux d'ajout panier supérieur à 11%.
Après avoir défini votre hypothèse de test, il est temps de choisir le test statistique qui vous aidera à déterminer si votre hypothèse peut être validée ou non.
Choisir un test statistique
Quand on parle de test statistique, on parle de la méthode et de la valeur qui seront utilisées pour valider ou rejeter une hypothèse. Les tests T à deux échantillons sont les tests de signification statistique les plus courants pour déterminer s'il existe une différence réelle entre un groupe de traitement et un groupe de contrôle.
Dans sa forme la plus simple, le test T à deux échantillons examine la taille de la différence entre les moyennes de deux échantillons (dans votre cas, les utilisateurs inclus dans votre groupe de contrôle par rapport aux utilisateurs de votre groupe de traitement) par rapport à la variance. La variance vous indique le degré de dispersion de votre ensemble de données.
L'importance de la différence est représentée par la valeur p, qui est la probabilité que la différence soit au moins aussi extrême s'il n'y a vraiment aucune différence entre le traitement et le contrôle. Plus la valeur p est faible, plus la preuve de l'existence d'une différence réelle entre le traitement et le contrôle est forte. Par convention, toute différence dont la valeur p est inférieure à "0,05" est considérée comme "statistiquement significative".
Aller plus loin
Découvrez comment configurer et réaliser votre analyse dans Contentsquare.