Comment analyser les résultats d'un test A/B ?

Configurer l'analyse

Le test A/B est un moyen de comparer deux versions d'un élément sur votre site/application afin de déterminer laquelle est la plus performante. Pour commencer, décidez des deux éléments que vous voulez comparer. Puis, choisissez les métriques d'objectif ou les indicateurs clés de performance que vous souhaitez utiliser pour mesurer la différence d'impact. Elles vous permettront d'évaluer les performances des deux éléments.

Un bon point de départ est de vous demander pourquoi vous voulez effectuer cette modification ?

• Augmenter le taux de clics sur un CTA ?

• Réduire le taux de sorties ou augmenter la consommation d'une page ?

• Augmenter le taux d'engagement d'un élément en particulier ?

Pensez à un objectif spécifique, qui peut être différent du macro objectif de votre site web.

• Exemple : Si vous réalisez un test sur une page produit, le KPI principal sera l'objectif de clic sur le CTA "Ajouter au panier", et l'objectif complémentaire sera la conversion e-commerce.

Ne choisissez pas plus de 2 ou 3 objectifs : si vous le faites, vous ne serez pas en mesure de prendre des décisions à la fin de votre test A/B. Plus vous mesurerez d'objectifs, plus vous aurez de risques d'observer des fluctuations aléatoires dans vos résultats.

Apprenez à évaluer les performances de vos KPI de test.

Analyser les résultats du test

Quantification d'impact

La première étape est d'avoir un regard critique sur les résultats de votre test AB. Commencez par utiliser Quantification d'impact pour obtenir un aperçu des métriques de chaque groupe au niveau des sessions.

Pour cela, ouvrez Quantification d'impact, activez le mode Comparaison dans le Contexte d'analyse et appliquez vos segments de test : le groupe de contrôle et le groupe testant le variant, puis, répondez aux questions suivantes :

• Les résultats sont-ils significatifs ?

• Quels sont les effets du test sur la conversion et le revenu ?

• Les utilisateurs du variant sont-ils plus susceptibles de rester sur le site ? Leurs parcours sont-ils plus approfondis et passent-ils plus de temps sur le site ?

• Dans quelle mesure sont-ils susceptibles d'accomplir l'objectif de la page ? (Sont-ils plus à même d'ajouter quelque chose à leur panier ou d'entrer dans le tunnel de réservation ?)

• Certains KPI s'améliorent-ils malgré un manque d'amélioration de la conversion de manière générale ? Si oui, nous devons analyser pourquoi. Il est donc temps de réellement analyser votre test en profondeur avec les autres modules de Contentsquare ?

Comparateur de pages

Le Comparateur de pages est extrêmement utile pour obtenir un aperçu de l'activité de différents segments sur une page : Le test a-t-il eu un impact important sur une ou plusieurs des métriques UX clés de la page ?

Pour commencer votre analyse, ouvrez le Comparateur de pages et appliquez-y vos segments de test (groupe de contrôle et groupe de test du variant) dans le Contexte d'analyse en mode Comparaison. Ensuite, ajoutez la page que vous souhaitez analyser à vos favoris pour la faire remonter vers le haut de l'écran et regardez les métriques suivantes :

• Observez les taux de sorties et taux de rebonds de la page pour voir si votre test aide à retenir les utilisateurs sur la page.

• Vérifiez le taux de scroll : Le changement apporté a-t-il impacté la manière dont vos utilisateurs font défiler la page ?

• Comparez les taux d'activité des 2 segments pour déterminer si les utilisateurs du variant sont, en moyenne, plus actifs et plus enclins à interagir avec le contenu de la page.

• Appliquez différents objectifs de conversion (utilisez les objectifs que vous avez définis précédemment pour votre test) pour comprendre comment le test impacte les micro conversions de la page : y a-t-il maintenant plus de chances que vos utilisateurs accomplissent l'objectif que vous avez fixé ?

Parcours de navigation

Utilisez Parcours de navigation pour comprendre si votre test a affecté les parcours clés sur votre site : Les parcours principaux diffèrent-ils selon le segment ?

Ouvrez Parcours de navigation et activez le mode Comparaison. Définissez votre premier Contexte d'analyse avec le segment du groupe de contrôle, et le deuxième avec celui du groupe testant le variant. En regardant les parcours après la page sur laquelle vous opérez le test, vous pourrez comprendre :

• Où vos utilisateurs se rendent après avoir vu le test ? Y a-t-il des différences notables entre les parcours des deux segments ?

• Le changement apporté par le test aide-t-il à la navigation de manière générale ou semble-t-il perturbé les parcours en créant des difficultés ? Les utilisateurs rencontrent-ils des pages inattendues (par exemple, une page d'erreur) ?

• Observe-t-on des comportements de va-et-viens : les utilisateurs font-ils des allers-retours entre la page sur laquelle vous effectuez votre test et d'autres pages clés ?

Données de zones

Comment les interactions sur les éléments de la page diffèrent-elles entre les deux versions ? Données de zones vous aidera à acquérir une compréhension approfondie des comportements utilisateurs sur la page.

Ouvrez le module Données de zones et activez le mode Comparaison en cliquant sur le bouton "Comparer". Par défaut, les deux zonings auront le même Contexte d'analyse. Modifiez les segments par défaut pour analyser vos segments de test. Observez les métriques suivantes :

• Regardez les taux de clics et d'attractivité. Comment le test a-t-il impacté l'attractivité des éléments clés ? L'élément que vous testez (ou sa nouvelle version) reçoit-il plus ou moins de clics que son prédécesseur ?

• Vérifiez comment évoluent le taux de survol, le temps avant le premier clic et la récurrence de clics sur votre élément. Ce dernier a-t-il impacté les interactions d'une quelque autre manière ?

• Comparez le taux d'engagement (de votre test) avec le reste du contenu sur la page. Votre test a-t-il impacté les interactions avec les autres éléments de la page ?

• Regardez le taux de conversion sur l'élément que vous testez. Sélectionnez l'objectif que vous souhaitez atteindre avec le test comme objectif de conversion. Les utilisateurs du variant trouvent-ils ce qu'ils cherchent plus facilement ?

Surveiller les performances de votre test

Créez un workspace personnalisé pour surveiller les performances de votre test A/B en continu.

• Créez un widget pour les métriques au niveau de la page de test (comme le temps passé ou le taux de sorties) et comparez vos segments des groupes de contrôle et de test.
• Créez des widgets pour surveiller les taux de conversion de vos objectifs (comme voir une page après celle du test, ou réaliser une transaction) et appliquez-y vos deux segments (contrôle et variant).
• Créez des widgets pour des zones spécifiques, qui diffèrent peut-être entre les deux versions de la page. Surveillez les interactions des utilisateurs avec ces zones (taux de clics, récurrence de clics, taux de conversion par clic).

Aller plus loin

Apprenez à utiliser les résultats de votre test pour prendre vos futures décisions.