Comment analyser les résultats d'un test A/B

Configuration de l'analyse

Le test A/B est un moyen de comparer deux versions de quelque chose sur votre site/application pour déterminer laquelle fonctionne le mieux. Pour commencer, décidez quelles sont les deux choses que vous souhaitez comparer. Pour mesurer la différence d'impact, vous devrez d'abord définir les indicateurs de performance ou KPI. En utilisant ces indicateurs, vous évaluez la performance.

Un bon point de départ est de réfléchir à pourquoi vous avez prévu cette modification?

• Augmenter le taux de clics sur un CTA?

• Réduire le taux de sortie ou augmenter la consommation de la page?

• Augmenter le taux d'engagement avec un élément spécifique?

Pensez à un objectif spécifique, qui peut être différent de l'objectif macro de votre site web

• Ex. Le test sur une page produit aura l'objectif "Ajouter au panier" comme KPI principal, et "conversion e-commerce" comme objectif secondaire.

Ne définissez pas plus de 2-3 objectifs : si vous en avez plus, vous ne pourrez pas prendre de décisions à la fin du test A/B. Plus vous mesurez d'objectifs, plus il est probable que vous ayez des fluctuations aléatoires dans vos résultats.

Découvrez comment évaluer la performance de vos KPI de test.

Analyse des résultats du test

Quantification de l'impact

La première étape consiste à examiner de manière critique les résultats du test AB. En utilisant la Quantification de l'impact pour commencer, vous pouvez obtenir une vue des indicateurs au niveau des sessions pour chaque groupe.

Pour ce faire, ouvrez la Quantification de l'impact et dans un mode de comparaison dans le contexte d'analyse, appliquez vos segments de test : Contrôle et Variante. Notez les réponses aux questions suivantes :

• Les résultats sont-ils significatifs ?

• Quel est son effet sur la conversion et les revenus ? 

• Les visiteurs de la Variante sont-ils plus susceptibles de rester sur le site ? Ont-ils des parcours plus profonds et passent-ils plus de temps sur le site ?

• Quelle est la probabilité qu'ils atteignent l'objectif de la page ? (Sont-ils plus susceptibles d'ajouter quelque chose à leurs sacs ou d'entrer dans le tunnel de réservation ?)

• Est-ce que cela s'améliore sur certains indicateurs mais ne se traduit pas par une amélioration globale de la conversion ? Si c'est le cas, nous devons commencer à analyser pourquoi c'est ainsi. Il est maintenant temps de commencer à approfondir et à faire une analyse détaillée dans le reste des modules de Contentsquare.

Page Comparator

Le comparateur de page est utile pour obtenir un aperçu de l'activité des différents segments sur une page donnée : A-t-il eu un impact sur l'une des principales métriques UX de la page ?

Pour commencer votre analyse, ouvrez le comparateur de page et dans un mode de comparaison dans le contexte d'analyse appliquez vos segments de test : Contrôle et Variante. Ensuite, privilégiez la page que vous souhaitez analyser et examinez les métriques suivantes :

• Vérifiez le taux de sortie/de rebond de la page pour déterminer si votre test aide à retenir vos visiteurs sur la page

• Regardez le taux de défilement pour comprendre si le changement a eu un impact sur la quantité que vos visiteurs défilent sur la page

• Comparez les taux d'activité des 2 segments pour voir si les utilisateurs de la Variante sont plus actifs en moyenne et plus susceptibles d'interagir avec le contenu de la page

• Appliquez différents objectifs de conversion (liez-les aux objectifs prédéfinis de votre test) pour comprendre comment le test impacte les micro-conversions de votre page : vos visiteurs sont-ils maintenant plus susceptibles d'atteindre l'objectif que vous avez fixé ? 

Journey Analysis

Utilisez l'analyse des parcours pour comprendre si le test a affecté les parcours clés sur le site : Les parcours diffèrent-ils entre les deux segments ?

Ouvrez l'analyse de parcours dans 2 onglets de votre navigateur - dans l'un, définissez votre contexte d'analyse sur le segment de contrôle, et dans l'autre - sur la variante. En regardant les parcours après la page où le test est en cours, vous pouvez vraiment comprendre :

• Où vont vos visiteurs après avoir vu votre test ? Y a-t-il des différences notables dans les parcours de navigation ?

• Le changement aide-t-il leur navigation globale ou perturbe-t-il leurs parcours en créant des obstacles ? Voient-ils des pages inattendues (par exemple, des pages d'erreur) ?

• Y a-t-il des comportements de boucle : sont-ils plus susceptibles de revenir entre la page sur laquelle vous effectuez votre test et d'autres pages clés ?

Analyse de zonage

Comment l'interaction sur les éléments de la page diffère-t-elle entre les deux versions ? Avec l'analyse de zonage, vous pouvez obtenir une compréhension approfondie du comportement des utilisateurs sur la page.

Ouvrez l'analyse de zonage, activez le mode de comparaison en cliquant sur le bouton Comparer. Par défaut, les deux zonages auront le même contexte d'analyse appliqué. Changez les segments par défaut pour correspondre à vos segments de test. Analysez les métriques suivantes :

• Regardez le taux de clics et le taux d'attractivité. Comment le test a-t-il impacté l'attractivité de l'élément clé ? L'élément que vous testez reçoit-il plus ou moins de clics ?

• Vérifiez comment le taux de survol, le temps avant le premier clic et la récurrence des clics évoluent. Cela a-t-il eu un impact sur les interactions d'une autre manière ?

• Comparez le taux d'engagement avec le reste du contenu de la page. Votre test a-t-il impacté les interactions avec d'autres éléments clés de la page ?

• Regardez le taux de conversion de l'élément que vous testez. Sélectionnez l'objectif de votre test comme objectif de conversion objectif. Les utilisateurs de la variante ont-ils plus de facilité à trouver ce qu'ils recherchent ?

Surveillez la performance de votre test

Créez un tableau de bord personnalisé pour surveiller la performance en cours de votre test A/B. 

• Créez un widget pour les métriques au niveau de la page (comme le temps sur la page, le taux de sortie) et comparez vos segments de contrôle et de test.
• Créez des widgets pour le taux de conversion (comme la consultation d'une page suivante ou une transaction) et appliquez les segments de contrôle et de variante.
• Créez des widgets pour des zones spécifiques, qui peuvent différer entre les versions. Surveillez les interactions avec ces zones (taux de clics, récurrence des clics, conversion par clic).

Allez plus loin

Apprenez à passer de l'analyse de vos résultats de test à la prise de décisions basées sur les données.