Comment prendre une décision de lancement ?

Le but de l'exécution d'un test A/B est de recueillir des données pour guider la prise de décision. Voici un exemple du processus de prise de décision et des facteurs qui doivent être pris en compte avant de décider de lancer, ou non, un produit :

• Devez-vous faire un compromis entre différentes métriques ?

Exemple : Si le taux d'engagement augmente, mais que le revenu généré diminue, devez-vous lancer le produit ?

• Quel est le coût du lancement de ce produit ?

Exemple : Quels sont les coûts de développement et de maintenance de la nouvelle fonctionnalité ? Les profits attendus peuvent-ils couvrir ces frais ?

• Quel est l'inconvénient de prendre une mauvaise décision ?

Exemple : Quel est le coût d'opportunité si vous renoncez à apporter un changement qui a un impact réel ?

Comprendre la pertinence pratique de votre test

L'essentiel est d'établir non seulement des données statistiques pertinentes, mais aussi de décider de l'importance de la différence entre les principaux KPI ("indicateurs clés de performance") qui compte réellement pour l'entreprise : la différence vaut-elle le coût de ce changement ? En d'autres termes, quel changement est significatif en pratique ?

En fonction de votre activité, un changement de 0,2 % du revenu par utilisateur peut être significatif en pratique, tandis que dans d'autres cas, ce taux sera trop faible et l'entreprise ne recherchera que des changements qui améliorent les revenus de 10 % ou plus.

Exemple de matrice de décision pour comprendre la pertinence pratique et statistique.

• Que faire si votre test n'est pas concluant ou s'il est perdant ?

Analysez le traitement, les résultats entre les segments, et améliorez votre hypothèse. Ensuite, refaites un test ! Préparez-vous à effectuer plusieurs séries de tests pour chaque page.

Soyez également conscient des effets de cannibalisation et des effets secondaires des modifications que vous apporterez. Même un changement subtil peut avoir des répercussions sur la façon dont vos utilisateurs perçoivent votre site et se comportent dessus.

Cas d'usage : Le client X a effectué un test sur la visualisation de ses nuanciers de couleurs. Il a été surpris de constater que leur variante de test était perdante alors que le design employé était considéré comme une bonne pratique du secteur et qu'une augmentation des clics sur les nuanciers de couleurs a été observée. Après une analyse dans Contentsquare, il a compris que cela était dû à une diminution de la visibilité des avis. Les évaluations et avis d'anciens clients agissent comme une preuve sociale de la qualité du produit et ont un impact considérable sur la conversion.

Tips :

• Nous vous recommandons d'avoir un document de suivi du test A/B où vous pouvez facilement enregistrer les informations clés concernant le contexte.
• Une étape à la fois : un test A/B = une modification. Ne modifiez pas trop de choses sur la même page. Sinon, vous ne serez pas en mesure d'analyser l'impact réel de votre modification.
• Êtes-vous sûr que votre modification peut avoir un impact pertinent ?
• Veillez à effectuer votre test lorsque les utilisateurs se comportent "normalement". (En d'autres termes, nous ne recommandons pas de mettre en œuvre un test A/B pendant le Black Friday ou d'autres périodes de soldes).

Itérer

• Et si vous construisez un test gagnant ? Vous testez à nouveau !

Avoir "un état d'esprit itératif" est la clé de la réussite d'un programme de CRO. Il est assez rare de réussir à tout faire parfaitement dès la première tentative. Prévoyez donc dès le début de votre processus de devoir réitérer et d'apprendre de nouveaux enseignements en chemin.

L'optimisation de la conversion est un processus systématique et réitérable. Vous testez, vous mesurez l'impact de votre test, puis vous réanalysez, examinez une autre partie de la page, vous élaborez une nouvelle hypothèse et vous testez à nouveau. Si vous n'itérez pas, vous risquez de passer au projet suivant en perdant de belles opportunités.