Quels segments peut-on comparer ?
Par défaut, les segments sélectionnés sont comparés à "Tous les autres utilisateurs". Cependant, les informations que cela révèle ne sont pas toujours les plus pertinentes dans la mesure où le segment de comparaison inclue tous les utilisateurs, peu importe où ils se trouvent dans leur parcours.
Bonne pratique : Si vous analysez un segment de population qui a effectué un tap sur une zone donnée sur un écran, comparez-les aux utilisateurs qui ont vu le même écran, mais n'ont pas réalisé de tap sur la zone, plutôt qu'au segment par défaut incluant tous les autres utilisateurs.
Le widget d'Impact montre-t-il la cause des faibles taux de conversion ?
C'est un début ! Toutefois, même si vous remarquez une forte corrélation entre, imaginons, un temps de chargement lent et un faible taux de conversion, gardez à l'esprit qu'il pourrait ne pas s'agir de la cause profonde que vous recherchez.
Bonne pratique : Recherchez d'autres facteurs qui pourraient expliquer le taux de conversion (par exemple : un CTA cassé).
Des facteurs externes peuvent-ils conduire à des conclusions contre-intuitives ?
Oui, par exemple, les utilisateurs qui cliquent avec rage peuvent mieux convertir que les utilisateurs qui ne cliquent pas avec rage. Pourquoi ? Les clics de rage indiquent une motivation d'achat, d'où les multiples tentatives. Mais bien sûr, ajouter des clics de rage au parcours des utilisateurs ne produira pas réellement des taux de conversion ou des revenus plus élevés.
Si le Segment B est plus performant que le Segment A, dois-je simplement appliquer la campagne d'acquisition du Segment B au Segment A pour augmenter la conversion ?
Peut-être que cela améliorera la performance, mais ne vous attendez pas à ce que le transfert de tous les utilisateurs du segment A sur la campagne du segment B entraîne des résultats paritaires. Pourquoi donc ? Et bien, parce que tous les utilisateurs du segment A qui ne convertissaient pas précédemment n'auraient pas forcément converti s'ils avaient été acquis via la campagne du segment B. (Pour éviter de générer des insights basés sur ce résultat irréaliste, le widget d'impact présente le gain ou la perte de revenu par session, et non la perte ou le gain total.)
Comment l'opportunité de revenus (revenus additionnels) est-elle calculée ?
L'opportunité de revenu est une estimation du revenu qui pourrait être généré si les utilisateurs du segment le moins performant convertissaient au même taux que le segment dont les performances sont supérieures. Ainsi, nous vous présentons un revenu projeté basé sur la différence du taux de conversion des deux segments et sur la valeur par conversion du segment qui a les meilleurs résultats.
Pour illustrer ceci, imaginez les scénarios suivants :
1. Vous comparez un Segment donné contre le segment par défaut "Toutes les autres sessions".
- Le Segment sélectionné présente de meilleurs résultats que "Toutes les autres sessions".
L'opportunité de revenu est calculée selon le trafic de votre Segment sélectionné, la différence de taux de conversion entre les sessions dans le segment par défaut ("Toutes les autres sessions") et les sessions du Segment sélectionné, par rapport au revenu du panier médian (ou du panier moyen, ou de la valeur personnalisée) généré par le Segment sélectionné qui performe le mieux.
Revenu additionnel (objectif e-commerce)
Revenu additionnel (objectif non e-commerce)
- Le Segment sélectionné est moins performant que le segment par défaut "Toutes les autres sessions".
L'opportunité de revenu est calculée selon le trafic de votre segment sélectionné, la différence de taux de conversion entre les sessions du segment par défaut ("Toutes les autres sessions") et celles du Segment sélectionné, en fonction du revenu du panier médian (ou du panier moyen, ou de la valeur personnalisée) généré par le segment par défaut dont les performances sont supérieures ("Toutes les autres sessions").
Revenu additionnel (objectif e-commerce)
Revenu additionnel (objectif non e-commerce)
2. Vous comparez un Segment A choisi contre un autre segment choisi : le Segment B
- Le Segment A a de meilleures performances que le Segment B.
L'opportunité de revenu est calculée selon le trafic du segment le moins performant (Segment B), la différence de taux de conversion entre les sessions du segment le moins performant (Segment B) et celles du segment le plus performant (Segment A), par rapport au revenu du panier médian (ou du panier moyen ou de la valeur personnalisée) généré par le segment sélectionné le plus performant (Segment A).
Revenu additionnel (objectif e-commerce)
Revenu additionnel (objectif non e-commerce)
- Le Segment A est moins performant que le Segment B.
L'opportunité de revenu est calculée selon le trafic du segment le moins performant (Segment A), la différence de taux de conversion entre les sessions du segment le moins performant (Segment A) et celles du segment le plus performant (Segment B), par rapport au revenu du panier médian (ou du panier moyen, ou de la valeur personnalisée) généré par le segment sélectionné le plus performant (Segment B).
Revenu additionnel (objectif e-commerce)
Revenu additionnel (objectif non e-commerce)
Comment les conversions manquées, les revenus manqués et les conversions additionnelles sont-ils définis et calculés ?
- Conversions manquées
Le nombre de conversions perdues en résultat des différences de taux de conversion (de l'objectif sélectionné) entre le segment A et le segment B, ou entre le segment sélectionné et toutes les autres sessions sur le(s) même(s) device(s).
Conversions manquées = Le trafic du SEGMENT N X (Taux de conversion du SEGMENT M - Taux de conversion du SEGMENT N)
SEGMENT M : le segment qui a le mieux converti
SEGMENT N : le segment qui a le moins converti
- Revenu manqué
Le résultat de la multiplication du nombre de conversions manquées (sur l'objectif sélectionné) avec la valeur par conversion du segment non problématique.
Revenu manqué (objectif e-commerce) = Le trafic du SEGMENT N X (Taux de conversion du SEGMENT M - Taux de conversion du SEGMENT N) X Panier médian (ou Panier moyen) du SEGMENT M
Revenu manqué (objectif non e-commerce) = Le trafic du SEGMENT N X (CR du SEGMENT M - CR du SEGMENT N) X Valeur personnalisée de l'objectif
SEGMENT M : le segment qui a le mieux converti
SEGMENT N : le segment qui a le moins converti
- Conversions additionnelles
Le nombre de conversions gagnées en résultat de la différence du taux de conversion (sur l'objectif sélectionné) entre le segment A et le segment B, ou entre le segment sélectionné et toutes les autres sessions sur le(s) même(s) device(s). Vous pouvez ajuster votre scénario d'amélioration pour estimer les conversions additionnelles.
Conversions additionnelles = Scénario d'amélioration (10% ou 25% ou 50% ou 100% ou pourcentage personnalisé) x Trafic du SEGMENT N X (Taux de conversion du SEGMENT M - Taux de conversion du SEGMENT N)
SEGMENT M : le segment qui a le mieux converti
SEGMENT N : le segment qui a le moins converti
Comment la signification statistique est-elle calculée ?
La signification statistique sert de métrique de confiance qu'on peut employer pour déterminer si une condition de segment est liée à une diminution des taux de conversion des utilisateurs.
Il est important de noter que nous ne pouvons évaluer que la corrélation entre l'erreur/le segment et la baisse de la conversion. En effet, nous ne pouvons pas prétendre mesurer la causalité, car il peut y avoir d'autres facteurs contribuant à l'échec de la conversion d'un utilisateur, en dehors de l'expérience d'une condition d'erreur/de segment.
Nos calculs de signification statistique sont basés sur le modèle statistique fréquentiste, qui utilisent notamment des tests-z. Ce modèle nous permet de tirer des conclusions significatives à l'aide de probabilités. Lorsque nous utilisons ce modèle, notre objectif est d'affirmer en toute confiance : "Nous sommes certains à x% que la différence observée n'est pas le résultat d'un simple hasard".
Notre niveau de confiance est défini sur 99%. Cela signifie que nous considérons un résultat de test statistiquement significatif uniquement s'il dépasse une valeur de 2,33, comme établi dans un tableau de distribution, communément appelé tableau z.
Chez Contentsquare, nos analyses opèrent avec un niveau de confiance de 99%. Ce qui signifie que :
- Nous avons 99% de chances d'identifier correctement l'hypothèse nulle comme fausse lorsqu'elle l'est effectivement, ce qui indique la présence de vraies différences ou variations.
- Il y a 1% de chances de conclure à tort que l'hypothèse nulle est fausse alors qu'elle ne l'est pas, ce qui conduit à des faux positifs.
Par exemple, si nous fixons le niveau de confiance à 95%, il y aura au moins 1 faux positif pour 20 erreurs ou opportunités (20 x 0,05 = 1). Toutefois, avec un niveau de confiance de 99%, nous ne prévoyons qu'un faux positif pour 100 erreurs ou opportunités (100 x 0,01 = 1).
Cette approche nous permet de trouver un équilibre entre la détection en toute confiance des vraies différences et la minimisation du risque de conclusions erronées.