Résultat anormal

Qu’est-ce que la notification de Résultat anormal ?

La notification de Résultat anormal se déclenche en cas de changement soudain du taux de conversion enregistré dans une expérience. Le critère exact est le suivant :

Si le taux de conversion maximal de la journée a augmenté ou diminué de plus de 25% par rapport au taux de conversion maximal de la journée précédente. 

Vous serez averti par e-mail et par un message sur la plateforme elle-même si cela se produit.

Que dois-je faire?

Si un Résultat anormal est observé, il est fort probable qu’un facteur extérieur à votre expérience affecte vos résultats. Celui-ci pourrait avoir un impact positif, comme une meilleure visibilité de votre site et l’amélioration de votre taux de conversion grâce au lancement d’une campagne Adwords par exemple. Mais il peut aussi avoir un impact négatif, tel que le dysfonctionnement de certaines fonctionnalités de votre site, le rendant donc inaccessible.

Vous devriez visiter votre site et simuler plusieurs parcours utilisateurs afin de voir s’il y a des problèmes qui pourraient causer un changement soudain dans les conversions enregistrées.

Vous devriez également vérifier vos données anaytics (dans Google Analytics ou dans l’analytics que vous utilisez) afin de vérifier s’il y a des changements soudains dans votre trafic qui pourraient donc affecter les résultats de vos tests.

Pourquoi je devrais m’en préoccuper ?

Si vous recevez une notification de Résultat anormal à la suite d’une augmentation soudaine du taux de conversion d’une de vos variations, vous pourriez être tenté de l’ignorer car l’augmentation du nombre de conversions est en effet le but du jeu. Cependant, dans le contexte d’un test spécifique que vous avez mis en place, le changement lié à un facteur extérieur, non lié au test lui-même, rendra difficile de confirmer ou de rejeter votre hypothèse de test.

Par conséquent, vous pourriez conclure à tort qu’une variation entraîne un meilleur taux de conversion lorsque les résultats ont été injustement biaisés par un facteur extérieur.