Pourquoi faut-il attendre d’avoir des résultats fiables ?

Après lancé une expérience, la page de résultats (image ci-dessous) vous indiquera les informations suivantes :

– la date de début de votre expérience

– le nombre de visiteurs

– la phase dans laquelle se trouve votre expérience

Au démarrage d’une expérience il vous sera indiqué «Warm-up» pour la phase, accompagné d’une courte explication comme indiqué ci-dessous.

Si vous observez qu’une variation de votre test obtient un taux de conversion très élevé pendant plusieurs jours consécutifs, vous devriez toujours attendre la durée indiquée sur la page de résultats de votre expérience, comme indiqué sur l’image ci-dessous.

Convertize calculera la durée nécessaire pour obtenir des résultats statistiquement significatifs, donc fiables en fonction de votre trafic et du niveau de représentativité statistique. Si vous décidez de mettre en œuvre la variation la plus performante avant que les résultats n’aient été confirmés comme statistiquement significatifs, cette décision pourrait ne pas être la bonne car basée sur des informations incorrectes.

La représentativité statistique, c’est quoi ?

Pour comprendre cette mesure, nous devons comprendre comment les statistiques sont utilisées pour tirer des conclusions des tests. Lorsque un utilisateur lance un AB test, Convertize reçoit des données de tous les visiteurs de votre site. Nous utilisons ensuite cette information pour confirmer ou rejeter notre hypothèse sur tous les futurs visiteurs.

Imaginons que nous lançons un test avec l’hypothèse suivante : Avoir un plus gros bouton « Acheter maintenant » augmentera mon taux de conversion. Nous utilisons ensuite notre échantillon (tous les visiteurs pendant la durée du test) pour déterminer si un plus gros bouton « Acheter maintenant » augmentera les conversions.

Parce qu’une hypothèse est une déduction logique, elle est susceptible d’erreur. Dans le graphique ci-dessous, la probabilité d’erreur est représentée par les sections grisées. Si vous constatez un résultat inattendu comme par exemple : un plus gros bouton “Acheter maintenant” entraîne un taux de conversion plus faible, il y a des chances que ce résultat se trouve en dehors du niveau de représentativité statistique de 85%.

Mais si vous ajustez le niveau de représentativité statistique à 95%, norme généralement acceptée pour la représentativité statistique, la probabilité d’un résultat incorrect est réduite lorsque la durée de l’expérience augmente.

J’ai reçu une recommandation intelligente (Smart Recommendation), que dois-je faire ?

Si Convertize détecte qu’il y a eu peu de changement entre les première et deuxième variations les plus performantes du classement pendant une période déterminée, il est fort probable que le gagnant actuel se révélera être statistiquement significatif.

Pour cette raison, la plateforme vous recommandera de l’implémenter plutôt que d’attendre la fin de l’expérience. Ceci est conçu pour vous faire gagner du temps. Toutefois, vous pouvez choisir d’ignorer cette recommandation intelligente et d’attendre que la plateforme confirme qu’un résultat statistiquement significatif ait été atteint.