Le Mode Pilote Automatique

Qu’est ce que le Mode Pilote Automatique ?

Le Mode Pilote Automatique est une fonctionnalité conçue pour maximiser la valeur de la variation la plus performante de votre expérience. Habituellement, un AB test consiste en une allocation de trafic fixe comme indiqué ci-dessous :

Une fois que vous avez les résultats et  que vous savez quelle est la variation la plus performante, vous dirigez tout votre trafic vers celle-ci. Cependant, en fonction de votre trafic et de votre niveau de représentativité statistique, un AB test peut prendre plusieurs semaines. Dans la configuration ci-dessus, pendant la durée de l’expérience, vous détournez une grande partie de clients potentiels vers une variation moins optimale.

Exploration vs Exploitation

En statistiques, ceci est connu sous le nom de dilemme entre Exploration et Exploitation. Dans le cas d’un AB test, la phase d’exploration consiste à tester des variations afin de déterminer lesquelles donnent le meilleur taux de conversion, tandis que la phase d’exploitation consiste à adopter la variation la plus performante et à en récolter les fruits…

Avant l’arrivée du Mode Pilote Automatique, vos tests passaient d’une phase d’exploration à une phase d’exploitation, ce qui signifie que pendant le test, vous n’aviez aucune possibilité de tirer profit des résultats. Cependant, alors que les résultats initiaux peuvent indiquer que B est la meilleure variation, vous devez quand même tester A jusqu’à ce que vous obteniez un échantillon suffisamment grand pour être sûr des résultats.

Laissez le Mode Pilote Automatique gérer les résultats pour vous

Le Mode Pilote Automatique évalue en permanence la variation la plus performante de votre test et lui attribue un pourcentage de trafic plus élevé. Cela facilite le processus d’optimisation et, ce faisant, vous permet de maximiser les conversions tout en effectuant des tests.

Si, au cours de la semaine 1, la variation A est plus performante, le pilote automatique augmentera progressivement le trafic vers A. Si, au cours de la semaine 2, la variation B affiche un meilleur taux de conversion, le trafic sera alors progressivement réattribué à cette variation. En approchant la fin de l’expérience, la 4e semaine par exemple, la variation gagnante aura eu la majorité du trafic pour le test de 4 semaines – et vous n’aurez rien eu à faire ni à changer !