Taille d'échantillon pour les tests A/B : combien de trafic faut-il ?

Pourquoi les clics sont la mauvaise unité

Un test avec 10 000 clics par variante paraît conséquent. À un taux de conversion de 0,5 %, cela représente 50 conversions par variante, et la différence entre 45 et 55 conversions relève surtout du bruit. Ce qui détermine si un résultat est réel, c’est le nombre de conversions et l’ampleur de la différence que vous voulez détecter.

Une règle empirique qui fonctionne

Pour un test A/B simple avec un seul objectif, une approximation utilisable du nombre de conversions nécessaires par variante est :

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

Cela correspond à l’habituel seuil de confiance de 95 % et à une puissance de 80 %. Pour des taux de conversion faibles, 1 − p est proche de 1, donc la formule se simplifie en 16 divisé par le carré du lift :

La leçon est dans la forme du tableau : diviser par deux le lift que vous voulez observer quadruple le trafic nécessaire. Testez d’abord des changements radicaux ; les petits ajustements nécessitent des volumes que la plupart des campagnes n’atteignent jamais.

Un exemple concret

Une landing page convertit à 2 % et vous espérez qu’un nouveau titre l’améliore de 30 %. Il vous faut environ 180 conversions par variante, soit environ 9 000 clics par variante à 2 %, 18 000 au total. À 3 000 clics par jour, le test prend six jours. Si le budget ne permet que 1 000 clics par jour, il faut soit le faire tourner pendant près de trois semaines, soit tester un changement suffisamment important pour montrer +50 %.

Quand arrêter un test

• Décidez la taille à l’avance et arrêtez-vous une fois atteinte. Surveiller toutes les heures et s’arrêter au premier bon jour gonfle les faux gagnants.
• Faites tourner des semaines complètes. Le trafic du dimanche soir n’est pas le trafic du mardi midi. Un test de moins de sept jours mesure le calendrier.
• Arrêtez tôt uniquement en cas de désastre : une variante cassée, ou une qui perd si largement que le coût ne vaut pas la certitude.

Les pièges qui simulent un gagnant

• Trafic inégal. Si une variante a reçu plus de mobile ou plus d’un GEO, vous avez comparé des audiences, pas des pages. Répartissez au niveau du lien de tracking pour que les deux variantes partagent sources et horaires.
• Des bots dans une variante. Une vague de faux clics fait baisser le CR d’une variante. Filtrez le mauvais trafic avant qu’il n’entre dans le test, et comparez la part de clics filtrés par variante.
• Compter le mauvais objectif. Une variante qui génère plus de leads de moindre qualité gagne sur le CR et perd sur le paiement. Comparez l’EPC ou le revenu par clic quand le réseau paie selon la qualité.
• Trop de variantes à la fois. Avec cinq variantes, l’une d’elles paraîtra bonne par hasard. Dimensionnez chaque variante pour la comparaison, ou testez-en deux à la fois.