Wielkość próby w split testach: ile ruchu wystarczy?

Dlaczego kliknięcia to zła jednostka miary

Test z 10 000 kliknięć na wariant brzmi imponująco. Przy współczynniku konwersji 0,5% to 50 konwersji na wariant, a różnica między 45 a 55 konwersjami to w większości szum. O tym, czy wynik jest prawdziwy, decyduje liczba konwersji i wielkość różnicy, którą chcesz wykryć.

Praktyczna reguła, która działa

Dla prostego testu A/B z jednym celem użyteczne przybliżenie liczby konwersji potrzebnych na wariant wynosi:

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

Odpowiada to standardowemu poziomowi ufności 95% i mocy 80%. Przy niskich współczynnikach konwersji 1 − p jest bliskie 1, więc wzór upraszcza się do 16 podzielonego przez kwadrat liftu:

Wniosek tkwi w kształcie tabeli: zmniejszenie liftu o połowę czterokrotnie zwiększa potrzebny ruch. Najpierw testuj odważne zmiany – drobne poprawki wymagają wolumenów, których większość kampanii nigdy nie osiąga.

Przykład z obliczeniami

Landing page konwertuje na poziomie 2% i liczysz, że nowy nagłówek podniesie go o 30%. Potrzebujesz około 180 konwersji na wariant, czyli mniej więcej 9 000 kliknięć na wariant przy 2% CR – łącznie 18 000. Przy 3 000 kliknięć dziennie test trwa sześć dni. Jeśli budżet pozwala tylko na 1 000 kliknięć dziennie, albo prowadź go przez prawie trzy tygodnie, albo testuj zmianę na tyle dużą, żeby pokazała +50%.

Kiedy zatrzymać test

• Zdecyduj z góry o wielkości próby i zatrzymaj test, gdy ją osiągniesz. Zaglądanie co godzinę i kończenie po pierwszym dobrym dniu zawyża liczbę fałszywych zwycięzców.
• Testuj pełne tygodnie. Ruch w niedzielę wieczorem to nie to samo co ruch we wtorek w południe. Test krótszy niż siedem dni mierzy kalendarz, nie strony.
• Przerywaj wcześnie tylko w przypadku katastrofy: wariant, który jest zepsuty, albo taki, który przegrywa tak bardzo, że koszt testu nie jest wart pewności wyniku.

Pułapki, które fałszują zwycięzcę

• Nierówny ruch. Jeśli jeden wariant dostał więcej ruchu mobilnego lub więcej z jednego GEO, porównałeś grupy odbiorców, a nie strony. Dziel ruch na poziomie linku śledzącego, żeby oba warianty współdzieliły źródła ruchu i godziny.
• Boty w jednym wariancie. Nagły napływ fałszywych kliknięć obniża CR jednego wariantu. Filtruj zły ruch, zanim trafi do testu, i porównuj udział odfiltrowanych kliknięć w każdym wariancie.
• Mierzenie złego celu. Wariant, który generuje więcej leadów niższej jakości, wygrywa pod względem CR, ale przegrywa na wypłacie. Porównuj EPC lub przychód na kliknięcie, gdy sieć płaci za jakość.
• Zbyt wiele wariantów naraz. Przy pięciu wariantach jeden będzie wyglądał dobrze przez przypadek. Albo dobierz wielkość próby osobno dla każdego porównania, albo testuj dwa warianty na raz.