Розмір вибірки для спліт-тестів: скільки трафіку достатньо?

Чому кліки — це неправильна одиниця виміру

Тест із 10 000 кліків на варіант здається великим. При CR 0,5% це 50 конверсій на варіант, а різниця між 45 і 55 конверсіями — здебільшого шум. Те, чи є результат реальним, визначає кількість конверсій і розмір різниці, яку ви хочете виявити.

Практичне правило, яке працює

Для простого A/B-тесту з однією метою зручне наближення кількості конверсій, необхідних на варіант, таке:

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

Це відповідає стандартним 95% довірчого інтервалу та потужності 80%. Для низьких коефіцієнтів конверсії 1 − p близьке до 1, тому формула спрощується до 16, поділених на квадрат приросту:

Головний урок — у формі таблиці: якщо вдвічі зменшити бажаний приріст, потрібний трафік зростає вчетверо. Спочатку тестуйте сміливі зміни; дрібні правки потребують обсягів, яких більшість кампаній ніколи не досягає.

Розбір конкретного прикладу

Лендинг конвертує на рівні 2%, і ви розраховуєте, що новий заголовок підніме показник на 30%. Вам потрібно близько 180 конверсій на варіант — тобто приблизно 9 000 кліків на варіант при CR 2%, або 18 000 загалом. При 3 000 кліків на день тест триватиме шість днів. Якщо бюджет дозволяє лише 1 000 кліків на день — або запускайте тест майже на три тижні, або тестуйте зміну, достатньо велику, щоб показати +50%.

Коли зупиняти тест

• Визначте розмір заздалегідь і зупиніться, коли досягнете його. Якщо перевіряти результати щогодини й зупинятися в перший вдалий день — це штучно збільшує кількість хибних переможців.
• Запускайте тест на цілі тижні. Трафік у неділю вночі — це не трафік у вівторок опівдні. Тест коротший за сім днів вимірює календар, а не поведінку.
• Зупиняйтеся достроково лише в разі катастрофи: якщо варіант зламаний або програє настільки, що витрати не виправдовують отримання впевненості.

Пастки, що імітують переможця

• Нерівномірний трафік. Якщо один варіант отримав більше мобільного трафіку або більше одного GEO — ви порівнювали аудиторії, а не сторінки. Розподіляйте трафік на рівні трекінгового посилання, щоб обидва варіанти ділили одні джерела трафіку та години.
• Боти в одному варіанті. Сплеск фейкових кліків знижує CR одного варіанта. Фільтруйте поганий трафік до того, як він потрапить у тест, і порівнюйте частку відфільтрованих кліків по кожному варіанту.
• Відстеження неправильної цілі. Варіант, що отримує більше лідів нижчої якості, виграє за CR, але програє за виплатою. Порівнюйте EPC або дохід на клік, якщо мережа платить за якість.
• Багато варіантів одночасно. При п'яти варіантах один виглядатиме гарним просто випадково. Або розраховуйте розмір вибірки для кожного порівняння, або тестуйте по два варіанти за раз.