Размер выборки для сплит-тестов: сколько трафика достаточно?

Почему клики — не та единица измерения

Сплит-тест с 10 000 кликов на вариант звучит внушительно. При CR 0,5% это всего 50 конверсий на вариант, а разница между 45 и 55 конверсиями — в основном шум. Достоверность результата определяет количество конверсий и размер разницы, которую вы хотите обнаружить.

Эмпирическое правило, которое работает

Для простого сплит-теста с одной целью рабочее приближение для нужного числа конверсий на вариант такое:

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

Это соответствует стандартным 95% доверительному интервалу и 80% мощности теста. При низких CR 1 − p близко к 1, поэтому формула упрощается до 16, делённых на квадрат лифта:

Вывод виден по форме таблицы: если вы хотите увидеть вдвое меньший лифт, трафика нужно в четыре раза больше. Сначала тестируйте смелые изменения — для мелких правок нужны объёмы, которых большинство кампаний никогда не достигает.

Разбор примера

Лендинг конвертит на 2%, и вы надеетесь, что новый заголовок поднимет CR на 30%. Вам нужно около 180 конверсий на вариант, то есть примерно 9 000 кликов на вариант при CR 2%, всего 18 000. При 3 000 кликов в день тест займёт шесть дней. Если бюджет позволяет только 1 000 кликов в день, придётся либо гонять тест почти три недели, либо тестировать изменение, достаточно сильное, чтобы показать +50%.

Когда останавливать тест

• Определите размер выборки заранее и останавливайте тест, когда достигнете его. Если подглядывать каждый час и останавливаться на первом удачном дне, вы получите ложных победителей.
• Гоняйте тест целыми неделями. Трафик в воскресенье ночью — не тот же трафик, что во вторник днём. Тест короче семи дней измеряет календарь, а не результат.
• Останавливайте тест раньше срока только в катастрофических случаях: когда вариант сломан или проигрывает настолько сильно, что цена уверенности не стоит того.

Ловушки, которые имитируют победителя

• Неравный трафик. Если один вариант получил больше мобильного трафика или больше одного GEO, вы сравнили аудитории, а не страницы. Разделяйте трафик на уровне трекинговой ссылки, чтобы оба варианта получали одни источники и время.
• Боты в одном варианте. Всплеск фейковых кликов снижает CR одного варианта. Отфильтровывайте плохой трафик до того, как он попадёт в тест, и сравнивайте долю отфильтрованных кликов по каждому варианту.
• Неверная цель для подсчёта. Вариант, который приносит больше лидов низкого качества, выигрывает по CR и проигрывает по выплате. Сравнивайте EPC или доход с клика, когда партнёрка платит за качество.
• Много вариантов сразу. При пяти вариантах один случайно покажет хороший результат. Либо рассчитывайте размер выборки под сравнение всех вариантов, либо тестируйте по два за раз.