A/B-тестирование Push и Native: практический фреймворк

Почему push и native требуют дисциплины

Push и native трафик дёшев за клик и непредсказуем по площадкам. Лендинг, который «побеждает» после 300 кликов, часто проигрывает после 3 000. Большинство плохих решений в этих вертикалях — от того, что тест остановили слишком рано или поменяли сразу несколько параметров.

Что тестировать в первую очередь

Тестируйте изменение с наибольшим ожидаемым эффектом, по одному за раз:

1. Оффер. Два оффера на одном лендинге могут отличаться по EPC в 2–3 раза.
2. Угол подачи лендинга. Квиз против статьи против прямого оффера, а не цвет кнопки.
3. Прелендинг. Нужен ли он вообще и какой длины.
4. Детали. Заголовки, картинки и призывы к действию — когда крупные решения уже приняты.

Как проводить тест

В XPNSR Tracker сплит-тест привязан к кампании. Выберите, что сравниваете (лендинги, офферы или весь путь), добавьте варианты и задайте сплит — 50/50 или 70/30, если хотите защитить проверенный контроль.

• Привязывайте посетителей. Включите эту опцию, чтобы вернувшийся посетитель всегда видел один и тот же вариант, иначе один человек засчитывается в обоих.
• Держите остальное неизменным. Одинаковые GEO, источники, ставки и расписание для всех вариантов на весь тест.
• Сначала фильтруйте ботов. Клики ботов никогда не конвертятся и размывают каждый вариант — запускайте антифрод до того, как смотреть результаты.

Сколько данных достаточно

Смотрите на конверсии, а не на клики. Как правило, нужно минимум 100 конверсий на вариант, прежде чем доверять разнице в 20–30%. Для меньших различий нужно гораздо больше данных. Трекер показывает статистическую значимость для каждого теста — дождитесь, пока он скажет, что результат значим, вместо того чтобы оценивать CR на глаз.

После теста

Направьте весь трафик на победителя, заархивируйте проигравший вариант и запишите, что вы узнали. Затем тестируйте следующий пункт из списка. Если не хотите запускать каждый сплит вручную, оптимизатор на тарифе Pro и выше автоматически смещает вес потоков в сторону более результативных связок, а правила автоматизации могут ставить на паузу варианты, которые падают ниже порога ROI.