Детекция ботов для байеров: технический ликбез

IP-данные, TLS-отпечатки и поведение: как работает фильтрация ботов и как не дать фейковым кликам испортить вашу статистику.

Во что вам обходятся боты

Каждый клик бота стоит денег дважды: сначала вы платите за него, а потом он искажает цифры, на которые вы ориентируетесь при оптимизации. Площадка, у которой CR якобы 0,5%, на реальном трафике может давать 1%, и вы отключаете её по ошибке.

Виды ботового трафика

Простые скрипты обращаются к трекинговой ссылке через HTTP-библиотеку. Их легко поймать.
Headless-браузеры, такие как Puppeteer или Playwright, запускают настоящий движок браузера и выполняют JavaScript.
Датацентровый и проксированный трафик идёт с облачных серверов, VPN или Tor, а не с домашних или мобильных подключений.
Резидентные прокси пускают ботов через настоящие домашние IP, что само по себе обходит проверку IP.
Ревьюеры и краулеры рекламных сетей и поисковиков — это не фрод, но им не стоит видеть всё подряд.

Сигналы, которые их выдают

Анализ IP

Датацентровые диапазоны (AWS, Google Cloud, Oracle, DigitalOcean и другие), известные VPN- и прокси-сети, выходные узлы Tor. Реальные посетители с мобильных и домашних подключений оттуда почти не приходят.

TLS-отпечатки

Ещё до обмена HTTP-данными TLS-рукопожатие клиента показывает, что это за софт на самом деле. Отпечатки JA3 и JA4 позволяют трекеру понять, что «Chrome на iPhone» на самом деле — Python-скрипт.

Поведение

Время на лендинге, перешёл ли посетитель на оффер, и с какой скоростью приходят клики из одного источника. Человек ведёт себя медленнее и менее равномерно, чем автоматика.

Проверка краулеров

User agent с «Googlebot» ничего не доказывает. А обратный и прямой DNS-запрос по IP — доказывает.

Как это использует XPNSR Tracker

Каждый клик проверяется по базе IP, user agent, отпечаткам JA3/JA4 и поведению, а вы сами решаете — блокировать подозрительные клики или перенаправлять их.
Списки датацентров и выходных узлов Tor обновляются автоматически каждые 6 часов; вы можете добавить свои чёрные списки IP и ботов.
Клоакинг отправляет проверенных краулеров, ревьюеров и ботов на безопасную страницу, пока живые посетители видят оффер, а причина фиксируется в логе каждого клика.
Clicks Log показывает вердикт, провайдера, флаг прокси и время на лендинге по каждому клику — вы можете проверить любой источник.

Что можно сделать прямо сейчас

Отфильтруйте журнал кликов по источнику трафика и посмотрите, сколько кликов по каждой площадке помечены как боты, прокси или дата-центр.
Внесите в чёрный список площадки, которые шлют в основном трафик с дата-центров или с пометками фрода, и запросите у партнёрки возврат, приложив журнал кликов как доказательство.
Прежде чем отключать площадку, сравните CR только на трафике от живых людей.