Визначення ботів для медіабаєрів: технічний вступ

Скільки коштують вам боти

Кожен бот-клік коштує двічі: спочатку ви за нього платите, а потім він спотворює цифри, на основі яких ви оптимізуєте. Джерело, яке нібито конвертує на рівні 0,5%, може насправді давати 1% конверсії на живому трафіку — і ви вимикаєте його з хибної причини.

Види бот-трафіку

• Прості скрипти звертаються до URL відстеження через HTTP-бібліотеку. Їх легко виявити.
• Headless-браузери на кшталт Puppeteer або Playwright запускають справжній рушій браузера й виконують JavaScript.
• Трафік із дата-центрів і проксі надходить із хмарних серверів, VPN або Tor, а не з домашніх чи мобільних підключень.
• Residential-проксі пропускають ботів через реальні домашні IP-адреси, що саме по собі нівелює перевірку за IP.
• Ревʼюери та краулери рекламних мереж і пошукових систем — це не фрод, але їм не варто показувати все.

Сигнали, які їх видають

IP-розвідка

Діапазони дата-центрів (AWS, Google Cloud, Oracle, DigitalOcean та інші), відомі VPN- і проксі-мережі, а також вихідні вузли Tor. Реальні покупці з мобільних або домашніх підключень рідко приходять звідти.

TLS-відбитки

До будь-якого HTTP-обміну TLS-рукостискання клієнта розкриває, яке програмне забезпечення насправді використовується. Відбитки JA3 та JA4 дозволяють трекеру побачити, коли щось, що видає себе за Chrome на iPhone, насправді є Python-скриптом.

Поведінка

Час на лендингу, чи перейшов відвідувач до оферу, і як швидко надходять кліки з одного джерела трафіку. Люди повільніші й менш регулярні, ніж автоматизовані системи.

Верифікація краулерів

User agent, що вказує на Googlebot, нічого не доводить. Зворотний і прямий DNS-запит за IP — доводить.

Як XPNSR Tracker їх використовує

• Кожен клік оцінюється за IP-розвідкою, user agent, відбитками JA3/JA4 та поведінкою — і ви самі вирішуєте, чи блокувати позначені кліки, чи перенаправляти їх.
• Списки дата-центрів і вихідних вузлів Tor оновлюються автоматично кожні 6 годин; ви можете додавати власні чорні списки IP та ботів.
• Клоакінг направляє верифікованих краулерів, ревʼюерів і ботів на безпечну сторінку, тоді як живі відвідувачі бачать офер, а причина фіксується в лозі кожного кліку.
• Лог кліків показує вердикт, ISP, прапорець проксі та час на лендингу для кожного кліку — так ви можете перевірити будь-яке джерело трафіку.

Що можна зробити вже сьогодні

1. Відфільтруйте лог кліків за джерелом трафіку й подивіться, скільки кліків позначено як боти, проксі або трафік із дата-центрів по кожному розміщенню.
2. Додайте до чорного списку майданчики, що надсилають переважно датацентровий або позначений трафік, і запросіть у мережі повернення коштів, додавши лог кліків як доказ.
3. Порівняйте конверсії на трафіку лише від реальних користувачів, перш ніж відключати майданчик.