Dimensione del Campione per gli Split Test: Quanto Traffico È Sufficiente?

Perché i click sono l'unità sbagliata

Un test con 10.000 click per variante sembra grande. Con un tasso di conversione dello 0,5% sono 50 conversioni per variante, e la differenza tra 45 e 55 conversioni è per lo più rumore statistico. Ciò che determina se un risultato è reale è il numero di conversioni e l'entità della differenza che vuoi rilevare.

Una regola pratica che funziona

Per un semplice A/B test con un solo obiettivo, un'approssimazione utilizzabile per le conversioni necessarie per variante è:

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

Questo corrisponde alla consueta confidenza al 95% e potenza all'80%. Per tassi di conversione bassi, 1 − p è vicino a 1, quindi la formula si semplifica in 16 diviso per il quadrato del lift:

La lezione sta nella forma della tabella: dimezzare il lift che vuoi rilevare quadruplica il traffico necessario. Testa prima i cambiamenti audaci; le piccole modifiche richiedono volumi che la maggior parte delle campagne non raggiunge mai.

Un esempio concreto

Una landing page converte al 2% e speri che un nuovo headline la alzi del 30%. Ti servono circa 180 conversioni per variante, quindi all'incirca 9.000 click per variante al 2%, 18.000 in totale. Con 3.000 click al giorno il test dura sei giorni. Se il budget consente solo 1.000 click al giorno, o lo esegui per quasi tre settimane oppure testa un cambiamento abbastanza grande da mostrare +50%.

Quando interrompere un test

• Decidi la dimensione in anticipo e fermati quando la raggiungi. Controllare ogni ora e fermarsi al primo giorno positivo gonfia i falsi vincitori.
• Esegui settimane intere. Il traffico domenica sera non è il traffico martedì a mezzogiorno. Un test più breve di sette giorni misura il calendario.
• Fermati in anticipo solo per i disastri: una variante che non funziona, o una che perde così tanto che il costo non vale la certezza.

Le trappole che falsano il vincitore

• Traffico non uniforme. Se una variante ha ricevuto più traffico mobile o più di un GEO, hai confrontato audience, non pagine. Dividi a livello di link di tracciamento così entrambe le varianti condividono le stesse sorgenti di traffico e gli stessi orari.
• Bot in una variante. Un'ondata di click falsi abbassa il CR di una variante. Filtra il traffico non valido prima che entri nel test e confronta la quota di click filtrati per variante.
• Obiettivo sbagliato. Una variante che ottiene più lead di qualità inferiore vince sul CR e perde sul payout. Confronta l'EPC o il ricavo per click quando la rete paga in base alla qualità.
• Troppe varianti contemporaneamente. Con cinque varianti, una sembrerà buona per caso. Dimensiona ogni variante per il confronto oppure testa due varianti alla volta.