Tamanho de Amostra para Testes A/B: Quanto Tráfego é Suficiente?
Uma forma prática de dimensionar testes de landing page e oferta por conversões, não por cliques, com uma regra de bolso que você pode aplicar sem nenhum pacote estatístico.
Por que cliques são a unidade errada
Um teste com 10.000 cliques por variante parece grande. Com uma taxa de conversão de 0,5%, isso representa 50 conversões por variante, e a diferença entre 45 e 55 conversões é basicamente ruído. O que determina se um resultado é real é o número de conversões e o tamanho da diferença que você quer detectar.
Uma regra prática que funciona
Para um teste A/B simples com um único objetivo, uma aproximação utilizável para as conversões necessárias por variante é:
conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)Isso corresponde ao nível usual de 95% de confiança e 80% de poder estatístico. Para taxas de conversão baixas, 1 − p é próximo de 1, então a fórmula se simplifica para 16 dividido pelo quadrado do lift:
| Lift a detectar | Conversões por variante |
|---|---|
| +50% | cerca de 64 |
| +30% | cerca de 180 |
| +20% | cerca de 400 |
| +10% | cerca de 1.600 |
A lição está no formato da tabela: reduzir o lift desejado pela metade quadruplica o tráfego necessário. Teste mudanças ousadas primeiro; ajustes pequenos exigem volumes que a maioria das campanhas jamais alcança.
Um exemplo prático
Uma landing page converte a 2% e você espera que um novo headline aumente isso em 30%. Você precisa de cerca de 180 conversões por variante, ou seja, aproximadamente 9.000 cliques por variante a 2%, totalizando 18.000. Com 3.000 cliques por dia, o teste leva seis dias. Se o orçamento permite apenas 1.000 cliques por dia, ou você roda o teste por quase três semanas ou testa uma mudança grande o suficiente para mostrar +50%.
Quando encerrar um teste
- Defina o tamanho com antecedência e encerre quando atingi-lo. Ficar verificando a cada hora e parar no primeiro dia positivo infla falsos vencedores.
- Rode semanas completas. O tráfego de domingo à noite não é o mesmo de terça ao meio-dia. Um teste com menos de sete dias está medindo o calendário.
- Encerre antecipadamente apenas em casos graves: uma variante com problema técnico, ou uma que perde tão feio que o custo não compensa a certeza.
Armadilhas que simulam um vencedor
- Tráfego desigual. Se uma variante recebeu mais tráfego mobile ou mais de um GEO específico, você comparou públicos, não páginas. Faça o split no link de rastreamento para que ambas as variantes compartilhem as mesmas fontes de tráfego e horários.
- Bots em uma variante. Uma enxurrada de cliques falsos reduz o CR de uma variante. Filtre o tráfego ruim antes que ele entre no teste e compare a proporção de cliques filtrados por variante.
- Contando a meta errada. Uma variante que gera mais leads de menor qualidade vence no CR e perde no payout. Compare o EPC ou a receita por clique quando a rede paga por qualidade.
- Muitas variantes ao mesmo tempo. Com cinco variantes, uma parecerá boa por acaso. Dimensione cada variante para a comparação ou teste duas por vez.
Experimente no seu próprio tráfego.
XPNSR Tracker: cliques ilimitados em todos os planos, 7 dias de trial nos planos Start e Pro.