Tamaño de muestra para test A/B: ¿cuánto tráfico es suficiente?

Por qué los clics son la unidad equivocada

Un test con 10,000 clics por variante suena grande. Con una tasa de conversión del 0.5% son 50 conversiones por variante, y la diferencia entre 45 y 55 conversiones es sobre todo ruido. Lo que decide si un resultado es real es el número de conversiones y el tamaño de la diferencia que quieres detectar.

Una regla práctica que funciona

Para un test A/B simple con un solo objetivo, una aproximación útil de las conversiones que necesitas por variante es:

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

Esto corresponde a la confianza habitual del 95% y una potencia del 80%. Para tasas de conversión bajas, 1 − p está cerca de 1, así que la fórmula se simplifica a 16 dividido entre el lift al cuadrado:

La lección está en la forma de la tabla: reducir a la mitad el lift que quieres ver cuadruplica el tráfico que necesitas. Prueba primero cambios atrevidos; los ajustes pequeños necesitan volúmenes que la mayoría de campañas nunca alcanza.

Un ejemplo trabajado

Una landing convierte al 2% y esperas que un nuevo titular la suba un 30%. Necesitas unas 180 conversiones por variante, es decir, unos 9,000 clics por variante al 2%, 18,000 en total. Con 3,000 clics al día, el test tarda seis días. Si el presupuesto solo permite 1,000 clics al día, o lo corres durante casi tres semanas, o pruebas un cambio lo bastante grande como para mostrar +50%.

Cuándo detener un test

• Decide el tamaño de antemano y detente cuando lo alcances. Mirar cada hora y parar en el primer buen día infla falsos ganadores.
• Corre semanas completas. El tráfico de la noche del domingo no es el tráfico del martes al mediodía. Un test más corto de siete días mide el calendario, no la oferta.
• Detente antes del tiempo solo ante desastres: una variante que está rota, o una que pierde tan mal que el coste no compensa la certeza.

Trampas que simulan un ganador

• Tráfico desigual. Si una variante recibió más móvil o más de un GEO, comparaste audiencias, no páginas. Divide en el enlace de tracking para que ambas variantes compartan fuentes y horarios.
• Bots en una variante. Una ráfaga de clics falsos baja el CR de una variante. Filtra el tráfico malo antes de que entre en el test, y compara el porcentaje de clics filtrados por variante.
• Contar el objetivo equivocado. Una variante que consigue más leads de menor calidad gana en CR y pierde en pago. Compara el EPC o los ingresos por clic cuando la red paga por calidad.
• Muchas variantes a la vez. Con cinco variantes, una parecerá buena por azar. Dimensiona cada variante para la comparación o prueba de dos en dos.