Split Test için Örneklem Büyüklüğü: Ne Kadar Trafik Yeterli?

Neden tıklama sayısı yanlış ölçüttür

Varyant başına 10.000 tıklamalı bir test büyük görünür. %0,5 dönüşüm oranında bu, varyant başına 50 dönüşüm demektir; 45 ile 55 dönüşüm arasındaki fark ise büyük ölçüde gürültüdür. Bir sonucun gerçek olup olmadığını belirleyen şey dönüşüm sayısı ve tespit etmek istediğiniz farkın büyüklüğüdür.

İşe yarayan pratik bir kural

Tek hedefli basit bir A/B testi için, varyant başına ihtiyaç duyduğunuz dönüşüm sayısına yönelik kullanışlı bir yaklaşım şudur:

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

Bu, standart %95 güven düzeyi ve %80 güce karşılık gelir. Düşük dönüşüm oranlarında 1 − p değeri 1'e yakın olduğundan formül 16'nın kaldıraç karesine bölünmesi şeklinde sadeleşir:

Tablonun şeklindeki ders şudur: görmek istediğiniz kaldıracı yarıya indirdiğinizde ihtiyaç duyduğunuz trafik dört katına çıkar. Önce cesur değişiklikleri test edin; küçük ince ayarlar, çoğu kampanyanın hiç ulaşamayacağı hacimlere ihtiyaç duyar.

Somut bir örnek

Bir landing page %2 oranında dönüşüm sağlıyor ve yeni bir başlığın bunu %30 artıracağını umuyorsunuz. Varyant başına yaklaşık 180 dönüşüme ihtiyacınız var; bu da %2 oranında varyant başına yaklaşık 9.000 tıklama, toplamda 18.000 tıklama demektir. Günde 3.000 tıklamayla test altı gün sürer. Bütçe yalnızca günde 1.000 tıklamaya izin veriyorsa ya testi neredeyse üç hafta boyunca çalıştırın ya da +%50 gösterecek kadar büyük bir değişikliği test edin.

Testi ne zaman durdurmak gerekir

• Boyutu önceden belirleyin ve hedefe ulaştığınızda durdurun. Her saat gözetleyip ilk iyi günde durdurmak sahte kazananların sayısını şişirir.
• Tam haftalar boyunca çalıştırın. Pazar gecesindeki trafik, Salı öğlesindeki trafik değildir. Yedi günden kısa bir test takvimi ölçer, kampanyayı değil.
• Yalnızca felaket durumlarında erken durdurun: bozuk olan bir varyant ya da o kadar kötü kaybeden bir varyant ki maliyeti kesinliğe değmez.

Sahte kazananlar yaratan tuzaklar

• Eşitsiz trafik. Bir varyant daha fazla mobil trafik veya belirli bir GEO'dan daha fazla trafik aldıysa, sayfaları değil kitleleri karşılaştırmış olursunuz. Her iki varyantın aynı trafik kaynağını ve saatleri paylaşması için bölmeyi takip linkinde yapın.
• Bir varyanttaki botlar. Sahte tıklama patlaması bir varyantın CR'ını düşürür. Kötü trafiği teste girmeden önce filtreleyin ve varyant başına filtrelenen tıklama oranını karşılaştırın.
• Yanlış hedefi saymak. Daha düşük kaliteli lead'ler getiren bir varyant CR'da kazanır ancak ödemede kaybeder. Ağ kaliteye göre ödeme yaptığında EPC'yi veya tıklama başına geliri karşılaştırın.
• Aynı anda çok fazla varyant. Beş varyantla birinin tesadüfen iyi görünmesi kaçınılmazdır. Ya her varyantı karşılaştırmaya yetecek boyuta getirin ya da ikişer ikişer test edin.