حجم العيّنة لاختبارات التقسيم: ما القدر الكافي من الزيارات؟

لماذا النقرات وحدة قياس خاطئة

اختبار بـ10,000 نقرة لكل نسخة يبدو كبيرًا. عند نسبة تحويل 0.5% يعني ذلك 50 تحويلًا لكل نسخة، والفرق بين 45 و55 تحويلًا هو في معظمه تشويش. ما يحدد ما إذا كانت النتيجة حقيقية هو عدد التحويلات وحجم الفرق الذي تريد رصده.

قاعدة عملية تنفع

لاختبار A/B بسيط بهدف واحد، يمكن تقدير عدد التحويلات التي تحتاجها لكل نسخة تقريبًا كالتالي:

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

يقابل هذا مستوى الثقة المعتاد 95% وقوة اختبار 80%. عند معدلات التحويل المنخفضة، تكون 1 − p قريبة من 1، فتبسّط الصيغة إلى 16 مقسومة على مربع نسبة الارتفاع:

الدرس يكمن في شكل الجدول: تنصيف نسبة الارتفاع التي تريد رصدها يُضاعف حجم الزيارات المطلوبة أربع مرات. اختبر التغييرات الجريئة أولًا؛ فالتعديلات الصغيرة تحتاج أحجامًا لا تصلها معظم الحملات أبدًا.

مثال تطبيقي

صفحة هبوط تحوّل بنسبة 2% وتأمل أن يرفعها عنوان جديد بنسبة 30%. تحتاج إلى نحو 180 تحويلًا لكل نسخة، أي نحو 9,000 نقرة لكل نسخة عند نسبة 2%، أي 18,000 نقرة إجمالًا. بمعدل 3,000 نقرة يوميًا يستغرق الاختبار ستة أيام. إذا كانت الميزانية تسمح فقط بـ1,000 نقرة يوميًا، فإما أن تُشغّله لقرابة ثلاثة أسابيع أو تختبر تغييرًا كبيرًا بما يكفي لإظهار +50%.

متى توقف الاختبار

• حدّد الحجم مسبقًا وتوقف عند بلوغه. فإلقاء نظرة كل ساعة والتوقف عند أول يوم جيد يُضخّم الفائزين الزائفين.
• شغّل الاختبار لأسابيع كاملة. فالزيارات مساء الأحد ليست كزيارات ظهر الثلاثاء. الاختبار الأقصر من سبعة أيام يقيس التقويم لا الأداء.
• لا توقف مبكرًا إلا في الكوارث: نسخة معطوبة، أو نسخة تخسر بشدة لدرجة أن التكلفة لا تستحق اليقين.

فخاخ تُظهر فائزًا وهميًا

• توزيع غير متكافئ للزيارات. إذا حصل أحد المتغيّرين على زيارات جوال أكثر أو حصة أكبر من دولة معيّنة، فأنت قارنت بين جمهورين لا صفحتين. وزّع الزيارات من رابط التتبّع نفسه ليتشارك المتغيّران المصادر والساعات ذاتها.
• بوتات في أحد المتغيّرين. دفعة من النقرات المزيّفة تخفض نسبة التحويل لمتغيّر واحد. صفّ الزيارات الرديئة قبل دخولها الاختبار، وقارن نسبة النقرات المُصفّاة لكل متغيّر.
• احتساب الهدف الخاطئ. المتغيّر الذي يحقق عملاء محتملين أكثر لكن بجودة أقل يفوز في CR ويخسر في العائد. قارن EPC أو الإيراد لكل نقرة عندما تدفع الشبكة حسب الجودة.
• اختبار متغيّرات كثيرة دفعة واحدة. مع خمسة متغيّرات، سيبدو أحدها جيدًا بمحض الصدفة. إمّا أن تحدد حجم كل متغيّر بما يناسب المقارنة، أو تختبر اثنين فقط في كل مرة.