Stichprobengröße für Split-Tests: Wie viel Traffic reicht?

Warum Klicks die falsche Einheit sind

Ein Test mit 10.000 Klicks pro Variante klingt nach viel. Bei einer Conversion-Rate von 0,5% sind das 50 Conversions pro Variante, und der Unterschied zwischen 45 und 55 Conversions ist größtenteils Rauschen. Was darüber entscheidet, ob ein Ergebnis echt ist, sind die Anzahl der Conversions und die Größe des Unterschieds, den du erkennen willst.

Eine Faustregel, die funktioniert

Für einen einfachen A/B-Test mit einem Ziel ist eine brauchbare Näherung für die Conversions, die du pro Variante brauchst:

conversions per variant ≈ 16 × (1 − p) / (d²)
p = baseline conversion rate (for example 0.02)
d = relative lift you want to detect (for example 0.20 for +20%)

Das entspricht dem üblichen 95%-Konfidenzniveau und 80% Power. Bei niedrigen Conversion-Rates liegt 1 − p nahe bei 1, also vereinfacht sich die Formel zu 16 geteilt durch das Quadrat des Lifts:

Die Lektion steckt in der Form der Tabelle: Halbierst du den Lift, den du sehen willst, vervierfacht sich der Traffic, den du brauchst. Teste zuerst mutige Änderungen; kleine Anpassungen brauchen Volumen, das die meisten Kampagnen nie erreichen.

Ein Beispiel durchgerechnet

Eine Landingpage konvertiert bei 2%, und du hoffst, dass eine neue Headline sie um 30% steigert. Du brauchst etwa 180 Conversions pro Variante, also rund 9.000 Klicks pro Variante bei 2%, insgesamt 18.000. Bei 3.000 Klicks am Tag dauert der Test sechs Tage. Wenn das Budget nur 1.000 Klicks am Tag erlaubt, läuft der Test entweder fast drei Wochen, oder du testest eine Änderung, die groß genug ist, um +50% zu zeigen.

Wann du einen Test stoppst

• Lege die Größe vorher fest und stoppe, wenn du sie erreichst. Stündliches Nachschauen und Stoppen beim ersten guten Tag bläht falsche Gewinner auf.
• Lass ganze Wochen laufen. Traffic am Sonntagabend ist nicht Traffic am Dienstagmittag. Ein Test unter sieben Tagen misst den Kalender.
• Stoppe früh nur bei Katastrophen: eine Variante, die kaputt ist, oder eine, die so stark verliert, dass sich die Kosten gegenüber der Sicherheit nicht lohnen.

Fallen, die einen Gewinner vortäuschen

• Ungleicher Traffic. Hat eine Variante mehr Mobile oder mehr von einem GEO abbekommen, hast du Zielgruppen verglichen, nicht Seiten. Splitte am Tracking-Link, damit beide Varianten dieselben Quellen und Uhrzeiten teilen.
• Bots in einer Variante. Ein Schwall gefälschter Klicks drückt die CR einer Variante nach unten. Filtere schlechten Traffic, bevor er in den Test gelangt, und vergleiche den Anteil gefilterter Klicks je Variante.
• Das falsche Ziel zählen. Eine Variante mit mehr, aber schlechteren Leads gewinnt bei der CR und verliert bei der Auszahlung. Vergleiche EPC oder Umsatz pro Klick, wenn das Netzwerk nach Qualität zahlt.
• Viele Varianten gleichzeitig. Bei fünf Varianten sieht eine zufällig gut aus. Dimensioniere entweder jede Variante für den Vergleich oder teste immer nur zwei gegeneinander.