Marketing / Testen
Signifikanzrechner für A/B-Tests (p-Wert und Stichprobengröße)
Gib die Besucher und Conversions für Version A und Version B ein, um zu sehen, ob der Unterschied statistisch signifikant ist – mit p-Wert, relativer Änderung, Konfidenzintervall für den Unterschied und der benötigten Besucherzahl pro Gruppe, um die gewünschte Steigerung zu erkennen.
Signifikanzrechner für A/B-Tests (p-Wert und Stichprobengröße): Ein z-Test für zwei Anteile vergleicht die Quoten. Bei 200 Conversions von 5.000 Besuchern in A (4 %) und 230 von 5.000 in B (4,6 %) gilt z = 1,48 und p = 0,139. Die Steigerung von 15 % ist bei 95 % daher nicht signifikant; der tatsächliche Unterschied könnte zwischen −0,20 und +1,40 Prozentpunkten liegen. Um eine Steigerung von 20 % bei einer Quote von 4 % zu erkennen, sind bei einer Teststärke von 80 % 10.317 Besucher pro Gruppe erforderlich. Läuft zu 100% lokal in deinem Browser, ohne Datei-Uploads zum Server.
- Ausführungen
- In deinem Browser
- Kosten
- Kostenlos · ohne Anmeldung
- Verfügbarkeit
- Einsatzbereit
Läuft vollständig in deinem Browser
Der Test vergleicht die beiden Conversion-Raten mit einem z-Test für zwei Anteile: Wenn die Variante keinen Unterschied bewirkt hätte, würde eine ebenso große Abweichung mit der Wahrscheinlichkeit p auftreten. Ein Wert unter 0.05 ist bei 95% Konfidenz signifikant. Lege die Stichprobengröße vor dem Start fest und beende den Test nicht, sobald er signifikant aussieht, da dies die Zahl falsch positiver Ergebnisse erhöht. Das Intervall zeigt den plausiblen Bereich der tatsächlichen Differenz.
Die Formeln
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)) mit der gepoolten Rate p̄; für das Intervall wird der ungepoolte Standardfehler verwendet. Das Beispiel stimmt mit statsmodels' proportions_ztest und confint_proportions_2indep überein.
Umfragen und Befragungen
Um den Stichprobenumfang einer Umfrage anhand der Fehlerspanne statt für einen Test zu bestimmen, verwende den Stichprobenumfang-Rechner.
So benutzt du es
- Gib die Besucher und Conversions für A und B ein.
- Wähle das Konfidenzniveau.
- Lies das Ergebnis ab und prüfe die benötigte Stichprobengröße für die Steigerung, die du erkennen möchtest.
Datenschutz & Einschränkungen
Alles wird in deinem Browser berechnet.
Ähnliche Tools
Häufige Fragen
Was bedeutet p = 0,139?
Wenn B tatsächlich keinen Unterschied zu A aufweisen würde, würde ein mindestens so großer Abstand zufällig in etwa 14 % der Fälle auftreten – zu häufig, um den Zufall auszuschließen.
Kann ich den Test beenden, sobald er signifikant ist?
Nein: Wenn du wiederholt prüfst und beim ersten signifikanten Ergebnis stoppst, steigt die Falsch-Positiv-Rate deutlich. Lege zuerst die Stichprobengröße fest oder verwende eine Methode, die für die fortlaufende Überwachung entwickelt wurde.
Warum ist meine Stichprobengröße so groß?
Kleine Steigerungen bei niedrigen Conversion-Raten sind schwer vom Zufall zu unterscheiden. Wenn du die gewünschte Steigerung halbierst, vervierfacht sich die benötigte Besucherzahl ungefähr.
Kostenloses Tool · läuft in deinem browser · kein Konto nötig