Marketing / Testiranje

Kalkulator statističke značajnosti A/B testa (p-vrednost i veličina uzorka)

Unesite broj posetilaca i konverzija za verzije A i B da biste videli da li je razlika statistički značajna, uz p-vrednost, relativnu promenu, interval poverenja za razliku i broj posetilaca koji je potreban svakoj grupi da otkrije povećanje koje želite da izmerite.

Kalkulator statističke značajnosti A/B testa (p-vrednost i veličina uzorka): Z-test za dve proporcije upoređuje stope. Sa 200 konverzija od 5,000 posetilaca u A (4%) i 230 od 5,000 u B (4.6%), z = 1.48, a p = 0.139, pa povećanje od 15% nije značajno na nivou od 95%; stvarna razlika može biti bilo gde između −0.20 i +1.40 procentnih poena. Za otkrivanje povećanja od 20% pri stopi od 4% potrebno je 10,317 posetilaca po grupi uz statističku snagu od 80%. Radi 100% lokalno u vašem pregledaču, bez otpremanja datoteka na server.

Kategorija
Alatke za poslovanje i administraciju
Pokretanja
U vašem pregledaču
Trošak
Besplatno · bez registracije
Dostupnost
Spremno za upotrebu
Kalkulator statističke značajnosti A/B testaLokalna obrada

U potpunosti radi u vašem pregledaču

RezultatNije statistički značajnop = 0,1392 uz pouzdanost od 95%
Stope konverzije4% → 4,6%relativna promena +15%
Razlika, interval od 95%-0,2% do 1,4%u procentnim poenima
Potreban broj posetilaca po grupi10.317za otkrivanje povećanja od {0%} uz statističku snagu od 80%

Test poredi dve stope konverzije pomoću z-testa za dve proporcije: da varijanta nije napravila razliku, razlika ove veličine pojavila bi se sa verovatnoćom p. Vrednost manja od 0.05 statistički je značajna uz pouzdanost od 95%. Odredite veličinu uzorka pre početka i ne prekidajte test čim izgleda značajno, jer to povećava broj lažno pozitivnih rezultata. Interval prikazuje verovatan raspon stvarne razlike.

Formule

z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)) sa objedinjenom stopom p̄, dok interval koristi neobjedinjenu standardnu grešku. Primer odgovara funkcijama statsmodels' proportions_ztest i confint_proportions_2indep.

Ankete i istraživanja javnog mnjenja

Da biste odredili veličinu uzorka za marginu greške, a ne za test, koristite kalkulator veličine uzorka.

Kako se koristi

  1. Unesite broj posetilaca i konverzija za A i B.
  2. Izaberite nivo poverenja.
  3. Pogledajte rezultat i proverite potrebnu veličinu uzorka za povećanje koje želite da otkrijete.

Privatnost i ograničenja

Sve se izračunava u vašem pregledaču.

Srodne alatke

Veličina uzorkaOglasne metrikeKalkulator statistike

Često postavljana pitanja

Šta znači p = 0.139?

Ako se B zaista ne bi razlikovao od A, razlika najmanje ovolika pojavila bi se slučajno u oko 14% slučajeva — prečesto da bismo isključili slučajnost.

Mogu li da prekinem test čim rezultat postane značajan?

Ne: učestalo proveravanje i prekidanje testa pri prvom značajnom rezultatu znatno povećavaju stopu lažno pozitivnih rezultata. Unapred odredite veličinu uzorka ili koristite metod namenjen neprekidnom praćenju.

Zašto je potrebna veličina mog uzorka toliko velika?

Mala povećanja kod niskih stopa konverzije teško je razlikovati od slučajnih oscilacija; ako prepolovite povećanje koje želite da otkrijete, broj potrebnih posetilaca približno će se učetvorostručiti.

Besplatan alat · pokretanja: u vašem pregledaču · nalog nije potreban