Marketing / Test
Calcolatore della significatività del test A/B (p-value e dimensione del campione)
Inserisci i visitatori e le conversioni della versione A e della versione B per verificare se la differenza è statisticamente significativa, con p-value, variazione relativa, intervallo di confidenza della differenza e numero di visitatori necessari per ciascun gruppo per rilevare l'incremento che ti interessa.
Calcolatore della significatività del test A/B (p-value e dimensione del campione): Un test z per due proporzioni confronta i tassi. Con 200 conversioni su 5.000 visitatori in A (4%) e 230 su 5.000 in B (4,6%), z = 1,48 e p = 0,139: quindi l'incremento del 15% non è significativo al 95%; la differenza reale potrebbe essere compresa tra −0,20 e +1,40 punti percentuali. Per rilevare un incremento del 20% su un tasso del 4% servono 10.317 visitatori per gruppo con una potenza dell'80%. Funziona al 100% localmente nel browser, senza caricare file sul server.
- Esecuzioni
- Nel browser
- Costo
- Gratuito · senza registrazione
- Disponibilità
- Pronto all'uso
Funziona interamente nel browser
Il test confronta i due tassi di conversione con un test z per due proporzioni: se la variante non avesse prodotto alcuna differenza, uno scarto di questa entità si verificherebbe con probabilità p. Un valore inferiore a 0,05 è significativo con una confidenza del 95%. Decidi la dimensione del campione prima di iniziare e non interrompere il test non appena sembra significativo, perché aumenteresti i falsi positivi. L'intervallo mostra l'intervallo plausibile della differenza reale.
Le formule
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)) con il tasso aggregato p̄; l’intervallo usa l’errore standard non aggregato. L’esempio corrisponde a proportions_ztest e confint_proportions_2indep di statsmodels.
Sondaggi e indagini
Per calcolare la dimensione di un sondaggio in base al margine di errore anziché a un test, usa il calcolatore della dimensione del campione.
Come usarlo
- Inserisci i visitatori e le conversioni di A e B.
- Scegli il livello di confidenza.
- Leggi il risultato e verifica la dimensione del campione necessaria per rilevare l'incremento desiderato.
Privacy e limitazioni
Tutto viene calcolato nel tuo browser.
Strumenti correlati
Domande frequenti
Cosa significa p = 0,139?
Se B fosse davvero uguale ad A, una differenza almeno così grande si verificherebbe casualmente circa il 14% delle volte: troppo spesso per escludere il caso.
Posso interrompere il test non appena il risultato è significativo?
No: controllare ripetutamente il risultato e interrompere il test al primo risultato significativo aumenta notevolmente il tasso di falsi positivi. Fissa prima la dimensione del campione oppure usa un metodo progettato per il monitoraggio continuo.
Perché la dimensione del mio campione è così grande?
Gli incrementi ridotti su tassi di conversione bassi sono difficili da distinguere dal rumore; dimezzare l'incremento che vuoi rilevare fa aumentare all'incirca di quattro volte il numero di visitatori necessari.
Strumento gratuito · nel browser esecuzioni · senza account