Marketing / Pruebas
Calculadora de significación de pruebas A/B (valor p y tamaño de muestra)
Introduce los visitantes y las conversiones de las versiones A y B para comprobar si la diferencia es estadísticamente significativa, con el valor p, el cambio relativo, un intervalo de confianza para la diferencia y los visitantes que necesita cada grupo para detectar el incremento que te interesa.
Calculadora de significación de pruebas A/B (valor p y tamaño de muestra): Una prueba z de dos proporciones compara las tasas. Con 200 conversiones de 5,000 visitantes en A (4%) y 230 de 5,000 en B (4.6%), z = 1.48 y p = 0.139, por lo que el incremento del 15% no es significativo al 95%; la diferencia real podría estar entre −0.20 y +1.40 puntos porcentuales. Para detectar un incremento del 20% sobre una tasa del 4% se necesitan 10,317 visitantes por grupo con una potencia del 80%. Funciona al 100 % en tu navegador, sin subir archivos a ningún servidor.
- Se ejecuta
- En tu navegador
- Coste
- Gratis · sin registro
- Disponibilidad
- Lista para usar
Funciona por completo en tu navegador
La prueba compara las dos tasas de conversión mediante una prueba z para dos proporciones: si la variante no hubiera marcado ninguna diferencia, una diferencia de este tamaño aparecería con una probabilidad p. Un valor inferior a 0.05 es significativo con un 95% de confianza. Decide el tamaño de la muestra antes de empezar y no detengas la prueba en cuanto parezca significativa, ya que eso aumenta los falsos positivos. El intervalo muestra el rango plausible de la diferencia real.
Las fórmulas
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)) con la tasa combinada p̄; el intervalo usa el error estándar no combinado. El ejemplo coincide con statsmodels' proportions_ztest y confint_proportions_2indep.
Encuestas y sondeos
Para calcular el tamaño de una encuesta en función del margen de error en lugar de una prueba, usa la calculadora de tamaño de muestra.
Cómo se usa
- Introduce los visitantes y las conversiones de A y B.
- Elige el nivel de confianza.
- Consulta el resultado y comprueba el tamaño de muestra necesario para detectar el incremento que quieres medir.
Privacidad y límites
Todo se calcula en tu navegador.
Herramientas relacionadas
Preguntas frecuentes
¿Qué significa p = 0.139?
Si B realmente no fuera diferente de A, una diferencia al menos así de grande aparecería por azar aproximadamente el 14% de las veces; ocurre con demasiada frecuencia para descartar el azar.
¿Puedo detener la prueba en cuanto sea significativa?
No: comprobar repetidamente los resultados y detenerse ante el primer resultado significativo aumenta mucho la tasa de falsos positivos. Fija primero el tamaño de muestra o utiliza un método diseñado para la monitorización continua.
¿Por qué mi tamaño de muestra es tan grande?
Los incrementos pequeños sobre tasas de conversión bajas son difíciles de distinguir del ruido; reducir a la mitad el incremento que quieres detectar multiplica aproximadamente por cuatro los visitantes necesarios.
Herramienta gratuita · se ejecuta en tu navegador · sin cuenta