Marketing / Testes
Calculadora de significância de teste A/B (p-valor e tamanho da amostra)
Insira os visitantes e as conversões da versão A e da versão B para saber se a diferença é estatisticamente significativa, com o p-valor, a mudança relativa, um intervalo de confiança para a diferença e o número de visitantes que cada grupo precisa para detectar o aumento desejado.
Calculadora de significância de teste A/B (p-valor e tamanho da amostra): Um teste z para duas proporções compara as taxas. Com 200 conversões de 5.000 visitantes em A (4%) e 230 de 5.000 em B (4,6%), z = 1.48 e p = 0.139; portanto, o aumento de 15% não é significativo a 95%. A diferença verdadeira poderia estar em qualquer ponto entre −0.20 e +1.40 pontos percentuais. Para detectar um aumento de 20% em uma taxa de 4%, são necessários 10.317 visitantes por grupo, com poder estatístico de 80%. Roda 100% localmente no seu navegador, sem enviar nenhum arquivo para o servidor.
- Execuções
- No seu navegador
- Custo
- Grátis · sem cadastro
- Disponibilidade
- Pronto para usar
Roda inteiramente no seu navegador
O teste compara as duas taxas de conversão com um teste z de duas proporções: se a variante não tivesse causado nenhuma diferença, uma diferença desse tamanho apareceria com probabilidade p. Um valor abaixo de 0.05 é significativo com 95% de confiança. Defina o tamanho da amostra antes de começar e não encerre o teste assim que ele parecer significativo, pois isso aumenta os falsos positivos. O intervalo mostra a faixa plausível da diferença real.
As fórmulas
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)) com a taxa combinada p̄, e o intervalo usa o erro-padrão não combinado. O exemplo corresponde a proportions_ztest e confint_proportions_2indep do statsmodels.
Pesquisas e enquetes
Para dimensionar uma pesquisa com base na margem de erro, em vez de um teste, use a calculadora de tamanho da amostra.
Como usar
- Insira os visitantes e as conversões de A e B.
- Escolha o nível de confiança.
- Leia o resultado e confira o tamanho da amostra necessário para o aumento que você deseja detectar.
Privacidade e limitações
Tudo é calculado no seu navegador.
Ferramentas relacionadas
Perguntas frequentes
O que significa p = 0.139?
Se B realmente não fosse diferente de A, uma diferença pelo menos tão grande quanto essa apareceria cerca de 14% das vezes por acaso — frequência alta demais para descartar o acaso.
Posso interromper o teste assim que ele for significativo?
Não: verificar repetidamente e interromper no primeiro resultado significativo aumenta muito a taxa de falsos positivos. Defina primeiro o tamanho da amostra ou use um método desenvolvido para monitoramento contínuo.
Por que o tamanho da minha amostra é tão grande?
Aumentos pequenos em taxas de conversão baixas são difíceis de distinguir do ruído; reduzir pela metade o aumento que você quer detectar multiplica aproximadamente por quatro o número de visitantes necessários.
Ferramenta grátis · no seu navegador execuções · não precisa de conta