营销 / 测试
A/B测试显著性计算器（p值和样本量）
输入版本A和版本B的访客数与转化数，查看差异是否具有统计显著性、p值、相对变化、差异的置信区间，以及检测目标提升幅度所需的每组访客数。
A/B测试显著性计算器（p值和样本量）: 双比例z检验会比较两组的转化率。A组有5,000名访客，其中200人转化（4%）；B组有5,000名访客，其中230人转化（4.6%），此时z = 1.48，p = 0.139，因此15%的提升在95%置信水平下不具有统计显著性；真实差异可能在−0.20到+1.40个百分点之间。在4%的转化率下检测20%的提升，需要每组10,317名访客，并达到80%的统计功效。 完全在浏览器中本地运行，文件不会上传到服务器。
- 类别
- 商务与管理工具
- 使用次数
- 在浏览器中
- 费用
- 免费·无需注册
- 可用性
- 可直接使用
完全在浏览器中运行
该测试使用双比例z检验比较两个转化率：如果变体没有造成差异，那么出现如此大差距的概率为p。p低于0.05表示在95%置信度下具有显著差异。请在开始前确定样本量，不要因为结果看起来显著就立即停止测试，否则会增加假阳性。区间显示真实差异的合理范围。
公式
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B))，其中使用合并比例p̄，区间则使用未合并标准误。示例与statsmodels的proportions_ztest和confint_proportions_2indep一致。
调查和民意调查
如果要根据误差范围而不是检验来确定调查样本量，请使用样本量计算器。
使用方法
- 输入A和B的访客数与转化数。
- 选择置信水平。
- 查看结果，并检查检测目标提升幅度所需的样本量。
隐私与限制
所有计算都在你的浏览器中完成。
相关工具
常见问题
p = 0.139意味着什么？
如果B确实与A没有差异，至少这么大的差距因偶然出现的概率约为14%，这个概率太高，无法排除偶然因素。
测试结果一显示显著，我就可以停止测试吗？
不可以：反复检查并在首次出现显著结果时停止，会大幅提高假阳性率。请先确定样本量，或使用专为持续监测设计的方法。
为什么我的样本量这么大？
在较低的转化率下，较小的提升幅度很难与噪声区分；将目标检测的提升幅度减半，所需访客数大致会增加到4倍。
免费工具·使用在浏览器中次·无需账户