行銷 / 測試
A/B 測試顯著性計算機（p值與樣本數）
輸入版本A和版本B的訪客數與轉換數，查看差異是否具統計顯著性，包括p值、相對變化、差異的信賴區間，以及各組為偵測所關心提升幅度所需的訪客數。
A/B 測試顯著性計算機（p值與樣本數）: 兩比例z檢定會比較轉換率。A組有5,000位訪客，其中200次轉換（4%）；B組同樣有5,000位訪客，其中230次轉換（4.6%）。此時z = 1.48、p = 0.139，因此15%的提升幅度在95%信心水準下並不具統計顯著性；真實差異可能介於−0.20至+1.40個百分點之間。若要在4%的轉換率上偵測20%的提升幅度，在80%的檢定力下，每組需要10,317位訪客。 全程在瀏覽器中於本機執行，檔案不會上傳至伺服器。
- 分類
- 商務與行政工具
- 使用次數
- 在瀏覽器中
- 費用
- 免費・免註冊
- 可用狀態
- 可立即使用
全程在瀏覽器中執行
此測試使用雙比例z檢定比較兩個轉換率：如果變體沒有造成差異，出現這麼大差距的機率為p。低於0.05代表在95%信賴度下具顯著性。請在開始前決定樣本數，不要一看到結果顯著就停止測試，否則會增加偽陽性。區間顯示真實差異可能落在的範圍。
公式
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B))，其中p̄為合併比例；區間則使用未合併的標準誤。這個範例與statsmodels'的proportions_ztest和confint_proportions_2indep結果一致。
問卷與民調
如果要根據誤差幅度而非測試來決定問卷樣本數，請使用樣本數計算機。
使用方式
- 輸入A和B的訪客數與轉換數。
- 選擇信賴水準。
- 查看結果，並確認偵測所需提升幅度的樣本數。
隱私與限制
所有計算都在您的瀏覽器中完成。
相關工具
常見問題
p = 0.139代表什麼？
如果B實際上與A沒有差異，那麼至少這麼大的差距，約有14%的機會會因隨機因素出現；這個機率太高，無法排除只是巧合。
可以在結果達到顯著性後立刻停止測試嗎？
不行：反覆檢查並在第一次出現顯著結果時停止，會大幅提高偽陽性率。請先固定樣本數，或使用專為持續監測設計的方法。
為什麼我的樣本數這麼大？
在轉換率偏低時，小幅提升很難與隨機雜訊區分；如果要偵測的提升幅度減半，所需訪客數大約會增加至四倍。
免費工具・使用在瀏覽器中次・免註冊