マーケティング / テスト
A/Bテスト有意差計算ツール（p値とサンプルサイズ）
バージョンAとバージョンBの訪問者数とコンバージョン数を入力すると、差が統計的に有意かどうかを、p値、相対変化、差の信頼区間、確認したいリフトの検出に各グループが必要とする訪問者数とともに確認できます。
A/Bテスト有意差計算ツール（p値とサンプルサイズ）: 2つの比率のz検定で比率を比較します。Aが5,000人の訪問者中200件のコンバージョン（4%）、Bが5,000人中230件（4.6%）の場合、z = 1.48、p = 0.139となります。このため、15%のリフトは95%水準では有意ではなく、真の差は−0.20から+1.40パーセントポイントの範囲にある可能性があります。4%の比率で20%のリフトを検出するには、検出力80%で各グループに10,317人の訪問者が必要です。 サーバーへのファイルアップロードは一切なく、100%ブラウザ内でローカル実行します。
- カテゴリ
- ビジネス・事務ツール
- 実行回数
- ブラウザ内で
- コスト
- 無料 · 登録不要
- 提供状況
- すぐに使えます
完全にブラウザ内で実行します
このテストでは、2つのコンバージョン率を2標本比率z検定で比較します。バリアントに差がなかった場合、これほど大きな差が現れる確率がpです。0.05未満は95%の信頼度で有意です。開始前にサンプルサイズを決め、有意に見えた時点ですぐにテストを止めないでください。そうすると偽陽性が増えます。この区間は真の差が取り得る範囲を示します。
数式
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B))はプール率p̄を用いたもので、区間にはプールしない標準誤差を使います。この例はstatsmodelsのproportions_ztestおよびconfint_proportions_2indepと一致します。
アンケートと世論調査
検定ではなく誤差の範囲を基準にアンケートのサンプルサイズを決める場合は、サンプルサイズ計算ツールを使用してください。
使い方
- AとBの訪問者数とコンバージョン数を入力します。
- 信頼水準を選択します。
- 結果を確認し、検出したいリフトに必要なサンプルサイズを確認します。
プライバシーと制限事項
すべての計算はブラウザ内で行われます。
関連ツール
よくある質問
p = 0.139は何を意味しますか？
Bが実際にはAと違わない場合でも、これほど大きな差が偶然生じる確率は約14%です。偶然ではないと判断するには高すぎる確率です。
有意になったらすぐにテストを停止してもよいですか？
いいえ。何度も確認して最初に有意になった時点で停止すると、偽陽性率が大幅に上がります。先にサンプルサイズを固定するか、継続的なモニタリング用に設計された手法を使用してください。
サンプルサイズがとても大きいのはなぜですか？
コンバージョン率が低い場合、小さなリフトはノイズとの見分けがつきにくくなります。検出したいリフトを半分にすると、必要な訪問者数はおおよそ4倍になります。
無料ツール · ブラウザ内で · アカウント不要