Маркетинг / Тестирование
Калькулятор статистической значимости A/B-теста (p-значение и размер выборки)
Введите число посетителей и конверсий для версии A и версии B, чтобы проверить статистическую значимость разницы: p-значение, относительное изменение, доверительный интервал разницы и число посетителей, необходимое каждой группе для выявления нужного прироста.
Калькулятор статистической значимости A/B-теста (p-значение и размер выборки): Z-тест для двух пропорций сравнивает показатели. При 200 конверсиях из 5,000 посетителей в A (4%) и 230 из 5,000 в B (4.6%) получаем z = 1.48 и p = 0.139, поэтому прирост на 15% статистически незначим при уровне доверия 95%; истинная разница может находиться в диапазоне от −0.20 до +1.40 процентного пункта. Чтобы выявить прирост на 20% при показателе 4%, требуется 10,317 посетителей в каждой группе при мощности 80%. Работает на 100% локально в вашем браузере, файлы на сервер не загружаются.
- Запуски
- В вашем браузере
- Стоимость
- Бесплатно · без регистрации
- Доступность
- Готово к использованию
Полностью работает в браузере
Тест сравнивает два коэффициента конверсии с помощью z-теста для двух пропорций: если вариант не повлиял на результат, разница такого размера появилась бы с вероятностью p. Значение ниже 0.05 считается значимым при доверительном уровне 95%. Определите размер выборки до начала теста и не прекращайте его, как только результат покажется значимым: это увеличивает число ложноположительных результатов. Интервал показывает правдоподобный диапазон истинной разницы.
Формулы
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)), где p̄ — объединённая доля, а в интервале используется стандартная ошибка без объединения. Пример соответствует proportions_ztest и confint_proportions_2indep из statsmodels.
Опросы и голосования
Чтобы рассчитать размер выборки для заданной погрешности, а не для теста, воспользуйтесь калькулятором размера выборки.
Как пользоваться
- Введите число посетителей и конверсий для A и B.
- Выберите уровень доверия.
- Изучите результат и проверьте размер выборки, необходимый для выявления нужного прироста.
Конфиденциальность и ограничения
Все вычисления выполняются в вашем браузере.
Похожие инструменты
Часто задаваемые вопросы
Что означает p = 0.139?
Если B на самом деле не отличается от A, разница как минимум такого размера возникала бы случайно примерно в 14% случаев — этого слишком часто, чтобы исключить случайность.
Можно ли остановить тест сразу после достижения статистической значимости?
Нет: многократная проверка и остановка при первом значимом результате значительно повышают частоту ложноположительных результатов. Сначала зафиксируйте размер выборки или используйте метод, предназначенный для непрерывного мониторинга.
Почему мой размер выборки такой большой?
Небольшой прирост при низких показателях конверсии трудно отличить от шума: если сократить обнаруживаемый прирост вдвое, нужное число посетителей увеличится примерно в 4 раза.
Бесплатный инструмент · запусков: в вашем браузере · аккаунт не нужен