Pazarlama / Test etme
A/B Testi Anlamlılık Hesaplayıcısı (p-Değeri ve Örneklem Büyüklüğü)
İstatistiksel anlamlılığı görmek için A ve B sürümlerinin ziyaretçi ve dönüşüm sayılarını girin. p-değerini, göreli değişimi, fark için güven aralığını ve önem verdiğiniz artışı tespit etmek için her grubun ihtiyaç duyduğu ziyaretçi sayısını inceleyin.
A/B Testi Anlamlılık Hesaplayıcısı (p-Değeri ve Örneklem Büyüklüğü): İki oranlı z-testi, oranları karşılaştırır. A'da 5.000 ziyaretçiden 200 dönüşüm (%4) ve B'de 5.000 ziyaretçiden 230 dönüşüm (%4,6) olduğunda z = 1,48 ve p = 0,139 olur. Bu nedenle %15'lik artış, %95 güven düzeyinde anlamlı değildir; gerçek fark −0,20 ile +1,40 yüzde puanı arasında herhangi bir değer olabilir. %4'lük bir oranda %20'lik artışı tespit etmek için %80 güç düzeyinde grup başına 10.317 ziyaretçi gerekir. Sunucuya hiçbir dosya yüklenmeden tarayıcınızda %100 yerel olarak çalışır.
- Kategori
- İş ve yönetim araçları
- Çalıştırma sayısı
- Tarayıcınızda
- Maliyet
- Ücretsiz · kayıt gerekmez
- Kullanılabilirlik
- Kullanıma hazır
Tamamen tarayıcınızda çalışır
Test, iki dönüşüm oranını iki oranlı z-testiyle karşılaştırır: varyant hiçbir fark yaratmasaydı, bu kadar büyük bir fark p olasılığıyla ortaya çıkardı. 0,05'in altı, %95 güven düzeyinde anlamlıdır. Başlamadan önce örneklem boyutuna karar verin ve anlamlı görünür görünmez testi durdurmayın; bu, yanlış pozitif sonuçları artırır. Aralık, gerçek farkın makul aralığını gösterir.
Formüller
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)); burada birleştirilmiş oran p̄ kullanılır ve aralıkta birleştirilmemiş standart hata kullanılır. Örnek, statsmodels'ın proportions_ztest ve confint_proportions_2indep işlevleriyle eşleşir.
Anketler ve kamuoyu yoklamaları
Bir test yerine hata payına göre anket boyutunu belirlemek için örneklem büyüklüğü hesaplayıcısını kullanın.
Nasıl kullanılır?
- A ve B için ziyaretçi ve dönüşüm sayılarını girin.
- Güven düzeyini seçin.
- Sonucu inceleyin ve tespit etmek istediğiniz artış için gereken örneklem büyüklüğünü kontrol edin.
Gizlilik ve sınırlamalar
Her şey tarayıcıda hesaplanır.
İlgili araçlar
Sık sorulan sorular
p = 0,139 ne anlama gelir?
B gerçekten A'dan farklı olmasaydı, en az bu kadar büyük bir farkın tesadüfen ortaya çıkma olasılığı yaklaşık %14 olurdu; bu oran, şansı dışlamak için fazlasıyla yüksektir.
Testi anlamlı olur olmaz durdurabilir miyim?
Hayır: tekrar tekrar kontrol etmek ve ilk anlamlı sonuçta durmak, yanlış pozitif oranını büyük ölçüde artırır. Önce örneklem büyüklüğünü belirleyin veya sürekli izleme için tasarlanmış bir yöntem kullanın.
Örneklem büyüklüğüm neden bu kadar büyük?
Düşük dönüşüm oranlarındaki küçük artışları gürültüden ayırt etmek zordur; tespit etmek istediğiniz artışı yarıya indirmek, gereken ziyaretçi sayısını yaklaşık dört katına çıkarır.
Ücretsiz araç · tarayıcınızda kez çalıştırma · hesap gerekmez