Pemasaran / Pengujian

Kalkulator Signifikansi A/B Test (p-Value dan Ukuran Sampel)

Masukkan jumlah pengunjung dan konversi untuk versi A dan B untuk mengetahui apakah perbedaannya signifikan secara statistik, lengkap dengan p-value, perubahan relatif, interval kepercayaan untuk perbedaan, serta jumlah pengunjung yang dibutuhkan tiap grup untuk mendeteksi kenaikan yang Anda inginkan.

Kalkulator Signifikansi A/B Test (p-Value dan Ukuran Sampel): Uji z dua proporsi membandingkan kedua tingkat konversi. Dengan 200 konversi dari 5,000 pengunjung di A (4%) dan 230 dari 5,000 di B (4.6%), z = 1.48 dan p = 0.139, sehingga kenaikan 15% tidak signifikan pada tingkat 95%; perbedaan sebenarnya dapat berada di mana saja antara −0.20 hingga +1.40 poin persentase. Untuk mendeteksi kenaikan 20% pada tingkat 4%, diperlukan 10,317 pengunjung per grup dengan power 80%. Berjalan 100% lokal di browser Anda tanpa upload file ke server.

Kategori
Tool bisnis & administrasi
Dijalankan
Di browser Anda
Biaya
Gratis · tanpa daftar
Ketersediaan
Siap digunakan
Kalkulator signifikansi pengujian A/BPemrosesan lokal

Berjalan sepenuhnya di browser Anda

HasilTidak signifikanp = 0,1392 dengan tingkat keyakinan 95%
Rasio konversi4% → 4,6%perubahan relatif +15%
Perbedaan, interval 95%-0,2% hingga 1,4%dalam poin persentase
Pengunjung yang diperlukan per grup10.317untuk mendeteksi kenaikan 20% dengan power 80%

Pengujian ini membandingkan dua rasio konversi dengan z-test dua proporsi: jika varian tidak memberikan perbedaan, selisih sebesar ini akan muncul dengan probabilitas p. Nilai di bawah 0.05 signifikan pada tingkat keyakinan 95%. Tentukan ukuran sampel sebelum memulai dan jangan menghentikan pengujian segera setelah hasilnya tampak signifikan karena hal ini meningkatkan false positive. Interval menunjukkan rentang yang masuk akal untuk perbedaan sebenarnya.

Rumus

z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)) dengan tingkat gabungan p̄, sedangkan interval menggunakan standard error yang tidak digabungkan. Contoh ini sesuai dengan proportions_ztest dan confint_proportions_2indep dari statsmodels.

Survei dan jajak pendapat

Untuk menentukan ukuran survei berdasarkan margin of error, bukan berdasarkan pengujian, gunakan kalkulator ukuran sampel.

Cara menggunakannya

  1. Masukkan jumlah pengunjung dan konversi untuk A dan B.
  2. Pilih tingkat kepercayaan.
  3. Baca hasilnya, lalu periksa ukuran sampel yang dibutuhkan untuk mendeteksi kenaikan yang Anda inginkan.

Privasi & batasan

Semua perhitungan dilakukan di browser Anda.

Alat terkait

Ukuran SampelMetrik iklanKalkulator Statistik

Pertanyaan umum

Apa arti p = 0.139?

Jika B sebenarnya tidak berbeda dari A, selisih setidaknya sebesar ini akan muncul sekitar 14% dari waktu ke waktu hanya karena kebetulan—terlalu sering untuk mengesampingkan kemungkinan kebetulan.

Bolehkah saya menghentikan test segera setelah hasilnya signifikan?

Tidak: memeriksa hasil berulang kali dan menghentikan test saat pertama kali signifikan akan sangat meningkatkan tingkat false positive. Tetapkan ukuran sampel terlebih dahulu, atau gunakan metode yang dirancang untuk pemantauan berkelanjutan.

Mengapa ukuran sampel saya sangat besar?

Kenaikan kecil pada tingkat konversi yang rendah sulit dibedakan dari noise; membagi dua kenaikan yang ingin dideteksi kira-kira akan melipatgandakan empat kali jumlah pengunjung yang dibutuhkan.

Alat gratis · berjalan di browser anda · tanpa perlu akun