Tiếp thị / Kiểm thử
Máy tính ý nghĩa thống kê kiểm thử A/B (giá trị p và cỡ mẫu)
Nhập số khách truy cập và số lượt chuyển đổi của phiên bản A và B để xem chênh lệch có ý nghĩa thống kê hay không, cùng giá trị p, mức thay đổi tương đối, khoảng tin cậy của chênh lệch và số khách truy cập mỗi nhóm cần có để phát hiện mức tăng bạn quan tâm.
Máy tính ý nghĩa thống kê kiểm thử A/B (giá trị p và cỡ mẫu): Kiểm định z cho hai tỷ lệ so sánh các tỷ lệ. Với 200 lượt chuyển đổi trên 5.000 khách truy cập ở A (4%) và 230 trên 5.000 ở B (4,6%), z = 1,48 và p = 0,139, nên mức tăng 15% không có ý nghĩa thống kê ở mức 95%; chênh lệch thực tế có thể nằm trong khoảng từ −0,20 đến +1,40 điểm phần trăm. Để phát hiện mức tăng 20% trên tỷ lệ 4%, cần 10.317 khách truy cập cho mỗi nhóm với lực kiểm định 80%. Chạy 100% cục bộ trong trình duyệt của bạn, không có tệp nào được tải lên máy chủ.
- Danh mục
- Công cụ kinh doanh và hành chính
- Lượt chạy
- Trong trình duyệt của bạn
- Chi phí
- Miễn phí · không cần đăng ký
- Trạng thái khả dụng
- Sẵn sàng sử dụng
Chạy hoàn toàn trong trình duyệt của bạn
Kiểm thử này so sánh hai tỷ lệ chuyển đổi bằng kiểm định z cho hai tỷ lệ: nếu biến thể không tạo ra khác biệt, một khoảng cách lớn như vậy sẽ xuất hiện với xác suất p. Giá trị dưới 0,05 có ý nghĩa thống kê với độ tin cậy 95%. Hãy xác định cỡ mẫu trước khi bắt đầu và không dừng kiểm thử ngay khi kết quả có vẻ có ý nghĩa, vì điều đó làm tăng số dương tính giả. Khoảng này cho biết phạm vi hợp lý của chênh lệch thực.
Các công thức
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)) với tỷ lệ gộp p̄, còn khoảng tin cậy sử dụng sai số chuẩn không gộp. Ví dụ này khớp với proportions_ztest và confint_proportions_2indep của statsmodels.
Khảo sát và thăm dò ý kiến
Để xác định cỡ mẫu cho khảo sát theo sai số biên thay vì kiểm định, hãy dùng máy tính cỡ mẫu.
Cách sử dụng
- Nhập số khách truy cập và số lượt chuyển đổi của A và B.
- Chọn mức độ tin cậy.
- Đọc kết quả và kiểm tra cỡ mẫu cần thiết để phát hiện mức tăng bạn muốn xác định.
Quyền riêng tư và giới hạn
Mọi phép tính đều được thực hiện trong trình duyệt của bạn.
Công cụ liên quan
Câu hỏi thường gặp
p = 0,139 có nghĩa là gì?
Nếu B thực sự không khác A, một chênh lệch ít nhất lớn như vậy sẽ xuất hiện do ngẫu nhiên khoảng 14% số lần, quá thường xuyên để loại trừ khả năng chênh lệch chỉ do ngẫu nhiên.
Tôi có thể dừng kiểm thử ngay khi kết quả có ý nghĩa thống kê không?
Không: việc kiểm tra nhiều lần và dừng ở kết quả đầu tiên có ý nghĩa thống kê làm tăng mạnh tỷ lệ dương tính giả. Hãy xác định trước cỡ mẫu hoặc sử dụng một phương pháp được thiết kế cho việc giám sát liên tục.
Tại sao cỡ mẫu của tôi lại lớn như vậy?
Mức tăng nhỏ trên các tỷ lệ chuyển đổi thấp rất khó phân biệt với nhiễu; giảm một nửa mức tăng bạn muốn phát hiện sẽ làm số khách truy cập cần thiết tăng khoảng bốn lần.
Công cụ miễn phí · trong trình duyệt của bạn lượt chạy · không cần tài khoản