मार्केटिंग / परीक्षण
A/B टेस्ट महत्व कैलकुलेटर (p-Value और नमूना आकार)
A और B के वर्शन के विज़िटर और कन्वर्ज़न दर्ज करके देखें कि अंतर सांख्यिकीय रूप से महत्वपूर्ण है या नहीं—साथ में p-value, सापेक्ष बदलाव, अंतर का विश्वास अंतराल और आपकी लक्षित वृद्धि पहचानने के लिए हर समूह को आवश्यक विज़िटर भी देखें।
A/B टेस्ट महत्व कैलकुलेटर (p-Value और नमूना आकार): दो अनुपातों का z-test दरों की तुलना करता है। A में 5,000 विज़िटर से 200 कन्वर्ज़न (4%) और B में 5,000 से 230 (4.6%) होने पर z = 1.48 और p = 0.139 होता है, इसलिए 15% की वृद्धि 95% स्तर पर महत्वपूर्ण नहीं है; वास्तविक अंतर −0.20 से +1.40 प्रतिशत अंक के बीच कहीं भी हो सकता है। 4% की दर पर 20% की वृद्धि पहचानने के लिए 80% पावर पर हर समूह में 10,317 विज़िटर चाहिए। यह आपके ब्राउज़र में 100% स्थानीय रूप से चलता है और सर्वर पर कोई फ़ाइल अपलोड नहीं होती।
- रन
- आपके ब्राउज़र में
- लागत
- मुफ़्त · साइन अप की ज़रूरत नहीं
- उपलब्धता
- इस्तेमाल के लिए तैयार
पूरी तरह आपके ब्राउज़र में चलता है
यह टेस्ट two-proportion z-test से दोनों रूपांतरण दरों की तुलना करता है: यदि variant से कोई अंतर नहीं पड़ा होता, तो इतने बड़े अंतर के दिखने की संभावना p होती। 0.05 से कम मान 95% विश्वास स्तर पर महत्त्वपूर्ण है। शुरू करने से पहले नमूना आकार तय करें और परिणाम महत्त्वपूर्ण दिखते ही टेस्ट बंद न करें, क्योंकि इससे false positives बढ़ते हैं। अंतराल वास्तविक अंतर की संभावित सीमा दिखाता है।
फ़ॉर्मूले
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)), जहाँ pooled rate p̄ है और interval में unpooled standard error का इस्तेमाल होता है। यह उदाहरण statsmodels' proportions_ztest और confint_proportions_2indep से मेल खाता है।
सर्वे और जनमत सर्वेक्षण
टेस्ट के बजाय margin of error के आधार पर सर्वे का आकार तय करने के लिए सैंपल साइज़ कैलकुलेटर का इस्तेमाल करें।
इस्तेमाल करने का तरीका
- A और B के विज़िटर और कन्वर्ज़न दर्ज करें।
- विश्वास स्तर चुनें।
- परिणाम देखें और अपनी इच्छित वृद्धि पहचानने के लिए आवश्यक नमूना आकार जाँचें।
गोपनीयता और सीमाएँ
सब कुछ आपके ब्राउज़र में कैलकुलेट होता है।
संबंधित टूल्स
अक्सर पूछे जाने वाले सवाल
p = 0.139 का क्या मतलब है?
अगर B वास्तव में A से अलग न हो, तो कम-से-कम इतना बड़ा अंतर संयोग से लगभग 14% बार दिखाई देगा—इतनी बार कि संयोग की संभावना को खारिज नहीं किया जा सकता।
क्या परिणाम महत्वपूर्ण होते ही मैं टेस्ट रोक सकता हूँ?
नहीं: बार-बार जाँच करने और पहला महत्वपूर्ण परिणाम मिलते ही रुक जाने से false-positive rate बहुत बढ़ जाता है। पहले नमूना आकार तय करें या लगातार निगरानी के लिए बनाई गई विधि का उपयोग करें।
मेरा नमूना आकार इतना बड़ा क्यों है?
कम कन्वर्ज़न दरों पर छोटी वृद्धि को शोर से अलग पहचानना कठिन होता है; जिस वृद्धि को आप पहचानना चाहते हैं उसे आधा करने पर आवश्यक विज़िटर की संख्या लगभग 4 गुना हो जाती है।
मुफ़्त टूल · आपके ब्राउज़र में बार चलता है · अकाउंट की ज़रूरत नहीं