Marketing / Tests
Calculateur de significativité d’un test A/B (p-value et taille d’échantillon)
Saisissez le nombre de visiteurs et de conversions des versions A et B pour déterminer si l’écart est statistiquement significatif, avec la p-value, la variation relative, un intervalle de confiance de l’écart et le nombre de visiteurs requis dans chaque groupe pour détecter la hausse qui vous intéresse.
Calculateur de significativité d’un test A/B (p-value et taille d’échantillon): Un test z pour deux proportions compare les taux. Avec 200 conversions sur 5 000 visiteurs dans A (4 %) et 230 sur 5 000 dans B (4,6 %), z = 1,48 et p = 0,139 : la hausse de 15 % n’est donc pas significative à 95 % ; la différence réelle pourrait se situer entre −0,20 et +1,40 point de pourcentage. Pour détecter une hausse de 20 % sur un taux de 4 %, il faut 10 317 visiteurs par groupe avec une puissance de 80 %. Fonctionne 100 % localement dans votre navigateur, sans aucun téléversement de fichier vers le serveur.
- Exécutions
- Dans votre navigateur
- Coût
- Gratuit · sans inscription
- Disponibilité
- Prêt à l'emploi
Fonctionne entièrement dans votre navigateur
Le test compare les deux taux de conversion à l’aide d’un test z à deux proportions : si la variante n’avait eu aucun effet, un écart aussi important apparaîtrait avec une probabilité p. Une valeur inférieure à 0.05 est significative avec un niveau de confiance de 95 %. Déterminez la taille de l’échantillon avant de commencer et n’arrêtez pas le test dès qu’il semble significatif, car cela augmente le nombre de faux positifs. L’intervalle indique la plage plausible de la différence réelle.
Les formules
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B)) avec le taux regroupé p̄ ; l’intervalle utilise l’erreur type non regroupée. L’exemple correspond à proportions_ztest et confint_proportions_2indep de statsmodels.
Sondages et enquêtes
Pour dimensionner un sondage selon une marge d’erreur plutôt que selon un test, utilisez le calculateur de taille d’échantillon.
Comment l'utiliser
- Saisissez le nombre de visiteurs et de conversions pour A et B.
- Choisissez le niveau de confiance.
- Consultez le résultat et vérifiez la taille d’échantillon requise pour détecter la hausse souhaitée.
Confidentialité et limitations
Tous les calculs sont effectués dans votre navigateur.
Outils associés
Questions fréquentes
Que signifie p = 0,139 ?
Si B ne différait réellement pas de A, un écart au moins aussi important apparaîtrait par hasard environ 14 % du temps : c’est trop fréquent pour écarter l’hypothèse du hasard.
Puis-je arrêter le test dès qu’il devient significatif ?
Non : effectuer des vérifications répétées et arrêter le test au premier résultat significatif augmente fortement le taux de faux positifs. Fixez d’abord la taille d’échantillon ou utilisez une méthode conçue pour un suivi continu.
Pourquoi ma taille d’échantillon est-elle si grande ?
Les faibles hausses sur des taux de conversion bas sont difficiles à distinguer du bruit ; diviser par deux la hausse que vous souhaitez détecter multiplie environ par quatre le nombre de visiteurs requis.
Outil gratuit · dans votre navigateur exécutions · aucun compte requis