마케팅 / 테스트
A/B 테스트 유의성 계산기 (p-value 및 표본 크기)
버전 A와 버전 B의 방문자 수와 전환 수를 입력하면 차이의 통계적 유의성, p-value, 상대적 변화율, 차이의 신뢰 구간과 원하는 상승폭을 감지하는 데 필요한 각 그룹의 방문자 수를 확인할 수 있습니다.
A/B 테스트 유의성 계산기 (p-value 및 표본 크기): 두 비율 z-검정으로 전환율을 비교합니다. A에서 방문자 5,000명 중 200명이 전환되어 전환율이 4%이고 B에서 방문자 5,000명 중 230명이 전환되어 전환율이 4.6%인 경우 z = 1.48, p = 0.139입니다. 따라서 15% 상승은 95% 수준에서 유의하지 않으며, 실제 차이는 −0.20~+1.40%포인트 어디에든 있을 수 있습니다. 전환율 4%에서 20% 상승을 감지하려면 검정력 80% 기준으로 그룹당 방문자 10,317명이 필요합니다. 서버에 파일을 전혀 업로드하지 않고 브라우저에서 100% 로컬로 실행됩니다.
- 카테고리
- 비즈니스 및 관리 도구
- 실행 횟수
- 브라우저에서
- 비용
- 무료 · 가입 불필요
- 사용 가능 여부
- 사용 가능
브라우저에서 전부 실행됩니다
이 테스트는 두 비율 z-검정을 사용해 두 전환율을 비교합니다. 변형안이 차이를 만들지 않았다면 이만큼 큰 차이가 나타날 확률은 p입니다. 0.05 미만이면 신뢰도 95%에서 유의합니다. 시작하기 전에 표본 크기를 결정하고, 유의해 보인다는 이유만으로 테스트를 바로 중단하지 마십시오. 거짓 양성이 늘어날 수 있습니다. 구간은 실제 차이가 있을 법한 범위를 보여 줍니다.
공식
z = (p_B − p_A) ÷ √(p̄(1 − p̄)(1/n_A + 1/n_B))이며, 여기서 p̄는 통합 비율이고 구간에는 비통합 표준 오차를 사용합니다. 이 예시는 statsmodels의 proportions_ztest 및 confint_proportions_2indep과 일치합니다.
설문 조사와 여론 조사
검정이 아닌 오차 한계에 맞춰 설문 표본 크기를 정하려면 표본 크기 계산기를 이용하십시오.
사용 방법
- A와 B의 방문자 수와 전환 수를 입력합니다.
- 신뢰 수준을 선택합니다.
- 결과를 확인하고 원하는 상승폭을 감지하는 데 필요한 표본 크기를 확인합니다.
개인정보 보호 및 제한사항
모든 계산은 브라우저에서 실행됩니다.
관련 도구
자주 묻는 질문
p = 0.139는 무엇을 의미하나요?
B가 실제로 A와 다르지 않다면, 이 정도로 큰 차이가 우연히 나타날 확률이 약 14%라는 뜻입니다. 따라서 우연이라고 배제하기에는 너무 높은 수치입니다.
통계적으로 유의해지는 즉시 테스트를 중단해도 되나요?
아니요. 결과를 반복해서 확인하다가 처음 유의해지는 순간 중단하면 거짓 양성률이 크게 높아집니다. 먼저 표본 크기를 정하거나, 연속 모니터링을 위해 설계된 방법을 사용하십시오.
표본 크기가 왜 이렇게 큰가요?
전환율이 낮을 때 작은 상승폭은 잡음과 구분하기 어렵습니다. 감지하려는 상승폭을 절반으로 줄이면 필요한 방문자 수는 대략 4배가 됩니다.
무료 도구 · 브라우저에서회 실행 · 계정 불필요