통계 / 합의
Cohen's Kappa 계산기 (평가자 간 일치도)
각 평가 조합이 얼마나 자주 발생했는지 나타낸 표를 사용해 두 평가자의 우연을 넘어선 일치도를 Cohen's kappa로 측정합니다. 순서형 범주에는 선형 또는 이차 가중치를 적용한 가중 kappa를 사용할 수 있습니다.
Cohen's Kappa 계산기 (평가자 간 일치도): 관찰 일치도는 대각선에 있는 항목의 비율입니다. 우연 일치도는 각 범주에서 두 평가자의 비율을 곱한 뒤 모두 더한 값입니다. κ = (관찰 일치도 − 우연 일치도) ÷ (1 − 우연 일치도)입니다. 예시 표에서는 관찰 일치도가 73.8%, 우연 일치도가 34.8%, κ = 0.597이며 일치도는 보통 수준입니다. 가중 kappa는 순서형 척도에서 가까운 오답에 일부 점수를 부여합니다. 결과는 statsmodels와 일치합니다. 서버에 파일을 전혀 업로드하지 않고 브라우저에서 100% 로컬로 실행됩니다.
- 카테고리
- 학교 및 학습 도구
- 실행 횟수
- 브라우저에서
- 비용
- 무료 · 가입 불필요
- 사용 가능 여부
- 사용 가능
브라우저에서 전부 실행됩니다
카파는 우연만으로 얻을 수 있는 일치도를 넘어 두 평가자가 얼마나 일치하는지 측정합니다. κ = (observed − expected) ÷ (1 − expected)이며, 기대 일치도는 각 평가자의 전체 범주 비율에서 구합니다. 순서형 범주에서는 가중 카파가 근접한 불일치에 부분 점수를 부여합니다. Landis와 Koch의 분류에서는 0.41–0.60을 보통, 0.61–0.80을 상당함, 0.80 초과를 거의 완벽함으로 봅니다. 이는 검정이 아니라 관례입니다.
계산 예시
두 임상의가 80건을 경증, 중등도 또는 중증으로 평가해 59건(73.8%)에서 일치했습니다. 각 범주의 합계에서 계산한 우연 일치율은 34.8%이므로 κ = (0.738 − 0.348) ÷ (1 − 0.348) = 0.597입니다. 선형 가중치를 사용하면 0.631, 2차 가중치를 사용하면 0.671입니다.
두 범주형 변수가 평가자 간 일치도보다 서로 관련되어 있는지를 검정하려면 카이제곱 계산기를 사용하십시오.
카파의 특성
한 범주가 매우 드물거나 매우 흔하면 일치도가 높아도 카파가 낮을 수 있습니다. 이를 카파 역설이라고 하며, 일치도 표도 함께 보고하십시오.
평가자가 두 명보다 많을 때는 Fleiss' 카파를 일반적으로 사용합니다.
사용 방법
- 일치도 표를 입력합니다. 평가자 A의 범주는 행에, 평가자 B의 범주는 열에 입력하고 각 셀에 횟수를 입력합니다.
- 일반 범주에는 가중치 없음을 선택하고, 순서형 범주에는 선형 또는 이차 가중치를 선택합니다.
- kappa, 해당 레이블, 관찰 일치도와 우연 일치도를 확인합니다.
개인정보 보호 및 제한사항
데이터는 브라우저에 남습니다. 업로드하지 않습니다.
관련 도구
자주 묻는 질문
백분율 일치도만 보고하면 안 되나요?
평가자들은 우연히도 어느 정도 일치하기 때문입니다. 특히 한 범주가 흔한 경우에는 더욱 그렇습니다. kappa는 이러한 우연에 의한 부분을 제외합니다.
좋은 kappa란 무엇인가요?
Landis와 Koch는 0.41–0.60을 보통, 0.61–0.80을 상당함, 0.81–1을 거의 완벽함으로 분류합니다. 다만 필요한 기준은 분야에 따라 다릅니다.
가중 kappa는 언제 사용하나요?
경미, 보통, 심함처럼 순서가 있는 범주에 사용합니다. 이 경우 보통을 심함으로 평가한 불일치는 경미를 심함으로 평가한 불일치보다 작게 봅니다.
무료 도구 · 브라우저에서회 실행 · 계정 불필요