統計 / 協議
Cohen's Kappa 計算機(評分者間一致性)
從每組評分出現次數的表格,使用Cohen's kappa衡量兩位評分者超越偶然的一致程度;針對有順序的類別,也可使用線性或二次加權的加權kappa。
Cohen's Kappa 計算機(評分者間一致性): 觀察一致率是對角線上的項目占比;機遇一致率則是各類別中兩位評分者占比相乘後的總和。κ = (觀察一致率 − 機遇一致率) ÷ (1 − 機遇一致率)。以範例表格計算,觀察一致率為73.8%,機遇一致率為34.8%,κ = 0.597,屬於中度一致。對有順序的量表而言,加權kappa會對接近但不完全相同的評分給予部分分數。結果與statsmodels一致。 全程在瀏覽器中於本機執行,檔案不會上傳至伺服器。
- 分類
- 學校與讀書工具
- 使用次數
- 在瀏覽器中
- 費用
- 免費・免註冊
- 可用狀態
- 可立即使用
全程在瀏覽器中執行
Kappa衡量兩位評分者的一致程度超出單靠機率所能達到的程度:κ = (observed − expected) ÷ (1 − expected),其中預期一致程度來自每位評分者各類別在整體中的比例。對於有序類別,加權kappa會對接近但不完全一致的結果給予部分分數。Landis和Koch的標準將0.41–0.60稱為中等、0.61–0.80稱為高度,並將高於0.80稱為幾乎完美;這些只是慣例,不是檢定。
實例
兩位臨床人員將80個病例評為輕度、中度或重度,其中59個病例評分一致(73.8%)。根據兩人的類別總數計算出的機率一致性為34.8%,因此κ=(0.738−0.348)÷(1−0.348)=0.597。線性權重為0.631,二次權重為0.671。
若要檢驗兩個類別變數是否相關,而不是評估評分者的一致程度,請使用卡方計算機。
Kappa的特性
即使一致程度很高,當某個類別非常少見或非常普遍時,Kappa仍可能偏低,這就是所謂的Kappa悖論;請一併報告一致性表格。
如果有兩位以上的評分者,通常會使用Fleiss' kappa作為延伸方法。
使用方式
- 輸入一致性表:將評分者A的類別放在列,評分者B的類別放在欄,並在儲存格中填入次數。
- 一般類別選擇未加權;有順序的類別則選擇線性或二次加權。
- 查看kappa、其評級,以及觀察一致率和機遇一致率。
隱私與限制
您的資料會留在瀏覽器中,不會上傳。
相關工具
常見問題
為什麼不直接報告百分比一致率?
因為評分者有時會因偶然而一致,尤其是在某個類別很常見時;kappa會扣除這部分的一致性。
怎樣的kappa算好?
Landis和Koch將0.41–0.60稱為中度一致、0.61–0.80稱為高度一致、0.81–1稱為近乎完全一致;但實際要求會因領域而異。
什麼時候應該使用加權kappa?
適用於有順序的類別,例如輕度、中度和重度;在這種情況下,將重度評為中度,比將輕度評為重度的分歧更小。
免費工具・使用在瀏覽器中次・免註冊