統計 / 協議

Cohen's Kappa 計算機(評分者間一致性)

從每組評分出現次數的表格,使用Cohen's kappa衡量兩位評分者超越偶然的一致程度;針對有順序的類別,也可使用線性或二次加權的加權kappa。

Cohen's Kappa 計算機(評分者間一致性): 觀察一致率是對角線上的項目占比;機遇一致率則是各類別中兩位評分者占比相乘後的總和。κ = (觀察一致率 − 機遇一致率) ÷ (1 − 機遇一致率)。以範例表格計算,觀察一致率為73.8%,機遇一致率為34.8%,κ = 0.597,屬於中度一致。對有順序的量表而言,加權kappa會對接近但不完全相同的評分給予部分分數。結果與statsmodels一致。 全程在瀏覽器中於本機執行,檔案不會上傳至伺服器。

使用次數
在瀏覽器中
費用
免費・免註冊
可用狀態
可立即使用
Cohen's kappa計算機本機處理

全程在瀏覽器中執行

Cohen's kappa0.5971中等
觀察到的一致程度73.8%
機率造成的預期一致程度34.8%

Kappa衡量兩位評分者的一致程度超出單靠機率所能達到的程度:κ = (observed − expected) ÷ (1 − expected),其中預期一致程度來自每位評分者各類別在整體中的比例。對於有序類別,加權kappa會對接近但不完全一致的結果給予部分分數。Landis和Koch的標準將0.41–0.60稱為中等、0.61–0.80稱為高度,並將高於0.80稱為幾乎完美;這些只是慣例,不是檢定。

實例

兩位臨床人員將80個病例評為輕度、中度或重度,其中59個病例評分一致(73.8%)。根據兩人的類別總數計算出的機率一致性為34.8%,因此κ=(0.738−0.348)÷(1−0.348)=0.597。線性權重為0.631,二次權重為0.671。

若要檢驗兩個類別變數是否相關,而不是評估評分者的一致程度,請使用卡方計算機。

Kappa的特性

即使一致程度很高,當某個類別非常少見或非常普遍時,Kappa仍可能偏低,這就是所謂的Kappa悖論;請一併報告一致性表格。

如果有兩位以上的評分者,通常會使用Fleiss' kappa作為延伸方法。

使用方式

  1. 輸入一致性表:將評分者A的類別放在列,評分者B的類別放在欄,並在儲存格中填入次數。
  2. 一般類別選擇未加權;有順序的類別則選擇線性或二次加權。
  3. 查看kappa、其評級,以及觀察一致率和機遇一致率。

隱私與限制

您的資料會留在瀏覽器中,不會上傳。

相關工具

常見問題

為什麼不直接報告百分比一致率?

因為評分者有時會因偶然而一致,尤其是在某個類別很常見時;kappa會扣除這部分的一致性。

怎樣的kappa算好?

Landis和Koch將0.41–0.60稱為中度一致、0.61–0.80稱為高度一致、0.81–1稱為近乎完全一致;但實際要求會因領域而異。

什麼時候應該使用加權kappa?

適用於有順序的類別,例如輕度、中度和重度;在這種情況下,將重度評為中度,比將輕度評為重度的分歧更小。

免費工具・使用在瀏覽器中次・免註冊