統計 / 契約
Cohenのカッパ計算機（評価者間一致）
各評価の組み合わせが何回発生したかを表す一致表から、偶然を超えた2人の評価者間の一致度をCohenのカッパで測定します。順序尺度には、線形または二次の重み付きカッパも使用できます。
Cohenのカッパ計算機（評価者間一致）: 観測一致率は対角線上の項目の割合です。偶然一致率は、各カテゴリについて2人の評価者の割合を掛け合わせ、その合計として求めます。κ = (観測一致率 − 偶然一致率) ÷ (1 − 偶然一致率)。例の表では、観測一致率は73.8%、偶然一致率は34.8%、κ = 0.597で、判定は中程度です。重み付きカッパでは、順序尺度で近い評価の不一致を部分的に考慮します。結果はstatsmodelsと一致します。 サーバーへのファイルアップロードは一切なく、100%ブラウザ内でローカル実行します。
- カテゴリ
- 学校・学習ツール
- 実行回数
- ブラウザ内で
- コスト
- 無料 · 登録不要
- 提供状況
- すぐに使えます
完全にブラウザ内で実行します
κ係数は、偶然だけで生じる一致を超えて2人の評価者がどの程度一致しているかを測定します。κ = (観測された一致 − 期待される一致) ÷ (1 − 期待される一致)で、期待される一致は各評価者のカテゴリ全体に占める割合から求めます。順序カテゴリでは、重み付きκ係数により、近い不一致にも部分的な点数を与えます。LandisとKochの基準では、0.41～0.60を中程度、0.61～0.80をかなり高い、0.80超をほぼ完全としますが、これは検定ではなく慣例です。
計算例
2人の臨床医が80件を軽症・中等症・重症に分類し、そのうち59件（73.8%）で一致しました。カテゴリ合計から求めた偶然一致率は34.8%なので、κ = (0.738 − 0.348) ÷ (1 − 0.348) = 0.597です。線形重みでは0.631、二次重みでは0.671になります。
評価者間の一致度ではなく、2つのカテゴリ変数に関連があるかを検定するには、カイ二乗計算機を使ってください。
κの注意点
一方のカテゴリが非常にまれ、または非常に多い場合、実際の一致度が高くてもκは低くなることがあります。これはいわゆるκのパラドックスです。一致度の表も併せて報告してください。
3人以上の評価者がいる場合は、通常Fleissのκを使います。
使い方
- 一致表を入力します。評価者Aのカテゴリを行、評価者Bのカテゴリを列に配置し、各セルに件数を入力します。
- 単純なカテゴリには重みなし、順序のあるカテゴリには線形または二次の重みを選択します。
- カッパ、その判定ラベル、観測一致率、偶然一致率を確認します。
プライバシーと制限事項
データはブラウザ内にとどまります。
関連ツール
よくある質問
なぜ単純に一致率を報告しないのですか？
評価者は、特に一つのカテゴリが多い場合、偶然にも一致することがあるためです。カッパはその偶然による一致を取り除きます。
良いカッパとはどの程度ですか？
LandisとKochは、0.41–0.60を中程度、0.61–0.80をかなり高い、0.81–1をほぼ完全としています。ただし、求められる水準は分野によって異なります。
重み付きカッパはいつ使いますか？
軽度・中等度・重度のような順序のあるカテゴリに使用します。この場合、「中等度」と「重度」の評価の違いは、「軽度」と「重度」の違いより小さい不一致として扱います。
無料ツール · ブラウザ内で · アカウント不要