Thống kê / Thỏa thuận
Máy tính Kappa của Cohen (Độ đồng thuận giữa người đánh giá)
Đo lường độ đồng thuận giữa hai người đánh giá vượt ngoài mức ngẫu nhiên bằng kappa của Cohen, hoặc kappa có trọng số tuyến tính hay bậc hai cho các danh mục có thứ tự, dựa trên bảng tần suất xuất hiện của từng cặp mức đánh giá.
Máy tính Kappa của Cohen (Độ đồng thuận giữa người đánh giá): Độ đồng thuận quan sát là tỷ lệ các mục nằm trên đường chéo; độ đồng thuận do ngẫu nhiên là tổng, theo từng danh mục, của tích giữa tỷ lệ của hai người đánh giá. κ = (đồng thuận quan sát − đồng thuận ngẫu nhiên) ÷ (1 − đồng thuận ngẫu nhiên). Với bảng ví dụ, độ đồng thuận quan sát là 73,8%, độ đồng thuận do ngẫu nhiên là 34,8%, và κ = 0,597, ở mức trung bình. Kappa có trọng số ghi nhận các sai lệch gần nhau trên thang đo có thứ tự. Kết quả khớp với statsmodels. Chạy 100% cục bộ trong trình duyệt của bạn, không có tệp nào được tải lên máy chủ.
- Danh mục
- Công cụ học tập và trường học
- Lượt chạy
- Trong trình duyệt của bạn
- Chi phí
- Miễn phí · không cần đăng ký
- Trạng thái khả dụng
- Sẵn sàng sử dụng
Chạy hoàn toàn trong trình duyệt của bạn
Kappa đo mức độ đồng thuận giữa hai người đánh giá vượt quá mức chỉ do ngẫu nhiên: κ = (observed − expected) ÷ (1 − expected), trong đó mức đồng thuận kỳ vọng được tính từ tỷ lệ tổng thể của các nhóm ở mỗi người đánh giá. Với các nhóm có thứ tự, kappa có trọng số ghi nhận một phần cho những sai lệch gần nhau. Theo cách phân loại của Landis và Koch, 0,41–0,60 là trung bình, 0,61–0,80 là đáng kể và trên 0,80 là gần như hoàn hảo; đây là các quy ước, không phải phép kiểm định.
Ví dụ có lời giải
Hai bác sĩ lâm sàng đánh giá 80 ca là nhẹ, vừa hoặc nặng và đồng thuận ở 59 ca (73,8%). Mức đồng thuận ngẫu nhiên tính từ tổng số ca trong mỗi nhóm là 34,8%, nên κ = (0,738 − 0,348) ÷ (1 − 0,348) = 0,597. Trọng số tuyến tính cho kết quả 0,631 và trọng số bậc hai cho kết quả 0,671.
Để kiểm tra xem hai biến phân loại có liên quan với nhau hay không, thay vì đánh giá mức độ đồng thuận giữa những người chấm, hãy dùng máy tính chi-bình phương.
Điểm kappa có những đặc điểm riêng
Kappa có thể thấp ngay cả khi mức đồng thuận cao nếu một nhóm rất hiếm hoặc rất phổ biến, được gọi là nghịch lý kappa; hãy báo cáo cả bảng đồng thuận.
Với nhiều hơn hai người chấm, kappa của Fleiss là phép mở rộng thường dùng.
Cách sử dụng
- Nhập bảng độ đồng thuận: các danh mục của người đánh giá A theo hàng, của người đánh giá B theo cột, và số lần xuất hiện vào các ô.
- Chọn không trọng số cho các danh mục thông thường, hoặc trọng số tuyến tính hay bậc hai cho các danh mục có thứ tự.
- Xem kappa, nhãn diễn giải, cùng độ đồng thuận quan sát và độ đồng thuận do ngẫu nhiên.
Quyền riêng tư và giới hạn
Dữ liệu của bạn được giữ lại trong trình duyệt.
Công cụ liên quan
Câu hỏi thường gặp
Tại sao không chỉ báo cáo tỷ lệ phần trăm đồng thuận?
Vì người đánh giá đôi khi đồng thuận do ngẫu nhiên, đặc biệt khi một danh mục phổ biến; kappa loại phần đó khỏi kết quả.
Kappa bao nhiêu thì được xem là tốt?
Landis và Koch xem 0,41–0,60 là trung bình, 0,61–0,80 là đáng kể, và 0,81–1 là gần như hoàn hảo; yêu cầu có thể khác nhau tùy lĩnh vực.
Khi nào nên dùng kappa có trọng số?
Với các danh mục có thứ tự, chẳng hạn nhẹ, trung bình và nặng, trong đó đánh giá là trung bình thay vì nặng thể hiện mức bất đồng nhỏ hơn so với nhẹ thay vì nặng.
Công cụ miễn phí · trong trình duyệt của bạn lượt chạy · không cần tài khoản