kappa系數(shù)(kappa系數(shù)的意義)

比較兩個(gè)用戶完成的編碼，以衡量評(píng)估者之間的可靠性或用戶之間編碼的一致性程度。

不能使用查詢向?qū)磉\(yùn)行編碼比較查詢，這些查詢必須在向?qū)獠窟M(jìn)行設(shè)置，如下所述：

在Query 選項(xiàng)卡上的Create 組中，單擊Coding Comparison。在Compare coding between框中，選擇要包括在用戶組A和B中的用戶：Ur group A 框—點(diǎn)擊Select 并選擇用戶。Ur group B框—點(diǎn)擊Select 并選擇用戶。在 At框中，單擊Select 以選擇特定的節(jié)點(diǎn)或選定的集合，分類或搜索文件夾中的節(jié)點(diǎn)。在Scope 框中，單擊Select 以選擇特定的材料來源。選擇要包含在結(jié)果中的內(nèi)容：選擇Display Kappa Coefficient以在結(jié)果中顯示。選擇Display percentage agreement以在結(jié)果中顯示。

注意

要保存編碼比較查詢，請(qǐng)選擇Add to Project復(fù)選框，然后在General 選項(xiàng)卡中輸入名稱和描述（可選）。

如何解釋Kappa值？

解釋Kappa值的一套近似準(zhǔn)則是：

Kappa值

解釋

小于0.40

一致性不佳

0.40 – 0.75

大致良好的一致性

大于0.75

很好的一致性

當(dāng)百分比一致性較高時(shí)，為什么Kappa值會(huì)較低？

因?yàn)镵appa系數(shù)計(jì)算考慮了用戶之間偶然達(dá)成一致性的可能性，所以即使百分比一致較高，Kappa的值也可能很低。

例如，如果任一用戶尚未在節(jié)點(diǎn)上對(duì)大多數(shù)材料來源進(jìn)行編碼，但是每個(gè)用戶都在節(jié)點(diǎn)上對(duì)材料來源的小部分進(jìn)行了完全不同的編碼，則用戶之間的百分比一致性會(huì)很高。但是由于這種情況很可能是偶然發(fā)生的（即，如果兩個(gè)用戶都隨機(jī)編碼了一個(gè)小段），則Kappa系數(shù)很低。

負(fù)Kappa系數(shù)是什么意思？

Kappa系數(shù)小于或等于零表示兩個(gè)用戶之間（在偶然的情況下除外）在節(jié)點(diǎn)上對(duì)材料來源中的哪些內(nèi)容可以編碼沒有任何一致。

我所有的Kappa系數(shù)均為0或1。是什么問題呢？

這最可能表示被比較的兩個(gè)用戶之一尚未在選定節(jié)點(diǎn)上對(duì)任何選定材料來源進(jìn)行編碼。

在編碼比較查詢結(jié)果中：

如果列“A and B (%)”以及“A and Not B (%)”都完全為零，則用戶A尚未在選定節(jié)點(diǎn)上對(duì)任何材料來源進(jìn)行編碼如果列“A and B (%)”以及“B and Not A (%)”都完全為零，則用戶B尚未在選定節(jié)點(diǎn)上對(duì)任何材料來源進(jìn)行編碼

上海卡貝信息技術(shù)有限公司