科恩的kappa系數(shù)是衡量定性（分類）項目的評估者間協(xié)議的統(tǒng)計量。 通常認為它是比簡單的百分比一致性計算更可靠的措施，因為k考慮了偶然發(fā)生的協(xié)議。 Cohen的kappa測量兩個評分者之間的協(xié)議，每個評分者將N個項目分類為C個互斥類別。

Cohen的κ系數(shù)由以下函數(shù)定義和給出:

式

其中 -

• $ {p_0} $ =評估者之間的相對觀察到的一致性。

• $ {p_e} $ =假設(shè)的機會協(xié)議概率。

使用觀察數(shù)據(jù)計算$ {p_0} $和$ {p_e} $，以計算每個觀察者隨機地說每個類別的概率。 如果評分者完全一致，那么$ {k} $ = 1。如果評分者之間沒有達到偶然期望的一致（由$ {p_e} $給出），則$ {k} 。

例子

問題陳述:

假設(shè)您正在分析與50個申請資助的群體相關(guān)的數(shù)據(jù)。 每個撥款建議由兩位讀者閱讀，每位讀者對建議說“是"或“否"。 假設(shè)分歧計數(shù)數(shù)據(jù)如下，其中A和B是讀者，左對角斜度上的數(shù)據(jù)顯示協(xié)議計數(shù)和對角斜率上的數(shù)據(jù)，不一致:

計算科恩的kappa系數(shù)。

解決方案:

注意，由讀者A和讀者B授予的20個提案以及被兩個讀者拒絕的15個提案。 因此，觀察到的比例協(xié)議是

為了計算$ {p_e} $（隨機協(xié)議的概率），我們注意到:

• 讀者A對25個申請人說“是"，對25個申請人說“不"。 因此，讀者A在50％的時間說“是"。

• 讀者B對30個申請人說“是"，對20個申請人說“不"。 因此，讀者B在60％的時間里說“是"。

使用公式P（A和B）= P（A）x P（B）其中P是事件發(fā)生的概率。

他們兩個隨機地說“是"的概率是0.50×0.60 = 0.30，并且他們兩個都會說“否"的概率是0.50×0.40 = 0.20。 因此，隨機協(xié)定的總概率為$ {p_e} $ = 0.3 + 0.2 = 0.5。

所以現(xiàn)在應(yīng)用我們的公式Cohen的Kappa我們得到: