计算科恩的Kappa方差（和标准误差）
Kappa（）统计数据是由Cohen [1]在1960年引入的，用于测量两个评估者之间的一致性。然而，它的差异在相当长一段时间以来一直是矛盾的根源。κκ\kappa 我的问题是，对于大型样本，哪种方法是最佳计算方法？我倾向于相信由Fleiss [2]测试和验证的是正确的选择，但这似乎并不是唯一发表的似乎是正确的（并在相当近期的文献中使用）。 现在，我有两种具体方法来计算其渐近大样本方差： Fleiss，Cohen和Everitt发表的校正方法[2]。 增量法可以在Colgaton，2009 [4]（第106页）的书中找到。 为了说明这种混淆，以下是Fleiss，Cohen和Everitt [2]的引文，重点是我的话： 在实现最终成功之前，许多人类的努力被反复失败所困扰。珠穆朗玛峰的缩放就是一个例子。西北通道的发现是第二次。推导正确的kappa标准误差是第三次。 因此，以下是发生的情况的小结： 1960年：科恩（Cohen）发表论文“名义尺度的一致性系数” [1]，介绍了他的机会校正的两个评估者之间的一致性度量，称为。但是，他为方差计算发布了错误的公式。κκ\kappa 1968年：Everitt尝试更正它们，但他的公式也不正确。 1969年：Fleiss，Cohen和Everitt在论文“ Kappa和加权Kappa的大样本标准误差”中发表了正确的公式[2]。 1971年：Fleiss 用相同的名称发布了另一个统计信息（但有所不同），其方差公式不正确。κκ\kappa 1979年：Fleiss Nee和Landis出版了Fleiss的的更正公式。κκ\kappa 首先，请考虑以下符号。此表示法意味着将求和运算符应用于点所放置的维度中的所有元素： pi.=∑j=1kpij pi.=∑j=1kpij\ \ \ p_{i.} = \displaystyle\sum_{j=1}^{k} p_{ij} p.j=∑i=1kpij p.j=∑i=1kpij\ \ \ p_{.j} = \displaystyle\sum_{i=1}^{k} p_{ij} 现在，人们可以将Kappa计算为： κ^=po−pc1−pe κ^=po−pc1−pe\ \ \ \hat\kappa = \displaystyle\frac{p_o-p_c}{1-p_e} 在其中 po=∑i=1kpii po=∑i=1kpii\ \ …