计算具有可变等级数的R中的等级间可靠性？

Wikipedia建议，查看评估者之间可靠性的一种方法是使用随机效应模型来计算类内相关性。类内相关的例子讨论了看

从模型

“其中Y _ij是^第 i 组的^第 j ^个观测值，μ是未观察到的总体均值，_αi是组i中所有值共享的未观察到的随机效应，而_εij是未观察到的噪声项。”

这是一个有吸引力的模型，尤其是因为在我的数据中，没有任何评分者对所有事物进行了评分（尽管大多数人的评分为20+），并且事物的评分次数是可变的（通常为3-4）。

问题＃0：在该示例中，“组i”（“组i”）是否是一组被评级的事物？

问题＃1：如果我正在寻找评估者之间的可靠性，我是否不需要一个包含两个术语的随机效应模型，一个用于评估者，一个用于评估的事物？毕竟，两者都有可能发生变化。

问题2：如何最好地用R表达此模型？

这个问题似乎有一个不错的建议：

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

我看了几个 问题，而lme的“ random”参数的语法对我来说是不透明的。我阅读了lme的帮助页面，但是没有示例，我对“随机”的描述是难以理解的。

这个问题有点类似于一个长 名单的问题，与此最接近的一次。但是，大多数都没有详细介绍R。

您在问题中引用的模型称为“单向模型”。假定随机行效应是唯一的方差系统性来源。在评估者之间具有可靠性的情况下，行对应于测量对象（例如，对象）。

单向模型：其中是所有对象的均值，是行效应，是残余效应。

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$$w_{ij}$

但是，也有“双向模式”。这些假设存在与随机行效应以及随机或固定列效应相关的方差。在评估者之间具有可靠性的情况下，列对应于度量来源（例如评估者）。

双向模型：其中是所有均值对象，是行效应，是列效应，是交互效应，是剩余效应。这两个模型之间的区别是交互作用的包含或排除。

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$$e_{ij}$

给定双向模型，您可以计算四个ICC系数之一：单分数一致性ICC（C，1），平均分数一致性ICC（C，k），单分数一致性ICC（A，1）或平均得分协议ICC（A，k）。单分数ICC适用于单个度量值 （例如，各个评估者），而平均分数ICC适用于平均度量值（例如，所有评估者的平均值）。一致性ICC将分母方差从分母方差中排除（例如，允许评估者按照自己的均值来变化），而一致性ICC将分母方差的列方差包括在分母方差中（例如，要求分摊者在同一均值附近变化）。$x_{ij}$$\bar{x}_i$

如果假设随机列效果，则为以下定义：

双向随机效应ICC定义（有无交互作用）：

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

您也可以使用方差分析的均方值估算这些值：

双向ICC估算：

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

您可以使用irr包在R中计算这些系数：

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

参考文献

McGraw，KO和Wong，SP（1996）。关于一些类内相关系数的推论。心理方法，1（1），30-46。

Shrout，PE和Fleiss，JL（1979）。类内关联：用于评估评估者的可靠性。心理通报，86（2），420–428。