固定效果与随机效果

10

我最近开始学习广义线性混合模型，并且正在使用R探索将组成员身份视为固定或随机效应有何不同。特别是，我正在查看此处讨论的示例数据集：

http://www.ats.ucla.edu/stat/mult_pkg/glmm.htm

http://www.ats.ucla.edu/stat/r/dae/melogit.htm

正如本教程中概述的那样，Doctor ID的作用是可观的，我期望随机截距的混合模型能够提供更好的结果。但是，比较两种方法的AIC值表明此模型较差：

> require(lme4) ; hdp = read.csv("http://www.ats.ucla.edu/stat/data/hdp.csv")
> hdp$DID = factor(hdp$DID) ; hdp$Married = factor(hdp$Married)
> GLM = glm(remission~Age+Married+IL6+DID,data=hdp,family=binomial);summary(GLM)

Call:
glm(formula = remission ~ Age + Married + IL6 + DID, family = binomial, 
data = hdp)

Deviance Residuals: 
Min       1Q   Median       3Q      Max  
-2.5265  -0.6278  -0.2272   0.5492   2.7329  

Coefficients:
              Estimate Std. Error z value Pr(>|z|)    
(Intercept) -1.560e+01  1.219e+03  -0.013    0.990    
Age         -5.869e-02  5.272e-03 -11.133  < 2e-16 ***
Married1     2.688e-01  6.646e-02   4.044 5.26e-05 ***
IL6         -5.550e-02  1.153e-02  -4.815 1.47e-06 ***
DID2         1.805e+01  1.219e+03   0.015    0.988    
DID3         1.932e+01  1.219e+03   0.016    0.987   

[...]

DID405       1.566e+01  1.219e+03   0.013    0.990    
DID405       1.566e+01  1.219e+03   0.013    0.990    
DID406      -2.885e-01  3.929e+03   0.000    1.000    
DID407       2.012e+01  1.219e+03   0.017    0.987    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 10353  on 8524  degrees of freedom
Residual deviance:  6436  on 8115  degrees of freedom
AIC: 7256

Number of Fisher Scoring iterations: 17


> GLMM = glmer(remission~Age+Married+IL6+(1|DID),data=hdp,family=binomial) ; m

Generalized linear mixed model fit by the Laplace approximation 
Formula: remission ~ Age + Married + IL6 + (1 | DID) 
Data: hdp 
AIC  BIC logLik deviance
7743 7778  -3867     7733
Random effects:
Groups Name        Variance Std.Dev.
DID    (Intercept) 3.8401   1.9596  
Number of obs: 8525, groups: DID, 407

Fixed effects:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept)  1.461438   0.272709   5.359 8.37e-08 ***
Age         -0.055969   0.005038 -11.109  < 2e-16 ***
Married1     0.260065   0.063736   4.080 4.50e-05 ***
IL6         -0.053288   0.011058  -4.819 1.44e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
         (Intr) Age    Marrd1
Age      -0.898              
Married1  0.070 -0.224       
IL6      -0.162  0.012 -0.033


> extractAIC(GLM) ; extractAIC(GLMM)

[1]  410.000 7255.962
[1]    5.000 7743.188

因此，我的问题是：

（1）比较两个函数提供的AIC值是否合适？如果是这样，为什么固定效果模型会做得更好？

（2）识别固定或随机效应是否更重要的最佳方法是什么（即，量化因医生引起的变异性比患者特征更重要）？

r random-effects-model glmm

— 访客333
source

7

固定效应模型和随机效应模型询问数据的不同问题。指定一组组级虚拟变量实际上控制了平均响应中所有组级未观察到的异质性，而您的估计只反映了单位内的可变性。随机效应模型首先假设存在一个（任何效应）元种群，并且您的样本反映了该种群的许多吸引力。因此，您的数据将用于阐明应该从中提取数据的（通常是正态）分布的参数，而不是将结果固定在异构截距周围。

人们常说固定效应模型适合于对您拥有的数据进行推断，而随机效应模型则适合于对数据作为随机样本的较大人群进行推断。

当我了解固定效果模型时，它们是由误差成分和面板数据驱动的。对给定单位进行多次观察，并在时间进行随机处理。 $t$

y_{i t} = α_{i} + β T_{i t} + ϵ_{i t}

$y_{it} = \alpha_i + \beta T_{it} + \epsilon_{it}$

您可以将错误项分解为错误项的一部分，该部分会随时间变化，而不会随时间变化：

y_{i t} = α_{i} + β T_{i t} + e_{i} + u_{i t}

$y_{it} = \alpha_i + \beta T_{it} + e_i + u_{it}$

现在从两边减去分组均值：

y_{i t} - {\bar{y}}_{i} = α_{i} - {\bar{α}}_{i} + β (T_{i t} - {\bar{T}}_{i}) + e_{i} - {\bar{e}}_{i} + u_{i t} - {\bar{u}}_{i} t

$y_{it} - \bar y_i = \alpha_i - \bar \alpha_i + \beta \left(T_{it}- \bar T_i\right) + e_i - \bar e_i+ u_{it}- \bar u_it$

不会用下标的事物是通过基本减法从等式中得出的-也就是说，随时间变化的平均值与永不改变的随时都相同。这包括错误术语中随时间变化的部分。因此，您的估计不受时不变异质性的混淆。 $t$

这对于随机效应模型而言并不完全有效-您的非索引变量不会被该转换（“内部”转换）吸收。这样，您可以推断出在组内没有变化的事物的影响。在现实世界中，这种事情很重要。因此，随机效应有利于“建模数据”，而固定效应模型则有利于接近特定术语的无偏估计。使用随机效应模型，您无法声称已完全删除了该。 $t$ $e_i$

在此示例中，时间是分组变量。在您的示例中，它是DID。（即：概括）

— generic_user
source

1

1）进行比较是合适的，只是不能与这两个模型进行比较。您将要比较：

GLM <- glm(remission~Age+Married+IL6, data=hdp, family=binomial)

与

GLMM <- glmer(remission~Age+Married+IL6+(1|DID), data=hdp, family=binomial)

您可以使用方差分析来做到这一点：

anova(GLM, GLMM)

（不确定它们是否可以与glm和glmer结果一起使用，因为它们可能是不同的R对象。您可能必须使用两个具有类似返回对象的函数，例如lme和gls，或者自己进行方差分析。）

方差分析将进行对数似然比测试，以查看随机医生效应的增加是否显着。在声明显着性之前，您需要将该p值除以2，因为您正在测试零假设，即随机医生效应为0，并且0在方差的参数空间的边界上（您正在使用的实际分布测试是和分布的混合-但此时我已经接近无知的界限了。 $\chi^2_0$ $\chi^2_1$

对我而言，理解嵌套模型构建和假设检验过程的最佳书籍是West，Welsh和Galecki（2007）线性混合模型：实用指南。他们一步一步地经历所有事情。

2）如果每个患者有多个观察结果，则还会为患者增加随机效果。然后，要测试耐心与医生的相对重要性，您可以查看患者的预测效果与医生的预测效果。如果您对此感兴趣，则每个变量的随机效应项将量化患者之间以及医生之间的差异量。

（如果我错了，请纠正我！）

— 克里斯托弗·波伊尔
source

我不知道它是有道理有DID作为两个固定的效果，并在第二个模型中的随机拦截。而且，在第一个模型中将其作为固定效应意味着选择b / t这2个将是关于考虑效应的方法DID，而不是是否需要包括它。另一方面，我注意到您有一个项目（2）；您是说要在某处放置项目（1）吗？

— gung-恢复莫妮卡

你是绝对正确的; 我是从OP的原始glm公式中获得的，该公式不应将DID作为固定效果放在第一位。现在，可以选择是否将DID视为随机效应来为模型添加任何值。

— Christopher Poile 2013年

1

型号非常不同。当正在评估所有DoctorID效果并为其分配参数估计值时，glm模型正在解决总体偏差（与null模型相比）的减少。您当然会注意到，两个模型中的年龄，已婚和IL6都具有相同的Wald统计信息，对吗？我的理解（我不会承认这不是一种高度完善的观点）是，混合模型将DoctorID视为令人讨厌的因素或层次，即不能假定从任何特定父代分布中得出的“效应”。我没有理由认为使用混合模型可以提高您对“医生效应”的理解，但事实恰恰相反。

如果您对年龄，已婚或IL6的影响感兴趣，我会想象您将不会在这两个模型之间比较AIC，而是在相同模型结构内去除感兴趣的协变量的情况下比较AIC的差异。

— 双赢
source