当在混合模型中将组视为随机与固定时，斜率估计存在很大差异

我了解，当我们相信某些模型参数在某些分组因子中随机变化时，我们会使用随机效应（或混合效应）模型。我希望拟合一个模型，该模型的响应已在分组因子上进行了归一化和居中（不完美，但非常接近），但是自变量x没有进行任何调整。这使我进行了以下测试（使用虚构数据），以确保如果确实存在，我会找到所需的效果。我运行了一个带有随机截距的混合效应模型（跨由定义的组f）和另一个以因子f作为固定效应预测因子的固定效应模型。我将R包lmer用于混合效果模型和基本函数lm()对于固定效果模型。以下是数据和结果。

请注意y，无论组如何，其变化都在0左右。并且该x变化与y组内的变化一致，但跨组的变化要大得多。y

> data
      y   x f
1  -0.5   2 1
2   0.0   3 1
3   0.5   4 1
4  -0.6  -4 2
5   0.0  -3 2
6   0.6  -2 2
7  -0.2  13 3
8   0.1  14 3
9   0.4  15 3
10 -0.5 -15 4
11 -0.1 -14 4
12  0.4 -13 4

如果您有兴趣使用数据，则dput()输出：

data<-structure(list(y = c(-0.5, 0, 0.5, -0.6, 0, 0.6, -0.2, 0.1, 0.4, 
-0.5, -0.1, 0.4), x = c(2, 3, 4, -4, -3, -2, 13, 14, 15, -15, 
-14, -13), f = structure(c(1L, 1L, 1L, 2L, 2L, 2L, 3L, 3L, 3L, 
4L, 4L, 4L), .Label = c("1", "2", "3", "4"), class = "factor")), 
.Names = c("y","x","f"), row.names = c(NA, -12L), class = "data.frame")

拟合混合效果模型：

> summary(lmer(y~ x + (1|f),data=data))
Linear mixed model fit by REML 
Formula: y ~ x + (1 | f) 
   Data: data 
   AIC   BIC logLik deviance REMLdev
 28.59 30.53  -10.3       11   20.59
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.00000  0.00000 
 Residual             0.17567  0.41913 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.120992   0.069
x           0.008643   0.011912   0.726

Correlation of Fixed Effects:
  (Intr)
x 0.000 

我注意到，截距方差分量估计为0，对我来说重要的是，x它不是的重要预测因子y。

接下来，我将固定效应模型f用作预测变量，而不是随机截距的分组因子：

> summary(lm(y~ x + f,data=data))

Call:
lm(formula = y ~ x + f, data = data)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.16250 -0.03438  0.00000  0.03125  0.16250 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -1.38750    0.14099  -9.841 2.38e-05 ***
x            0.46250    0.04128  11.205 1.01e-05 ***
f2           2.77500    0.26538  10.457 1.59e-05 ***
f3          -4.98750    0.46396 -10.750 1.33e-05 ***
f4           7.79583    0.70817  11.008 1.13e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.1168 on 7 degrees of freedom
Multiple R-squared: 0.9484, Adjusted R-squared: 0.9189 
F-statistic: 32.16 on 4 and 7 DF,  p-value: 0.0001348 

现在我注意到，正如预期的那样，它x是的重要预测因子y。

我正在寻找的是关于这种差异的直觉。我的想法在哪里错了？为什么我会错误地期望x在这两个模型中都找到一个重要的参数，而实际上只能在固定效果模型中看到它呢？

这里发生了几件事。这些是有趣的问题，但是需要花大量的时间/空间来解释所有问题。

首先，如果我们绘制数据，这一切将变得更容易理解。这是一个散点图，其中数据点按组着色。此外，我们为每个组都有单独的特定于组的回归线，以及一条简单的回归线（忽略组），以粗体显示：

plot(y ~ x, data=dat, col=f, pch=19)
abline(coef(lm(y ~ x, data=dat)), lwd=3, lty=2)
by(dat, dat$f, function(i) abline(coef(lm(y ~ x, data=i)), col=i$f))

固定效应模型

$x$$x$$x$$x$$x$$x$$x$$y$$t$

$x$$x$$x$lm()

混合模型

$x$$x$$x$$x$

$x$

以下是简单回归模型的系数（图中的粗虚线）：

> lm(y ~ x, data=dat)

Call:
lm(formula = y ~ x, data = dat)

Coefficients:
(Intercept)            x  
   0.008333     0.008643  

如您所见，此处的系数与我们在混合模型中获得的系数相同。这正是我们期望找到的结果，因为您已经注意到，随机截距的方差估计为0，使前面提到的比率/类内相关性为0。因此，在这种情况下，混合模型的估计只是简单的线性回归估计，并且正如我们在图中所看到的，这里的斜率远不如集群内的斜率明显。

这使我们面临一个最终的概念问题。

为什么随机截距的方差估计为0？

这个问题的答案可能会变得有点技术性和困难性，但是我将尽我所能保持其简单性和非技术性（就我们双方而言！）。但这可能仍然有些漫长。

我在前面提到了类内相关的概念。这是思考依赖的另一种方式$y$（或更准确地说，模型的误差）是由聚类结构引起的。类内相关告诉我们从同一个聚类中提取的两个误差的平均相似度，相对于从数据集中任何地方（即可能在同一个聚类中或可能不在同一个聚类中）得出的两个误差的平均相似度。类别内的正相关告诉我们，来自同一聚类的错误往往彼此相对更相似；如果我从一个群集中提取一个错误并且它具有很高的价值，那么我可以大有机会从同一个群集中提取下一个错误也具有很高的价值。类内相关性虽然不太常见，但也可能为负。从同一聚类中得出的两个误差的相似度较小（即，值相距较远），而不是整个数据集通常期望的误差。

我们正在考虑的混合模型未使用类内相关方法来表示数据中的依存关系。相反，它以方差成分的形式描述了依赖性。只要组内相关为正，就可以。在那些情况下，类内相关性可以很容易地用方差成分来表示，特别是前面提到的随机截距方差与总方差之比。（有关类内关联的信息，请参见Wiki页面。不幸的是，方差成分模型很难处理类内部相关性为负的情况。毕竟，根据方差成分写类内相关性涉及将其写成方差的一部分，并且比例不能为负。

$y$$y$$y$，而从不同聚类中得出的误差往往会有更适度的差异。）因此，在实际情况下，您的混合模型正在执行混合模型在这种情况下通常会做的事情：它提供的估计与类内负相关性一致尽其所能，但它会在0的下限处停止（此约束通常被编程到模型拟合算法中）。因此，我们得出的随机截距方差估计值为0，这仍然不是一个很好的估计值，但是与这种方差分量类型的模型所获得的结果非常接近。

所以，我们能做些什么？

$x$

$x$

$x$$x_b$$x$$x_w$$x$

> dat <- within(dat, x_b <- tapply(x, f, mean)[paste(f)])
> dat <- within(dat, x_w <- x - x_b)
> dat
      y   x f x_b x_w
1  -0.5   2 1   3  -1
2   0.0   3 1   3   0
3   0.5   4 1   3   1
4  -0.6  -4 2  -3  -1
5   0.0  -3 2  -3   0
6   0.6  -2 2  -3   1
7  -0.2  13 3  14  -1
8   0.1  14 3  14   0
9   0.4  15 3  14   1
10 -0.5 -15 4 -14  -1
11 -0.1 -14 4 -14   0
12  0.4 -13 4 -14   1
> 
> mod <- lmer(y ~ x_b + x_w + (1|f), data=dat)
> mod
Linear mixed model fit by REML 
Formula: y ~ x_b + x_w + (1 | f) 
   Data: dat 
   AIC   BIC logLik deviance REMLdev
 6.547 8.972  1.726   -23.63  -3.453
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.000000 0.00000 
 Residual             0.010898 0.10439 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.030135   0.277
x_b         0.005691   0.002977   1.912
x_w         0.462500   0.036908  12.531

Correlation of Fixed Effects:
    (Intr) x_b  
x_b 0.000       
x_w 0.000  0.000

$x_w$$x_b$$y$$x$$x$$x_b$$t$-统计量更大。这也不足为奇，因为在混合模型中，由于随机组效应消耗了简单回归模型必须处理的许多方差，因此剩余方差要小得多。

最后，由于我在上一节中阐述的原因，我们仍然对随机截距的方差估计为0。我真的不确定至少在不切换至以外的其他软件的情况下，我们能对此做些什么lmer()，而且我也不确定在最终的混合模型中这仍将在多大程度上对我们的估计产生不利影响。也许其他用户可以对此问题发表一些看法。

参考文献

• 贝尔（Bell，A.）和琼斯（Jones，K.）（2014）。解释固定效应：时间序列横截面和面板数据的随机效应建模。政治科学研究与方法。 PDF格式
• Bafumi，J。，＆Gelman，AE（2006）。当预测变量和群体效应相关时，拟合多层次模型。PDF格式

经过深思熟虑，我相信我已经找到了自己的答案。我相信计量经济学家会将我的自变量定义为内生变量，从而将其与自变量和因变量相关联。在这种情况下，这些变量将被忽略或未被观察到。但是，我确实观察到省略变量应在其之间变化的分组。

我相信计量经济学家会建议采用固定效应模型。也就是说，在这种情况下，模型包括针对每个分组级别的虚拟对象（或对模型进行条件调整的等效规范，从而无需进行许多分组虚拟操作）。对于固定效应模型，希望可以通过调节组（或单个）变异来控制所有未观察到的和时不变的变量。确实，我所问的第二个模型恰好是固定效应模型，因此给出了我期望的估计值。

我欢迎评论将进一步阐明这种情况。