为什么混合效应模型可以解决依赖关系？

假设我们对学生考试成绩如何受到这些学生学习时间的影响感兴趣。为了探究这种关系，我们可以运行下面的线性回归：

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$

但是，如果我们从几所不同的学校对学生进行抽样调查，我们可能期望同一所学校的学生比来自不同学校的学生彼此更相似。为了解决此依赖性问题，许多教科书/网络上的建议是运行混合效果并以随机效果进入学校。因此，该模型将成为：

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + {school}_{j} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$ 但为什么这个解决依赖问题存在于线性回归？

请回应，就像您正在与12岁的孩子聊天一样

— 卢西亚诺
source

是否“解决”依赖关系问题取决于上下文。但是您可能会看到，现在扩展模型中的术语至少可以部分说明与特定学校相关的影响。

— image_doctor 2015年

在模型中包括随机项是在等级之间引入一些协方差结构的方法。学校的随机因子会引起同一学校的不同学生之间的非零协方差，而它是 $0$ 当学校不。

让我们来写你的模型在那里指标的学校，索引学生（每个学校）。术语是在拉伸独立随机变量。的是在拉伸独立随机变量

Y_{s, i} = α + {hours}_{s, i} β + {school}_{s} + e_{s, i}

$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$

s

$s$

i

$i$

{school}_{s}

$\text{school}_s$

N (0, τ)

$\mathcal N(0, \tau)$

e_{s, i}

$e_{s, i}$

N (0, σ^{2})

$\mathcal N(0, \sigma^2)$ 。

该载体预期值

{[α + {小时}_{s ， 一世} β]}_{s ， 一世}

$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$ 这是由工作的小时数来确定。

当时与之间的协方差为 $Y_{s,i}$ $Y_{s',i'}$ $0$ $s \ne s'$ ，，这意味着当学生不在同一所学校时，成绩与期望值的偏离是独立的。

之间的协方差和是当，和的方差是 $Y_{s,i}$ $Y_{s,i'}$ $\tau$ $i \ne i'$ $Y_{s,i}$ $\tau + \sigma^2$ ：来自同一学校的学生的成绩将已从其预期值相关起程。

示例和模拟数据

下面是一个简短ř仿真用于从五所学校的学生50（下面我带）; 变量的名称是自记录的： $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

我们从每个学生的预期级，也就是术语绘制离港与（虚线）为每所学校平均发车在一起： $\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

mixed model

现在让我们对此情节发表评论。每个虚线（对应级别）是随机的正常规律得出。学生特定的随机术语在正常法则中也是随机绘制的，它们对应于点到虚线的距离。对于每个学生，结果值是的偏离，即工作时间所决定的等级。结果，正如您在问题中所指出的，同一所学校的学生比来自不同学校的学生彼此更相似。 $\text{school}_s$ $\alpha + \text{hours} \beta$

此示例的方差矩阵

$\text{school}_s$ $e_{s,i}$

[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}]

$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$ 其中五个

10 \times 10

$10\times 10$

A

$A$

A = [\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}] .

$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$

— Elvis
source

Elvis: thats probably a great answer for people more versed in statistics than I. However I can extract little meaning from it. Could you edit your response in a way that a 12 year old might be able to understand?

— luciano

A... 12 years old?! Wow! I will add some simulations, if this can help.

— Elvis

Done. Hope this helps. If not, please be more specific about what you don’t get. Note that a 12 yo would not understand the question either... you can’t ask for an answer simpler than the question.

— Elvis