线性混合模型中方差的残差诊断和均质性

10

在问这个问题之前，我确实搜索了我们的网站并发现了很多类似的问题（例如here，here和here）。但是我觉得这些相关问题没有得到很好的回答或讨论，因此想再次提出这个问题。我觉得应该有很多观众希望对这些问题进行更清晰的解释。

对于我的问题，首先考虑线性混合效果模型

y = X β + Z γ + ϵ

$\mathbf{y = X\boldsymbol \beta + Z \boldsymbol \gamma + \boldsymbol \epsilon}$ 其中

X β

$X\boldsymbol \beta$ 是线性固定效果分量，

Z

$\mathbf{Z}$ 是对应的所述附加设计矩阵随机效应参数，

γ

$\boldsymbol \gamma$ 。而

ϵ \sim N (0, σ^{2} I)

$\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$ 是通常的误差项。

让我们假设唯一的固定影响因子是3个不同级别的分类变量Treatment。唯一的随机影响因素是变量Subject。也就是说，我们有一个具有固定治疗效果和随机受试者效应的混合效应模型。

因此，我的问题是：

线性混合模型设置中是否存在与传统线性回归模型类似的方差假设的同质性？如果是这样，那么在上述线性混合模型问题的背景下，假设的具体含义是什么？还有哪些其他重要假设需要评估？

我的想法：是的。假设（我的均值，零误差均值和均方差）仍来自此处： $\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$ 。在传统的线性回归模型设置中，我们可以说假设是“误差的方差（或只是因变量的方差）在所有3个治疗水平上都是恒定的”。但是我不知道如何在混合模型设置下解释这个假设。我们应该说：“在3种治疗水平上，方差是恒定的吗？是否取决于受试者？”

有关残差和影响诊断的SAS在线文档提出了两种不同的残留物，即边际残差，和有条件的残差，我的问题是，两个残差分别用于什么？我们如何使用它们来检查同质性假设？对我而言，只有边际残差可用于解决同质性问题，因为它对应于模型的。我的理解对吗？
$r_{m} = Y - X \hat{β}$ $\mathbf{r_m = Y - X \hat{\boldsymbol \beta}}$ $r_{c} = Y - X \hat{β} - Z \hat{γ} = r_{m} - Z \hat{γ} .$ $\mathbf{r_c = Y - X \hat{\boldsymbol \beta} - Z \hat{\boldsymbol \gamma} = r_m - Z \hat{\boldsymbol \gamma}} .$ $\boldsymbol \epsilon$
是否提出了任何测试来检验线性混合模型下的同质性假设？@Kam以前指出了levene的测试，这是正确的方法吗？如果没有，那是什么方向？我认为在拟合混合模型后，我们可以得到残差，也许可以进行一些测试（例如拟合优度测试？），但不确定如何。
我还注意到SAS中的Proc Mixed有三种残差类型，分别是Raw残差，Studentized残差和Pearson残差。我可以理解它们之间在公式方面的差异。但是对我来说，它们在真实数据图上似乎非常相似。那么如何在实践中使用它们呢？在某些情况下，一种类型比另一种类型更受欢迎吗？
对于真实数据示例，以下两个残差图来自SAS中的Proc Mixed。他们如何解决方差同质性的假设？

[我知道我在这里有几个问题。如果您能对任何问题向我提出任何想法，那就太好了。如果您不能解决所有问题。我真的很想讨论它们，以得到充分的理解。谢谢！]

这是边际（原始）残差图。

这是条件（原始）残差图。

— 曾a
source

大问题-一个可能的答案你的2号可以在这里找到comp.soft-sys.sas.narkive.com/7Qmrgufe/...

— dandar

3

我认为问题1和问题2是相互联系的。首先，方差假设的同质性来自。但是，该假设可以放宽到更一般的方差结构，在该结构中，同质性假设不是必需的。这意味着它实际上取决于如何假定的分布。 $\boldsymbol \epsilon \ \sim \ N(\mathbf{0, \sigma^2 I})$ $\boldsymbol \epsilon$

第二，条件残差用于检查（因此与之相关的任何假设）的分布，而边际残差可以用于检查总方差结构。 $\boldsymbol \epsilon$

— 曾a
source

我面临着与@AaronZeng相同的问题。“检查总方差结构”是什么意思，对于该结构应使用边际残差？人们将如何处理呢？为什么不集中精力检查的方差结构呢？谢谢。 $\gamma$

— clarpaul

1

这是一个非常广泛的话题，我仅提供有关与标准线性回归的联系的一般情况。

在问题列出的模型中，如果，其中表示主题或类。令。使用Cholesky分解，我们可以转换结果和设计矩阵

y_{i} \sim N (X_{i} β, Z_{i} D Z_{i}^{'} + σ^{2} I),

$\mathbf{y_i \sim N(X_i\boldsymbol \beta, Z_i \boldsymbol D Z'_i + \boldsymbol \sigma^2 I)},$

γ_{i} \sim N (0, D)

$\boldsymbol \gamma_i \sim N(\mathbf{0, D})$

i

$i$

Σ_{i} = Z_{i} D Z_{i}^{'} + σ^{2} I

$\mathbf{\Sigma_i=Z_i \boldsymbol D Z'_i + \boldsymbol \sigma^2 I}$

Σ_{i} = L_{i} L_{i}^{'}

$\mathbf{\Sigma_i=L_i L'_i}$

y_{i}^{*} = L_{i}^{- 1} y_{i}; X_{i}^{*} = L_{i}^{- 1} X_{i} .

$\mathbf{y^*_i=L_i^{-1}y_i; X^*_i=L_i^{-1}X_i}.$

如在应用纵向分析（页268）中所述，的广义最小二乘（GLS）估计（在上回归）可以从的OLS回归中重新估算在。因此，可以在此处使用来自生成的OLS的所有内置残留诊断程序。 $\boldsymbol \beta$ $\mathbf y_i$ $\mathbf X_i$ $\mathbf y^*_i$ $\mathbf X^*_i$

我们需要做的是：

从线性混合模型中的（边际）残差或方差分量估计中估计； $\boldsymbol \Sigma_i$
使用转换后的数据重新拟合OLS回归。

OLS回归假设具有均方差的独立观测值，因此可以将标准诊断技术应用于其残差。

可以在《应用纵向分析》一书的第10章“残差分析和诊断”中找到更多详细信息。他们还讨论了用转换残差，并且有一些（已转换的）残差图（相对于预测值或预测变量）。更多的读数在10.8“更多读数”和其中的书目注释中列出。 $\mathbf L_i$

此外，在我看来，假设我们假设独立且具有齐次方差，则可以使用标准回归工具对条件残差进行检验。 $\boldsymbol \epsilon$

— 兰德尔
source

关于这一主题的新闻纸热销。

— 兰德尔2015年