异方差和残差正态性


12

我猜想我有一个很好的线性回归(这是用于大学项目的,因此我并不一定要非常准确)。

关键是,如果我绘制残差与预测值的关系图,(根据我的老师的话)会有异方差的迹象。

但是,如果我绘制残差的QQ图,则很明显它们是正态分布的。此外,残差的Shapiro检验的值为,因此我认为毫无疑问,残差实际上是正态分布的。p0.8

问题:如果残差呈正态分布,预测值怎么会有异方差?


1
一个很短的除了@whubers出色答卷:您可以使用ncvTest该功能的车包R正式进行测试异。在whuber的示例中,该命令ncvTest(fit)产生的值几乎为零,并提供了有力的证据证明恒定的误差方差(当然是期望的)。p
COOLSerdash

Answers:


16

解决这个问题的一种方法是反过来看:我们如何从正态分布的残差开始并将它们安排为异方差?从这个角度来看,答案变得显而易见:将较小的残差与较小的预测值相关联。

为了说明,这是一个显式构造。

数字

相对于线性拟合(以红色显示),左侧的数据显然是异方差的。这由右侧的残差预测图驱动。但是-通过构造- 无序残差接近正态分布,如中间的直方图所示。(Shapiro-Wilk正常性检验中的p值为0.60,这是在运行以下代码后发出的R命令所获得的shapiro.test(residuals(fit))。)

真实数据也可能像这样。道德观念是,异方差刻画了残差大小与预测之间的关系,正态性没有告诉我们残差如何与其他任何因素相关。


这是R此构造的代码。

set.seed(17)
n <- 256
x <- (1:n)/n                       # The set of x values
e <- rnorm(n, sd=1)                # A set of *normally distributed* values
i <- order(runif(n, max=dnorm(e))) # Put the larger ones towards the end on average
y <- 1 + 5 * x + e[rev(i)]         # Generate some y values plus "error" `e`.
fit <- lm(y ~ x)                   # Regress `y` against `x`.
par(mfrow=c(1,3))                  # Set up the plots ...
plot(x,y, main="Data", cex=0.8)
abline(coef(fit), col="Red")
hist(residuals(fit), main="Residuals")
plot(predict(fit), residuals(fit), cex=0.8, main="Residuals vs. Predicted")

2
好的,所以您是说,如果我将低残差与较高的预测值相关联,即使残差呈正态分布,也会出现异方差吗?我想我已经明白了,尽管我应该更多地考虑一下。
2013年

...或具有低预测值的低残差(如此处的示例),甚至是更复杂的方式。例如,当残差的平均幅度与预测值一起振荡时,存在异方差。(大多数正式的异方差测试都不会检测到这一点,但通常的诊断图会清楚地表明这一点。)
胡伯

0

在加权最小二乘(WLS)回归中,您可能希望能够看到的估计残差的随机因素呈正态分布,尽管它通常并不十分重要。如简单的(一个回归变量,并通过原点)回归案例所示,估计的残差可以在https://www.researchgate.net/publication的第1页底部以及第2和7页的下半部分中进行分解。/ 263036348_Properties_of_Weighted_Least_Squares_Regression_for_Cutoff_Sampling_in_ Establishmentment_Surveys 无论如何,这可能有助于显示常态可以进入图片的位置。


欢迎来到该站点,@ JimKnaub。我们很乐意邀请​​您到处来,以解决偶尔遇到的问题。为什么不注册您的帐户?您可以在我们的帮助中心的“ 我的帐户”部分中找到操作方法。由于您是新来的,因此您可能想参加我们的游览,其中包含有关新用户的信息。
gung-恢复莫妮卡

3
我们正在尝试以问题和解答的形式建立永久的高质量统计信息存储库。因此,由于linkrot,我们对依赖链接的答案保持警惕。您可以在链接中发布完整的引文和信息摘要(例如,数字/说明),以便即使链接失效也可以使信息有用。
gung-恢复莫妮卡
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.