OLS残差不呈正态分布时的回归

该站点上有多个主题讨论如何确定OLS残差是否渐近正态分布。这个极好的答案提供了另一种用R代码评估残差的正态性的方法。这是关于标准化残差和观察到的残差之间实际差异的另一讨论。

但是，可以说残差绝对不是正态分布的，如本例所示。在这里，我们有数千个观测值，显然我们必须拒绝正态分布残差假设。解决该问题的一种方法是采用某种形式的鲁棒估计器，如答案中所述。但是，我不仅限于OLS，实际上我想了解其他glm或非线性方法的好处。

违反残留假设的OLS正态性的数据建模的最有效方法是什么？或者至少应该是开发合理的回归分析方法的第一步？

面对非正态误差，普通最小二乘估计仍然是一个合理的估计。特别是，高斯-马尔可夫定理指出，只要有误差，普通最小二乘估计就是回归系数的最佳线性无偏估计量（“最佳”表示就最小化均方误差而言为最佳）。

（1）均值为零

（2）不相关

（3）具有恒定的方差

请注意，这里没有正常的条件（甚至没有任何错误是IID的条件）。

当您尝试获取置信区间和/或时，正常条件起作用。作为@MichaelChernick提到（+1，顺便说一句），可以使用强大的推理时的误差是不正常的，只要从常态出发，可以通过该方法处理的-例如，（正如我们在讨论这个线程）胡伯当真正的误差分布是正态分布与长尾分布（您的示例看起来像）之间的混合时，-estimator可以提供可靠的推断，但对于其他偏离正态性可能没有帮助。迈克尔提到的一种有趣的可能性是自举以获取OLS估计的置信区间，并查看其与基于Huber的推断的比较。$p$$M$

编辑：我经常听到它说您可以依靠中央极限定理来处理非常规错误-这并不总是正确的（我不只是在讨论定理失败的反例）。在OP所指的真实数据示例中，我们的样本量很大，但可以看到长尾误差分布的证据-在出现长尾误差的情况下，不必一定要依靠中央极限定理来给出您可以近似无偏地推断出实际的有限样本量。例如，如果误差遵循具有自由度的（这显然不是更多$t$$2.01$ 系数估计值是渐近正态分布的，但是“踢入”所需的时间比其他短尾分布要长得多。

下面，我通过粗略的仿真演示R，当，其中 ，的采样分布即使样本量为仍然拖尾很长：ε 我〜吨2.01 β 1 ñ = $y_{i} = 1 + 2x_{i} + \varepsilon_i$$\varepsilon_{i} \sim t_{2.01}$$\hat{\beta}_{1}$$n=4000$

set.seed(5678)
B = matrix(0,1000,2)
for(i in 1:1000)
{
    x = rnorm(4000) 
    y = 1 + 2*x + rt(4000,2.01)
    g = lm(y~x)
    B[i,] = coef(g)
}
qqnorm(B[,2])
qqline(B[,2])

我认为您想查看残差的所有属性。

1. 常态
2. 恒定方差
3. 与协变量相关。
4. 以上的组合

如果它仅是1，并且是由于拖尾或一条粗尾导致的偏斜或偏斜，那么稳健的回归可能是一种很好的方法，也可能是向正态性的转换。如果是非恒定方差，请尝试进行方差稳定化变换或尝试对方差函数建模。如果只有3，则表明涉及该协变量的模型的另一种形式。自举向量或残差的任何问题总是一个选择。

我的经验与Michael Chernick完全一致。有时应用数据转换不仅会使建模误差呈正态分布，而且还可以纠正异方差性。

对不起，在我看来，实践这种科学/技术会误导别人，例如收集大量数据或采用效率较低的鲁棒回归方法。

宏（上面的jsut）指出了正确的答案。只是有点精确，因为我有同样的问题

当残差也是同方差时，残差的正态条件很有用。结果是，OLS在所有估计量之间具有最小的方差（线性或非线性）。

扩展的OLS假设：

1. $E(u|X_i = x) = 0$
2. $(X_i,Y_i), i=1,…,n,$是iid
3. 较大的异常值很少
4. 你是同性恋
5. u分布$N(0,σ^2)$

如果通过1-5验证，则OLS在所有估计量之间的差异最小（线性或非线性）。

如果仅通过1-4验证，则由高斯-马尔可夫（Gauss-Markov）认为，OLS是最佳线性（仅！）估计量（蓝色）。

资料来源：Stock and Watson，计量经济学+我的课程（EPFL，计量经济学）

对于非正常条件，有时会求助于稳健的回归，尤其是使用方法的链接。

为了呈现非正态性的上下文，它可能有助于回顾线性OLS回归的假设，这些假设是：

• 外生性弱。这实质上意味着可以将预测变量x视为固定值，而不是随机变量。例如，这意味着将预测变量假定为无错误，即不受测量错误的污染。此假设是最经常违反的假设，并导致此假设列表中列举的错误。
• 线性度。这意味着响应变量的平均值是参数（回归系数）和预测变量的线性组合。请注意，此假设的限制远不如最初看起来的限制。因为将预测变量视为固定值（请参见上文），所以线性实际上仅是对参数的限制。预测变量本身可以任意转换，实际上，可以添加同一基础预测变量的多个副本，每个副本的转换方式不同。
• 恒定方差（又称均方差）。这意味着响应变量的不同值在其误差中具有相同的方差，而不管预测变量的值如何。实际上，如果响应变量可以在较大范围内变化，则该假设无效（即错误是异方差的）。为了检查异构误差方差，或当残差模式违反均模性的模型假设时（对于x的所有点，误差在“最佳拟合线”附近均可变）），因此请谨慎考虑一下残余误差与预测值之间的“扇动效应”。这就是说，相对于预测变量进行绘制时，绝对残差或平方残差将发生系统性变化。错误不会在回归线上平均分布。异方差性将导致对这些点周围的可区别方差求平均，从而得到一个不准确地代表线的所有方差的单个方差。实际上，对于线性回归线上的点的更大和更小的值，残差似乎在它们的预测图上成簇并分散开，并且模型的均方误差将是错误的。
• 错误的独立性。这假定响应变量的错误彼此不相关。（实际的统计独立性比不存在相关性要强得多，并且经常不需要，尽管可以掌握它可以被利用。可以通过聚类分析和交互作用校正来检验后者。）一些方法（例如广义的最小二乘）能够处理相关误差，尽管它们通常需要大量数据，除非使用某种形式的正则化方法使模型偏向于假设不相关误差。贝叶斯线性回归是处理此问题的一般方法。

• 误差项与回归变量之间的统计关系在确定估算程序是否具有理想的采样属性（例如无偏且一致）方面起着重要作用。

• 预测变量x的排列或概率分布对β的估计精度有重大影响。实验的采样和设计是高度发展的统计子领域，它们为收集数据提供了指导，从而可以实现对β的精确估计。

如该答案所示，一条直线的模拟学生分布的轴误差会导致OLS回归线的斜率和截距的置信区间随着自由度（）的减小而增大。对于，Student-是柯西分布，并且斜率的置信区间变为。$t$$y$$df$$df=1$$t$$(-\infty,+\infty)$

在产生误差为柯西分布的情况下，就残差而言调用柯西分布是任意的，因为当生成误差是柯西分布时，来自杂散线的数据中的OLS残差将更加不可靠，即，垃圾进-垃圾出。在这种情况下，可以使用Theil-Sen回归回归。对于非正态残差，Theil-Sen当然比OLS更健壮，例如，柯西分布误差不会降低置信区间，并且不同于OLS也是双变量回归，但是在双变量情况下它仍然存在偏差。Passing-Bablok回归可以是更公正的双变量，但不适用于负回归斜率。它最常用于方法比较研究。应该提到戴明回归在这里，与Theil-Sen和Passing-Bablok回归不同，它是双变量问题的实际解决方案，但缺乏其他回归的鲁棒性。可以通过截断数据以包含更多中心值来提高鲁棒性，例如，随机样本共识（RANSAC）是一种从包含异常值的观察数据集中估算数学模型参数的迭代方法。

那么二元回归是什么？缺乏对问题的双变量性质的测试是OLS 回归稀释的最常见原因，并且在此站点的其他地方也都有很好的介绍。在这种情况下，OLS偏见的概念尚未得到很好的认识，例如，参见Longford等人提出的Frost和Thompson。（2001年），它向读者介绍了其他方法，扩展了回归模型以确认变量的可变性，因此不会出现偏差。换句话说，当同时使用和时，有时不能忽略双变量案例回归$x$$^1$$x$$y$-值是随机分布的。可以通过将OLS回归线拟合到数据的OLS回归中的残差来测试是否需要双变量回归。然后，如果OLS残差的斜率非零，则问题是双变量的，数据的OLS回归将具有太浅的斜率幅度，以及截距太大的截距以至于不能代表函数关系在和之间。在这些情况下，的最小误差线性估计量实际上仍将来自OLS回归，并且其R值将处于最大可能值，但OLS回归线将不代表与之相关的实际线函数在和$x$$y$$y$$^2$$x$$y$随机变量。作为反例，当在等距的时间序列中发生其他问题时，原始数据的OLS并不总是不合适的，它可能代表最佳的线，但仍然受制于变量转换（例如计数数据），可以取计数的平方根，将泊松分布误差的误差转换为更正常的条件，而仍然应检查残差的非零斜率。 $x$$y=f(x)$

1. 新界朗福德（2001）。“对应”。皇家统计学会杂志，系列A. 164：565。doi：10.1111 / 1467-985x.00219