为什么线性回归中的正态性假设

我的问题很简单：在线性回归假设中，为什么我们选择正态作为误差项遵循的分布？为什么我们不选择其他制服，例如t或其他？

我们确实选择其他错误分布。在许多情况下，您可以轻松地做到这一点；如果您使用最大似然估计，这将改变损失函数。这肯定是在实践中完成的。

拉普拉斯（双指数误差）对应于最小绝对偏差回归/ $L_1$回归（许多现场讨论）。偶尔会使用t误差回归（在某些情况下，因为它们对总误差更健壮），尽管它们可能有一个缺点-可能性（因此损失的负数）可以有多种模式。

均匀的错误对应于$L_\infty$损失（最小化的最大偏差）; 这种回归有时称为Chebyshev逼近（尽管要小心，因为存在另一种名称基本上相同的东西）。再说一次，这有时是可以做到的（实际上是为了简单回归和具有恒定分布的有限误差的小数据集，通常很容易直接在图上手动找到拟合值，尽管在实践中您可以使用线性编程方法或其他算法;实际上，$L_\infty$和$L_1$回归问题是彼此的对偶，这可能导致有时方便快捷方式存在一些问题）。

实际上，这是一个手工拟合数据的“均匀错误”模型的示例：

很容易识别（通过向数据滑动一条直线），四个标记点是唯一在活动集中的候选点。它们中的三个实际上将形成活动集（不久就会进行一点检查，以确定哪个三个导致了涵盖所有数据的最窄带）。在该带（标记为红色）的中心的线为然后该线的最大似然估计。

模型的许多其他选择是可能的，并且实践中已经使用了许多选择。

请注意，如果存在附加的，独立的，恒定扩散的误差，其密度为$k\,\exp(-c.g(\varepsilon))$，最大限度地提高的可能性将对应于最小化$\sum_i g(e_i)$，其中$e_i$是$i$个残差。

但是，出于多种原因，最小二乘是一种流行的选择，其中许多不需要任何正态性假设。

通常使用高斯/高斯假设，因为它是计算上最方便的选择。计算回归系数的最大似然估计是一个二次最小化问题，可以使用纯线性代数解决。噪声分布的其他选择会产生更复杂的优化问题，这些问题通常必须用数字解决。特别地，问题可能是非凸的，从而产生其他复杂性。

一般而言，常态不一定是一个好的假设。正态分布的尾巴很轻，这使得回归估计值对异常值非常敏感。如果测量数据包含异常值，则诸如Laplace或Student t分布之类的替代方法通常会更好。

有关更多信息，请参见Peter Huber的开创性著作《稳健统计》。

使用这些假设时，基于平方误差的回归和最大似然可为您提供相同的解决方案。您还可以获得系数重要性的简单F检验，以及预测的置信区间。

总而言之，我们之所以经常选择正态分布是因为它的属性，这通常使事情变得容易。这也不是一个限制性很强的假设，因为许多其他类型的数据将表现为“正常类型”

无论如何，正如前面的答案中提到的，有可能为其他分布定义回归模型。正常恰好是最经常出现的一种

Glen_b已经很好地解释了OLS回归可以被推广（可能性最大化，而不是减少平方和），我们做选择其他分布。

但是，为什么是正态分布的选择，以常？

原因是正态分布自然会在许多地方发生。这有点像我们经常看到黄金比例或斐波那契数在自然界中的各个地方“自发地”发生。

正态分布是具有有限方差的变量总和的限制分布（或者也可以使用不太严格的限制）。而且，在没有限制的情况下，它对于有限数量的变量之和也是一个很好的近似值。因此，由于许多观察到的误差是许多小的未观察到的误差的总和，因此正态分布是一个很好的近似值。

另请参阅此处正态分布的重要性

高尔顿的豆子机直观地展示了原理

为什么我们不选择其他发行版？

$y_i \in \mathbb R$$x_i \in \mathbb R^n$$x_i$

$$\hat y_i = w^\intercal x_i.$$

意外损失通常是最明智的损失：

$$L = -\log P(y_i \mid x_i).$$

您可以将线性回归视为在上述方程式中使用具有固定方差的正态密度：

$$L = -\log P(y_i \mid x_i) \propto (y_i - \hat y_i)^2.$$

这导致权重更新：

$$\nabla_w L = (\hat y_i - y_i)x_i$$

---

通常，如果您使用其他指数族分布，则此模型称为广义线性模型。不同的分布对应于不同的密度，但是可以通过更改预测，权重和目标来更轻松地将其形式化。

$W \in \mathbb R^{n\times k}$

$$\hat u_i \triangleq \nabla g(W x_i)$$

$\nabla g: \mathbb R^k \to \mathbb R^k$$y_i$ $u_i = T(y_i) \in \mathbb R^k$

每个链接函数和足够的统计信息都对应于一个不同的分布假设，这就是您的问题所在。要了解为什么，让我们看一下带有自然参数的连续值指数族的密度函数$\eta$

$$f(z) = h(z)\exp(\eta^\intercal T(z) - g(\eta)).$$

$\eta$$w^\intercal x_i$$z = y_i$

$$\begin{align} \nabla_W L &= \nabla_W -\log f(x) \\ &= (\nabla g(W x_i)) x_i^\intercal - T(y_i) x_i^\intercal \\ &= (\hat u_i - u_i) x_i^\intercal \end{align},$$ which has the same nice form as linear regression.

---

As far as I know, the gradient log-normalizer can be any monotonic, analytic function, and any monotonic, analytic function is the gradient log-normalizer of some exponential family.