当误差不是正态分布时，为什么最小二乘和最大似然回归方法不等效？

标题说明了一切。我知道，如果模型的误差呈正态分布，则最小二乘和最大似然将为回归系数提供相同的结果。但是，如果错误不是正态分布的，会发生什么？为什么这两种方法不再等效？

简短答案

多元高斯分布变量的概率密度与均值与欧几里德的平方有关均值和变量之间的距离（），即平方和。$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

长答案

如果将多个高斯分布乘以误差（假设均等偏差），那么将得到平方和。$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

或以方便的对数形式：

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

因此，优化以最小化平方和等于最大化（log）可能性（即，多个高斯分布或多元高斯分布的乘积）。$\mu$

它是指数结构内部的差异嵌套平方，，而其他分布则没有。$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

例如，与泊松分布的情况进行比较

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

当最小化以下各项时，它具有最大值：

$$\sum \mu_j -log(\mu_j) x_{ij}$$

这是另一种野兽。

---

另外（历史）

正态分布的历史（忽略deMoivre成为二项式分布的近似值）实际上是因为发现使得MLE对应于最小二乘法（而不是最小二乘法）可以表示正态分布的MLE，首先是最小二乘法，其次是高斯分布）

请注意，高斯将“最大似然法”与“最小二乘法”联系在一起，提出了“高斯分布”，这是导致我们得出的唯一误差分布。在这两种方法之间建立联系。$e^{-x^2}$

摘自查尔斯·亨利·戴维斯（Charles Henry Davis）的译本（圆锥形截面中围绕太阳运动的天体运动的理论。高斯的“ Theoria motus”的翻译，带有附录）...

高斯定义：

因此，概率被分配到每个错误将由的函数来表示我们应由表示。$\Delta$$\Delta$$\psi \Delta$

^{（由我完成的翻译）}

并继续（在第177页258节中）：

...据此很容易推断必须是一个常数。我们将用表示。因此，我们有用表示双曲对数的底，并假设$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

最终（归一化并实现）在$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

由StackExchangeStrike撰写

因为MLE是从剩余正态分布的假设中得出的。

注意

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

有没有意义概率：只要找到，最大限度地减少了损失平方功能。一切都是确定性的，那里没有随机成分。$\beta$

假设概率和可能性的概念到哪里来了

$$y=X\beta + \epsilon$$

在我们将视为随机变量的情况下，正态分布。$y$$\epsilon$

最小二乘和最大（高斯）似然拟合始终相等。即，通过相同的系数集将它们最小化。

更改关于误差的假设会更改您的似然函数（使模型的似然性最大化等效于使误差项的似然性最大化），因此该函数将不再由同一组系数最小化。

因此，实际上两者是相同的，但理论上，当您最大化不同的可能性时，您得到的答案将不同于最小二乘

一个具体的例子：假设我们采用一个简单的误差函数p（1）=。9，p（-9）= .10。如果我们得到两点，那么LS就是要通过它们。另一方面，ML将假设两个点都太高一个单位，因此将使线穿过单位向下移动的点。