线性回归情况下MLE与最小二乘法之间的关系

Hastie和Tibshirani在其书的第4.3.2节中提到，在线性回归设置中，最小二乘法实际上是最大似然的一种特殊情况。我们如何证明这个结果？

PS：不保留任何数学细节。

线性回归模型

$Y = X\beta + \epsilon$，其中$\epsilon \sim N(0,I\sigma^2)$

$Y \in \mathbb{R}^{n}$，和$X \in \mathbb{R}^{n \times p}$$\beta \in \mathbb{R}^{p}$

请注意，我们的模型误差（残差）为。我们的目标是找到一个 s 向量，以最小化此错误的范数平方。${\bf \epsilon = Y - X\beta}$$\beta$$L_2$

最小二乘

给定数据，其中每个是维的，我们试图找到：$(x_1,y_1),...,(x_n,y_n)$$x_{i}$$p$

$$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$$

最大似然

使用上面的模型，我们可以在给定参数下将数据的可能性设置为：$\beta$

$$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$$

其中是均值0和方差的正态分布的pdf 。插入：$f(y_i|x_i,\beta)$$\sigma^2$

$$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$$

现在，通常在处理可能性时，在数学上更容易在继续之前记录对数（乘积变为总和，指数消失），所以让我们开始吧。

$$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$$

由于我们需要最大似然估计，因此我们想要找到关于上述方程式的最大值。第一项不会影响我们对的估计，因此我们可以忽略它：$\beta$$\beta$

$$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$$

注意，分母相对于是一个常数。最后，请注意，总和前面有一个负号。因此，找到一个负数的最大值就像找到一个没有负数的最小值。换一种说法：$\beta$

$$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$$

回想一下，要使此方法起作用，我们必须做出某些模型假设（误差项的正态性，0均值，恒定方差）。在某些条件下，这使得最小二乘等效于MLE。请参阅此处和此处以获取更多讨论。

为了完整起见，请注意该解决方案可以写成：

$${\bf \beta = (X^TX)^{-1}X^Ty}$$