高斯模型中最小二乘和MLE之间的等价关系

我是机器学习的新手，并且正在尝试自己学习。最近，我正在阅读一些讲义，并提出了一个基本问题。

幻灯片13表示“最小二乘估计与高斯模型下的最大似然估计相同”。看来这很简单，但我看不到这一点。有人可以解释一下这是怎么回事吗？我对看数学感兴趣。

稍后我将尝试查看Ridge和Lasso回归的概率观点，因此，如果有任何建议对我有帮助，也将不胜感激。

regression bayesian least-squares

— 安迪
source

p下方的目标函数。13仅是p底部目标函数的常数（

）。10. MLE使前者最小化，而最小二乘使QED最小化。

n

$n$

— 哇

@whuber：谢谢您的回答。好吧，我想知道的是MLE如何进行最小化。

— 安迪

您是指力学还是概念上的？

— ub

@whuber：都！如果我能看到数学，那也会有所帮助。

— 安迪（Andy）

链接断开；缺少完整的参考文献和更多的引用上下文，很难仅删除参考文献或为它找到替代来源。此链接的幻灯片13是否足够？--- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b-恢复莫妮卡（Monica）

在模型中

$Y = X \beta + \epsilon$

其中，的对数似然对象的样本的为（最大为加法常数） $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

如果仅将其视为的函数，则最大化器恰好是将最小化的函数 $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

这是否使等价清楚？

— 巨集
source

这正是OP中提到的幻灯片中的内容

— 笨蛋

是的，我看到了，但是他们实际上并没有在第13页上写高斯对数似然，这样做之后，很明显它的argmax与OLS标准的argmin相同，因此我认为这是值得添加的。

— 宏

优点：幻灯片的细节有点粗略。

— ub

β

$\beta$

L_{2}

$L_{2}$

加性常数是n/2 log(2 *pi)

— SmallChess