普通的最小二乘是什么？

我的一个朋友最近问什么是普通的，关于普通最小二乘。我们似乎没有在讨论中取得任何进展。我们都同意OLS是线性模型的特例，它具有许多用途，众所周知，并且是许多其他模型的特例。但这真的是全部吗？

因此，我想知道：

名字的真正来源是什么？
谁是第一个使用这个名字的人？

— Repmat
source

这很普通，因为现在还有其他变体。加权。强大的。非线性的 ...普通是您避免与其他事物混淆的方式。

— EngrStudent

可以推测OLS可能是大约在1805 AD左右开发的第一个数值拟合算法。主题变体出现后，很可能会添加普通名称。

— 卡尔

最小二乘通常被称为普通最小二乘（OLS），因为它是大约1800年开发的第一个统计程序，请参见历史。它等效于最小化范数，。随后，加权最小二乘，其他范数的最小化（例如），广义最小二乘法，M估计，双变量最小化（例如Deming回归），非参数回归，最大似然回归，正则化（例如Tikhonov，岭）和别的 $y$ $L_2$ $||Y-f(X)||_2$ $L_1$ 反问题技术和多种其他工具的开发。还有争论谁首先应用它，高斯或勒让德（见链接）。术语“普通”（表示）显然是在出现了许多替代方法之后才添加到“最小二乘”的，以至于（仍然是最流行的）OLS需要与大量可用的其他最小化区别开来。当精确地添加普通最小二乘时，将很难追踪，因为那是在自然而然或显而易见的情况下发生的。 $y$ $+$

— 卡尔
source

您还可以将OLS与WLS（加权最小二乘）进行对比，以最小化加权平方。

— AdamO '16

实际上，它实际上已经在“其他”规范之下，例如

被加权。

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$

— 卡尔

这是一个古老的问题，如果我没记错的话（当时）我真的很感兴趣找出谁首先使用了OLS一词...猜猜我永远不会知道... +1的好答案

— Repmat

L_{2}

$L_2$

L_{2}

$L_2$

我同意@AdamO的观点，即普通与加权似乎是可能的对比。（*，而是“广义”。在计算科学中，我认为这仍将被称为加权？为什么权重矩阵必须是对角线的？）

— GeoMatt22 2016年