“最小二乘法”和“线性回归”，它们是同义词吗？

最小二乘法和线性回归有什么区别？是同一回事吗？

regression least-squares terminology

— 巴巴迪亚利纳
source

我想说的是，普通最小二乘法是更广泛的线性回归类别中的一种估计方法。尽管有些作者可能会使用“最小二乘法”和“线性回归”，就像它们可以互换一样。

— 马修·冈恩

如果您正在做普通的最小二乘，我会用那个术语。它不那么模棱两可。

— 马修·冈恩

另请参阅什么是回归模型。

— 理查德·哈迪

Answers:

线性回归假设自变量和因变量之间存在线性关系。它不会告诉您模型的安装方式。最小二乘拟合只是可能性之一。评论中还提供了其他训练线性模型的方法。

非线性最小二乘是常见的（https://en.wikipedia.org/wiki/Non-linear_least_squares）。例如，流行的Levenberg–Marquardt算法可解决以下问题：

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} \sum_{i = 1}^{m} {[y_{i} - f (x_{i}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

这是最小二乘优化，但模型不是线性的。

他们不是一回事。

— 你好，世界
source

除了@Student T的正确答案外，我想强调的是，最小二乘法是优化问题的潜在损失函数，而线性回归是优化问题。

给定某个数据集，可以使用线性回归来找到最佳的线性函数，这可以解释变量之间的联系。

在这种情况下，“最佳”可能由损失函数确定，将线性函数的预测值与数据集中的实际值进行比较。最小二乘可能是损失函数。

维基百科的最小二乘文章还显示了右侧图片，这些图片显示了将最小二乘用于除线性回归以外的其他问题，例如：

Wikipedia文章中的以下gif显示了使用最小二乘法拟合到数据集的几种不同的多项式函数。其中只有一个是线性的（多项式为1）。这摘自德国维基百科的文章。

— 尼古拉斯·里布尔
source

我们可以说动画中的非线性示例实际上在参数上仍然是线性的。

— Firebug

是的，但是目标和输入变量之间的模型关系是非线性的。您是否将拟合称为“线性回归”？我不会。

— Nikolas Rieble '17

我们应该区分“线性最小二乘”和“线性回归”，因为两者中的形容词“线性”是指不同的事物。前者是指参数线性拟合，而后者是指模型是自变量线性函数。

— JM不是统计学家

@JM许多消息来源认为，“线性”回归中的“线性”表示“参数中为线性”，而不是“ IV中为线性”。WIkipedia上有关线性回归的文章就是一个例子。这里的另一个和另一个。许多统计文本都这样做。我认为这是一个惯例。

— Glen_b-恢复莫妮卡

@Glen，可能是比我读过的东西晚的发展（我是老手）；他们将“线性回归”限制为适合模型。

y = m x + b

$y=mx+b$

— JM不是统计学家