线性回归使用什么算法？

我通常会听说“普通最小二乘法”。那是用于线性回归的最广泛使用的算法吗？是否有其他理由使用其他理由？

关于标题中的问题，有关使用的算法是什么：

从线性代数的角度来看，线性回归算法是一种求解线性系统$\mathbf{A}x=b$且方程组多于未知数的方法。在大多数情况下，无法解决此问题。这是因为向量$b$不属于$\mathbf{A}$，的列空间$C(\mathbf{A})$。

best straight line$e=\mathbf{A}x-b$ b ∈ Ç （甲$\lVert e \rVert^2$$b\in C(\mathbf{A})$

将向量投影（正交）到的列空间中的最近点，可以得到向量，它以最小的误差来求解系统（其分量位于最佳直线上）。A b $b$$\mathbf{A}$$b^*$

$\mathbf{A}^T\mathbf{A}\hat{x}=\mathbf{A}^Tb \Rightarrow \hat{x}=(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^Tb$

投影向量由下式给出：$b^*$

$b^*=\mathbf{A}\hat{x}=\mathbf{A}(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^Tb$

也许不是唯一地使用最小二乘法，因为这会squaring 过度补偿离群值。

让我在R中给出一个简单的示例，该示例使用以下算法解决了回归问题：

library(fBasics)

reg.data <- read.table(textConnection("
   b      x
  12      0
  10      1
   8      2
  11      3
   6      4
   7      5
   2      6
   3      7
   3      8 "), header = T)

attach(reg.data)

A <- model.matrix(b~x)

# intercept and slope
inv(t(A) %*% A) %*% t(A) %*% b

# fitted values - the projected vector b in the C(A)
A %*% inv(t(A) %*%A ) %*% t(A) %*% b

# The projection is easier if the orthogonal matrix Q is used, 
# because t(Q)%*%Q = I
Q <- qr.Q(qr(A))
R <- qr.R(qr(A))

# intercept and slope 
best.line <- inv(R) %*% t(Q) %*% b

# fitted values 
Q %*% t(Q) %*% b

plot(x,b,pch=16)
abline(best.line[1],best.line[2])

要回答问题的字母，“普通最小二乘法”不是一种算法；相反，它是计算线性代数中的一种问题，其中线性回归就是一个例子。通常，其中一个具有数据和一个临时函数（“模型”），可以将数据拟合为。该被称为“基础功能”，可以从任何单项到三角函数（如，）和指数函数（）。这里的“线性回归”中的“线性”一词不是指基函数，$\{(x_1,y_1),\dots,(x_m,y_m)\}$$f(x)=c_1 f_1(x)+\dots+c_n f_n(x)$$f_j(x)$$x^j$$\sin(jx)$$\cos(jx)$$\exp(-jx)$$c_j$，因为采用模型相对于任何的偏导数，得到乘以的因子；即。$c_j$$c_j$$f_j(x)$

现在，它有一个矩形矩阵（“设计矩阵”）（通常）具有比列多的行，并且每个条目的形式为，为行索引，为列索引。现在，OLS的任务是查找向量使数量（以矩阵符号；在这里，通常称为“响应向量”）。$m\times n$$\mathbf A$$f_j(x_i)$$i$$j$$\mathbf c=(c_1\,\dots\,c_n)^\top$$\sqrt{\sum\limits_{j=1}^{m}\left(y_j-f(x_j)\right)^2}$$\|\mathbf{A}\mathbf{c}-\mathbf{y}\|_2$$\mathbf{y}=(y_1\,\dots\,y_m)^\top$

实际上，至少有三种方法用于计算最小二乘解：法线方程，QR分解和奇异值分解。简而言之，它们是将矩阵转换为矩阵的乘积的方法，可以容易地对其进行求解以求解向量。$\mathbf{A}$$\mathbf{c}$

乔治在回答中已经展示了正规方程的方法。只是解决了线性方程组$n\times n$

$\mathbf{A}^\top\mathbf{A}\mathbf{c}=\mathbf{A}^\top\mathbf{y}$

用于。由于矩阵是对称正（半）定的事实，因此通常使用的方法是Cholesky分解，它分解了的形式为，其中为下三角矩阵。尽管能够将设计矩阵压缩成一个（通常）更小的 ×矩阵的优点，但是这种方法的问题是此操作易于丢失有效数字（这有一些不足之处。用设计矩阵的“条件编号”来完成）。$\mathbf{c}$$\mathbf{A}^\top\mathbf{A}$$\mathbf{A}^\top\mathbf{A}$$\mathbf{G}\mathbf{G}^\top$$\mathbf{G}$$m\times n$$n\times n$

更好的方法是QR分解，它可以直接与设计矩阵配合使用。它会将为，其中是正交矩阵（将此类矩阵与其转置相乘得到一个单位矩阵），并且是上三角。随后被计算为。由于某些原因，我不愿讨论（只需看一下像这样的体面数值线性代数文本），它就具有比正态方程方法更好的数值属性。$\mathbf{A}$$\mathbf{A}=\mathbf{Q}\mathbf{R}$$\mathbf{Q}$$\mathbf{R}$$\mathbf{c}$$\mathbf{R}^{-1}\mathbf{Q}^\top\mathbf{y}$

半正规方程法是使用QR分解的一种变化。简而言之，如果具有分解，则要求解的线性系统的形式为$\mathbf{A}=\mathbf{Q}\mathbf{R}$

有效地，一种方法是使用QR分解以这种方式形成的Cholesky三角形。这对于稀疏并且（或其分解版本）的显式存储和/或形成是不需要的或不切实际的情况非常有用。$\mathbf{A}^\top\mathbf{A}$$\mathbf{A}$$\mathbf{Q}$

最后，解决OLS的最昂贵但最安全的方法是奇异值分解（SVD）。这次，被分解为，其中和都是正交的和甲 = û Σ V ⊤ ù V $\mathbf{A}$$\mathbf{A}=\mathbf{U}\mathbf \Sigma\mathbf{V}^\top$$\mathbf{U}$$\mathbf{V}$$\mathbf{\Sigma}$是对角矩阵，其对角线条目称为“奇异值”。这种分解的力量在于奇异值赋予您的诊断能力，即如果您看到一个或多个微小奇异值，那么您很可能选择了一个不完全独立的基础集，因此有必要对您的模型。（实际上，前面提到的“条件数”与最大奇异值与最小奇异值的比有关；如果最小奇异值为“微小”，则该比当然会变得很大（矩阵因此是病态的）。 ）

这只是这三种算法的示意图；任何有关计算统计和数值线性代数的好书都应该能够为您提供更多相关的详细信息。

Wiki链接：线性回归的估计方法提供了相当全面的估计方法列表，包括OLS和使用其他估计方法的上下文。

在定义和术语之间容易混淆。这两个术语都可以使用，有时可以互换使用。快速浏览Wikipedia应该会有所帮助：

• 普通最小二乘
• 近回归

普通最小二乘（OLS）是用于拟合线性回归模型的方法。由于OLS方法具有明显的一致性和效率（在补充假设下），因此它是主要方法。请参阅文章以获取更多线索。

我倾向于将“最小二乘法”作为定义最佳拟合回归线（即使“平方”残差之和为“最小”之和）和“算法”作为定义步骤的标准。确定满足该标准的回归系数。这种区别表明，可能有满足相同标准的不同算法。

我很想知道其他人是否做出了这种区分，以及他们使用了什么术语。

一本旧书是我反复发现的一本书，

Lawson，CL和Hanson，RJ 解决最小二乘问题，Prentice-Hall，1974年。

它包含先前答案已提及的某些算法的详细且易读的讨论。您可能要看看它。