线性回归中w的闭合形式后面的直觉

10

线性回归中w的闭合形式可以写成

$\hat{w}=(X^TX)^{-1}X^Ty$

我们如何直观地解释在此等式中的作用？ $(X^TX)^{-1}$

— 达尔沙克
source

2

您能否详细说明“直觉”的含义？例如，在克里斯滕森的《复杂问题的平面答案》中，关于内积空间有一个非常直观的解释，但是并不是每个人都会喜欢这种方法。再举一个例子，我在stats.stackexchange.com/a/62147/919的回答中有一个几何解释，但并非所有人都认为几何关系是“直观的”。

— ub

直观地就像$（X ^ TX）^ {-1}是什么意思？是某种距离计算还是什么，我听不懂。

— Darshak '18年

1

我链接到的答案对此做了充分解释。

— ub

这个问题已经在这里虽然有可能不存在一个令人满意的答案math.stackexchange.com/questions/2624986/...

— 塞克图斯经验派

5

我发现这些帖子特别有帮助：

如何导出多元线性回归的最小二乘估计？

SVD与PCA之间的关系。如何使用SVD执行PCA？

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

如果是矩阵，则矩阵定义到的列空间上的投影。直观地说，你有方程的超定系统，但仍希望用它来定义线性图将映射行的到了接近值， $X$ $n \times p$ $X(X^TX)^{-1}X^T$ $X$ $\mathbb{R}^p \rightarrow \mathbb{R}$ $x_i$ $X$ $y_i$ $i\in \{1,\dots,n\}$ 。因此，我们决定将发送到与最接近的事物，该事物可以表示为要素的线性组合（的列）。 $X$ $y$ $X$

至于的解释，我还没有一个惊人的答案。我知道您可以认为本质上是数据集的协方差矩阵。 $(X^TX)^{-1}$ $(X^TX)$

— 詹姆斯·麦考恩
source

有时也称为“散度矩阵”，并且只是协方差矩阵的按比例放大版本

(X^{T} X)

$(X^T X)$

— JacKeown

4

几何观点

几何观点可以像n维矢量和在n维空间被分。其中也是在子空间由矢量所跨越。 $y$ $X\beta$ $V$ $X\hat\beta$ $W$ $x_1, x_2, \cdots, x_m$

两种坐标

对于这个子空间我们可以想象两种不同类型的坐标： $W$

该 $\boldsymbol{\beta}$ 是像一个普通坐标空间的坐标。向量在空间是这些矢量的线性组合 $z$ $W$ $\mathbf{x_i}$ $z = β_{1} x_{1} + β_{2} x_{1} + . . . . β_{m} x_{m}$ $z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$
该 $\boldsymbol{\alpha}$ 不是常规意义上的坐标，但他们定义的子空间的一个点。每个到涉及垂直凸起到矢量。如果我们用单位矢量（为简单起见），则“坐标” 用于向量可以表示为： $W$ $\alpha_i$ $x_i$ $x_i$ $\alpha_i$ $z$

$α_{i} = x_{i}^{T} z$ $\alpha_i = \mathbf{x_i^T} \mathbf{z}$
所有坐标的集合为：

α = X^{T} z

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$

坐标和之间的映射 $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

对于的“坐标”的表达从坐标变为转换为“坐标” $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$ $\alpha$ $\beta$ $\alpha$

α = X^{T} X β

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$

您可以看到表示每个投射到另一个 $(\mathbf{X^T} \mathbf{X})_{ij}$ $x_i$ $x_j$

然后的几何解释可以被看作是从矢量投影“坐标”在地图为线性坐标。 $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

β = (X^{T} X)^{- 1} α

$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$

表达式给出的投影“坐标” 和把它们变成。 $\mathbf{X^Ty}$ $\mathbf{y}$ $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\beta}$

注：的投影“坐标” 是相同的投影“坐标” 因为。 $\mathbf{y}$ $\mathbf{\hat{y}}$ $(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

— 天性
source

主题stats.stackexchange.com/a/124892/3277的描述非常相似。

— ttnphns

确实非常相似。对我来说，这种观点是非常新颖的，我不得不花一个晚上考虑一下。我一直都以投影的形式查看最小二乘回归，但是从这个角度来看，我从未尝试实现对零件

的直观含义，或者我总是在更间接的表达式

看到它。

。

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

X^{T} y = X^{T} X β

$X^T y = X^TX\beta$

— Sextus Empiricus

3

假设你熟悉简单线性回归：和其溶液：

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha+\beta x_i+\varepsilon_i$

β = \frac{c o v [x_{i}, y_{i}]}{v a r [x_{i}]}

$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$

可以很容易地看到对应于上述分子和映射到分母。由于我们要处理矩阵，因此顺序很重要。就是KXK矩阵，和是KX1矢量。因此，顺序为： $X'y$ $X'X$ $X'X$ $X'y$ $(X'X)^{-1}X'y$

— 阿克萨卡尔族
source

但是，这种类比本身并不能告诉您该乘积是乘逆运算的。

— kjetil b halvorsen

@kjetilbhalvorsen，我下达了作业命令

— Aksakal）'18

线性回归中w的闭合形式后面的直觉

几何观点

两种坐标

坐标和β之间的映射αα\boldsymbol{\alpha}ββ\boldsymbol{\beta}

坐标和之间的映射 $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$