在解释变量的回归系数时，其顺序是否重要？

起初我以为顺序无关紧要，但是后来我了解了用于计算多个回归系数的gram-schmidt正交化过程，现在我有了第二个想法。

根据gram-schmidt过程，在其他变量中索引解释性变量的时间越晚，其残差矢量越小，这是因为从中减去了先前变量的残差矢量。结果，说明变量的回归系数也较小。

如果这是真的，那么该变量的残差矢量如果被更早地索引，则将更大，因为将从中减去的残差矢量会更少。这意味着回归系数也将更大。

好的，所以我被要求澄清我的问题。因此，我从文本中发布了屏幕截图，这让我一开始很困惑。好的，去。

我的理解是，至少有两个选择来计算回归系数。第一个选项在下面的屏幕截图中表示为（3.6）。

这是第二个选项（我不得不使用多个屏幕截图）。

除非我误读了某些内容（这肯定是可能的），否则在第二种选择中顺序似乎很重要。第一种选择有关系吗？为什么或者为什么不？还是我的参照系太混乱了，甚至不是一个有效的问题？另外，这是否与I型平方和vs II型平方和相关？

在此先多谢，我很困惑！

我认为混乱可能是由于一些简单的事情引起的，但是它提供了一个很好的机会来审查一些相关问题。

请注意，本文并未声称所有回归系数可以通过连续残差向量计算为 但是这样只能计算最后一个！$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

连续正交化方案（一种Gram–Schmidt正交化形式）（几乎）产生一对矩阵和，使得 其中为具有正交列的，为上三角。我说“几乎”是因为该算法仅指定直到列的范数，通常不会为1，而是可以通过对列进行标准化并对坐标进行相应的简单调整来使其具有单位范数矩阵。$\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$$\G$

$$\m X = \Z \G \>,$$ $\Z$$n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

当然，假设具有等级，唯一的最小二乘解是向量，它可以解决系统 $\m X \in \mathbb R^{n \times p}$$p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

代入并使用（通过构造），我们得到 等效于 $\m X = \Z \G$$\Z^T \Z = \m I$

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

现在，专注于线性系统的最后一行。在最后一行中唯一的非零元素是。因此，我们得到 不难看出（验证一下是否理解！）这样就产生了解决方案。（警告：我使用已经标准化以具有单位范数，而在书中则没有。这说明了这样的事实，即书中分母具有平方范数，而我只有范数。）$\G$$g_{pp}$

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ $g_{pp} = \|\z_p\|$$\z_i$

要找到所有回归系数，需要执行一个简单的反替代步骤来求解单个。例如，对于第， 等等 可以继续执行此过程，从系统的最后一行到第一个行“向后”，减去已经计算出的回归系数的加权和，然后除以前导项即可得到。$\bhat_i$$(p-1)$

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

ESL部分中的要点是，我们可以对的列进行重新排序以获得一个新矩阵，而第个原始列现在是最后一个。如果然后在新矩阵上应用Gram–Schmidt过程，则会得到新的正交化，从而可以通过上述简单解找到原始系数的解。这为我们提供了回归系数的解释。这是在残差向量上的单变量回归，该残差向量是通过从 “回归”设计矩阵的其余列而。$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

常规QR分解

Gram–Schmidt过程只是产生的QR分解的一种方法。确实，有很多理由比Gram–Schmidt过程更喜欢其他算法方法。$\m X$

Householder反射和Givens旋转提供了解决此问题的更数值稳定的方法。注意，在二维分解的一般情况下，上述发展不会改变。即，让 是任何的QR分解。然后，使用与上述完全相同的推理和代数运算，我们得到最小二乘解满足 简化为 由于是上三角，因此相同的反替代技术也可以使用。我们首先解决

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$然后从下往上进行。使用哪种 QR分解算法通常取决于控制数值不稳定性，从这个角度来看，Gram–Schmidt通常不是竞争性方法。

将分解为正交矩阵的概念还可以进一步推广，以得到拟合向量的非常通用的形式，但我担心此响应已经太长了。$\m X$$\hat{\m y}$

我浏览了本书，看起来练习3.4可能有助于理解使用GS查找所有回归系数（而不仅仅是最终系数 -所以我输入了一个解决方案。希望这是有用。$\beta_j$$\beta_p$

ESL练习3.4

演示如何从Gram-Schmidt过程的单遍操作中获得最小二乘系数的向量。用的QR分解表示您的解决方案。 $X$

解

回想一下，通过一次Gram-Schmidt过程，我们可以将矩阵编写为 其中包含正交列，是对角线上带有对角线的上对角矩阵，并且。这反映了以下事实：根据定义，$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

现在，通过分解，我们可以写成，其中是一个正交矩阵，是一个上三角矩阵。我们有和，其中是对角矩阵，。 $QR$$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

现在，根据的定义，我们有 现在，使用分解，我们有$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$是上三角，我们可以写与我们之前的结果一致。现在，通过反向替换，我们可以获得回归系数的序列。例如，要计算，我们有

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ 然后求解。可以对所有重复此过程，从而在一次Gram-Schmidt过程中获得回归系数。$\hat \beta_{p-1}$$\beta_j$

为什么不尝试比较呢？拟合一组回归系数，然后更改顺序并再次拟合它们，看它们是否不同（可能的舍入误差除外）。

正如@mpiktas指出的，您目前在做什么并不十分清楚。

我可以看到使用GS来求解在最小二乘方程。但是然后您将在矩阵上执行GS ，而不是原始数据。在这种情况下，系数应相同（可能的舍入误差除外）。$B$$(x'x)B=(x'y)$$(x'x)$

GS进行回归的另一种方法是将GS应用于预测变量，以消除它们之间的共线性。然后将正交变量用作预测变量。在这种情况下，顺序很重要，并且系数将不同，因为系数的解释取决于顺序。考虑2个预测变量和并对其进行GS，然后用作预测变量。在那种情况下，第一个系数（在截距之后）显示对的影响，第二个系数是调整后对的影响$x_1$$x_2$$x_1$$y$$x_2$$y$$x_1$。现在，如果您颠倒x的顺序，则第一个系数会显示对的影响（忽略而不是对其进行调整），第二个系数是调整。$x_2$$y$$x_1$$x_1$$x_2$