最小角度回归使相关性单调递减并受束缚？

我正在尝试解决最小角度回归（LAR）问题。这是一个问题3.23页面上97的黑斯蒂等，统计学习的要素，第2位。ed。（第5次打印）。

考虑所有变量和响应均值为零，标准差为1的回归问题。还假设每个变量与响应具有相同的绝对相关性：

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

令为上最小二乘系数，并令为。$\hat{\beta}$$\mathbf{y}$$\mathbf{X}$$\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$$\alpha\in[0,1]$

要求我显示 ，我对此有疑问。请注意，这基本上可以说，随着我们向前进，每个与残差的相关性在大小上保持相等。

$$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$$ $x_j$$u$

我也不知道如何显示相关性等于：

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

任何指针将不胜感激！

这是问题3.23页面上97的黑斯蒂等，统计学习的要素，第2位。ed。（第5次打印）。

这个问题的关键是对普通最小二乘法（即线性回归）的良好理解，尤其是拟合值和残差的正交性。

正交引理：设为设计矩阵，为响应向量，为（真）参数。假设是满秩（我们将在整个）的OLS估计是。拟合值为。然后。即，拟合值与残差正交。这是因为。$X$$n \times p$$y$$\beta$$X$$\beta$$\hat{\beta} = (X^T X)^{-1} X^T y$$\hat{y} = X (X^T X)^{-1} X^T y$$\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$$X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

现在，令为列向量，使为第列。假定的条件是：$x_j$$x_j$$j$$X$

• $\frac{1}{N} \langle x_j, x_j \rangle = 1$对于每个，，$j$$\frac{1}{N} \langle y, y \rangle = 1$
• $\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$其中表示长度的那些的向量，和$1_p$$p$
• $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$为所有。$j$

请注意，特别是，在最后陈述正交引理是相同的所有。$\langle x_j, y - \hat{y} \rangle = 0$$j$

---

相关性是并列的

现在，。因此， 并且由于正交引理在右边的第二项为零，因此 根据需要）。相关的绝对值就是 $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

$$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$$ $$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$$ $$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$$

注意：上面的右侧与无关，并且分子与协方差相同，因为我们假设所有和都居中（因此，尤其是不必减去均值）。$j$$x_j$$y$

重点是什么？随着增加，响应矢量将被修改，使其朝着仅通过在模型中合并第一个参数而获得的（受限！）最小二乘法求解的方向扩展。这同时修改了估计的参数，因为它们是预测变量与（修改的）响应向量的简单内积。修改采取特殊形式。在整个过程中，它使预测变量和修改后的响应之间的相关性（的幅值）保持相同（即使相关性的值正在变化）。考虑一下这是怎么做的，您将了解该过程的名称！$\alpha$$p$

---

（绝对）相关的显式形式

让我们集中讨论分母中的术语，因为分子已经是必需的形式。我们有

$$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$$

代入并使用内积的线性，我们得到$u(\alpha) = \alpha \hat{y}$

$$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$$

观察一下

• $\langle y, y \rangle = N$（假设），
• $\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$，通过对中间的第二项应用正交引理（又一次）；和，
• $\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$。

放在一起，您会发现我们得到了

$$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$$

总结一下，，因此很显然，在和单调递减为。$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$$\hat{\rho}_j(\alpha)$$\alpha$$\hat{\rho}_j(\alpha) \downarrow 0$$\alpha \uparrow 1$

---

结语：在这里集中思想。真的只有一个。该正交引理做几乎所有的工作我们。剩下的只是代数，符号，以及将后两个函数起作用的能力。