当参数向量为p维时，为什么在最小二乘回归中踪迹为？

在模型${y} = X \beta + \epsilon$，我们可以使用正态方程估算$\beta$：

$$\hat{\beta} = (X'X)^{-1}X'y,$$ 我们可以得到 $$\hat{y} = X \hat{\beta}.$$

残差向量可通过

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

其中

$$Q = I - X (X'X)^{-1} X'.$$

我的问题是如何得出\ textrm {tr}（Q）= n-p的结论

$$\textrm{tr}(Q) = n - p.$$

结论仅计算向量空间的维数。但是，通常情况并非如此。

矩阵乘法的最基本特性表明，由矩阵表示的线性变换满足$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

展示它作为投影算符。因此，它的补充

$$\mathbb{Q} = 1 - \mathbb{H}$$

（如问题中所给出的）也是一个投影算子。的迹线是其等级（见下文），因此的迹线等于。$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

从其公式可以很明显地看出，是与两个线性变换和本身的组成相关的矩阵。第一个（）将矢量转换为矢量。第二个（）是由给出的从到。它的等级不能超过这两个维度中的较小者，在最小二乘设置中，其始终为（但可以小于$\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$$p$$p$，只要的排名不够）。因此，合成的等级不能超过的等级。 正确的结论是$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

$\text{tr} (\mathbb{Q}) = n-p$当且仅当具有全等级时；通常是。在前一种情况下，该模型被称为“可识别的”（对于的系数）。$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

$\mathbb{J}$仅当是可逆的时，才具有最高等级。$X^\prime X$

---

几何解释

$\mathbb{H}$代表从向量（代表“响应”或“因变量”）到列所跨越的空间（代表“独立变量”或“协变量”）的正交投影。差示出了如何以分解任何维矢量成矢量之和其中第一个可以从 “预测”，第二个垂直于当的列生成维空间（即不是共线的）时，$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$$X$$p$$\mathbb{H}$为，的排名为，反映了响应中其他附加变量，这些变量在自变量中未表示。迹线给出了这些尺寸的代数公式。$p$$\mathbb{Q}$$n-p$$n-p$

---

线性代数背景

上的矢量空间中的投影算（如）是线性变换（即，自同态的），使得。这也使其补数成为投影算子，因为$V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

所有投影都会修复其图像的每个元素，每当我们可能会为某些写，从而$v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

与任何同构的是两个子空间：其内核及其图像 每个向量都可以用的形式，其中和。因此，我们可以为构造一个基数，其中和。当$\mathbb{P}$$V$

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$$F \subset \text{Im}(\mathbb{P})$$V$是有限维的，因此在此基础上的矩阵将为块对角线形式，其中一个块（对应于对）全为零，另一个块（对应于的动作上）等于通过同一性矩阵，其中的维数是。的轨迹是对角线上的值之和，因此必须等于。该数字是秩的：它的图像的尺寸。$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$$\mathbb{P}$

的迹等于轨迹（等于，的尺寸）减去的迹。$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

这些结果可以用断言投影的轨迹等于其等级的结论来概括。

@Dougal已经给出了答案，但这是另一个答案，有点简单。

首先，让我们使用的事实。因此，我们得到：现在是一个 ×单位矩阵，所以。现在，我们使用的事实，也就是说，在循环排列下轨迹是不变的。因此，我们有：当我们将与相乘时，我们得到单位矩阵，其轨迹为。因此，我们得到：$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$$\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$假定并且是全等级。$n \le p$$X$

考虑紧凑的奇异值分解，其中是对角线，而具有（但注意为至多秩所以它不能是）。然后$X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$$U \in \R^{n \times p}, V \in \R^{p \times p}$$U^T U = V^T V = V V^T = I_p$$U U^T$$p$$I_n$

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

现在，存在一个矩阵，使得 是单一的。我们可以写 这种形式表明是正半定的，并且由于它是有效的svd且奇异值是平方对称矩阵的特征值的平方，所以还告诉我们特征值是1（重数）和0 （重数）。$U_2 \in \R^{n \times n-p}$$U_n = \begin{bmatrix}U & U_2\end{bmatrix}$

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ $Q$$Q$$n-p$$p$$Q$$n-p$。