关于正规方程证明的问题

在不假设X是可逆的前提下，如何证明正则方程具有一个或多个解？$(X^TX)\beta = X^TY$

我唯一的猜测是它与广义逆有关，但是我完全迷失了。

一个人很想成为glib并指出，因为二次形式

$$\beta \to (Y - X\beta)'(Y - X\beta)$$

是正半定数，存在一个，它的最小值，并且通过正常方程式找到了最小值（通过将相对于的梯度设置为零）$\beta$$\beta$

$$X'X(Y - X\beta) = 0,$$

那里必须有至少一个解决方案，无论职级的$X'X$。但是，该论点似乎不符合问题的精神，这似乎是纯粹的代数陈述。也许有趣的是要理解为什么这样的方程式必须有一个解，以及在什么条件下。因此，让我们重新开始并假装我们不知道最小平方的连接。

---

这一切都归结到意义，的转置。结果将是一个简单的定义，适当的表示法以及非简并半线性形式的概念。 回想一下，是行（每个观察值一个）和列（每个变量一个，包括一个常数，如果有的话）的“设计矩阵” 。因此，它表示从向量空间到的线性变换。 X X ñ p V = - [R p w ^ = [R$X'$$X$$X$$n$$p$$\mathbb V = \mathbb{R}^p$$\mathbb W = \mathbb{R}^n$

的转置被认为是线性变换，是对偶空间的线性变换。为了理解类似的组成，必须将标识为。这就是上通常的内积（平方和）。X “：w ^ * → V * X ' X w ^ * w ^ $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$$X'X$$\mathbb{W}^*$$\mathbb{W}$$\mathbb{W}$

实际上，在和分别定义了两个内积和。这些是非退化的实值双线性对称函数。后者意味着g W V $g_V$$g_W$$\mathbb V$$\mathbb W$

$$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$$

与类似语句。从几何学上讲，这些内积使我们能够测量长度和角度。条件可以认为是与 “垂直” 。非简并性意味着仅零向量垂直于整个向量空间。（这种普遍性意味着，此处获得的结果将适用于广义最小二乘设置，对于该最小二乘设置，不一定是作为分量乘积之和给出的常规内积，而是某种任意的简并形式。我们可以完全省去，定义 g （u ，v ）= 0 u v g W g V X '：W → V$g_V$$g(u,v)=0$$u$$v$$g_W$$g_V$$X':\mathbb W\to\mathbb V^*$，但我希望许多读者对双重空格不熟悉或不满意，因此请选择避免这种表述。）

与这些内积在手，任何线性变换的转置由下式定义经由X ′：W → $X: \mathbb V \to \mathbb W$$X': \mathbb W \to \mathbb V$

$$g_V(X'(w), v) = g_W(w, X(v))$$

所有和。可以通过用和基数写出东西来确定确实存在向量 ; 该向量是唯一的，是由于内积的非简并性所致。对于如果和是两个向量，其中所有，则（从第一个分量的线性起）对于所有，意味着。 v ∈ V X '（瓦特）∈ V V w ^ v 1个v 2 克V（$w\in \mathbb W$$v\in \mathbb V$$X'(w) \in \mathbb V$$\mathbb V$$\mathbb W$$v_1$$v_2$v ∈ V 克V（v 1 - v 2，v ）= 0 v v 1 − v 2 = $g_V(v_1,v)=g_V(v_2,v)$$v\in\mathbb V$$g_V(v_1-v_2,v)=0$$v$$v_1-v_2=0$

当为与每个向量垂直的所有向量的集合写。也如符号，写入的问题为的图像，定义为集合。 及其转置之间的基本关系是û ⊥ ù X （V）X { X （v ）| v ∈ V } ⊂ W¯¯ X X $\mathbb U \subset \mathbb W,$$\mathbb{U}^\perp$$\mathbb U$$X(\mathbb V)$$X$$\{X(v) | v \in \mathbb V\} \subset \mathbb W$$X$$X'$

$$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$$

即，是在内核当且仅当是垂直于图像。X ' w ^ $w$$X'$$w$$X$ 该断言说明了两件事：

1. 如果，则对于所有，表示垂直于。克$X'(w) = 0$v ∈ V瓦特X （V $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$$v\in\mathbb V$$w$$X(V)$

2. 如果垂直于，则仅对所有意味着，但这等效于并且简并性意味着。X （V）g 宽（$w$$X(\mathbb V)$v ∈ V 克V（X '（瓦特），v ）= 0 克V X '（瓦特）= $g_W(w, X(v)) = 0$$v\in\mathbb V$$g_V(X'(w), v) = 0$$g_V$$X'(w)=0$

我们实际上已经完成了。 分析表明分解为直接乘积。也就是说，我们可以取任意并将其唯一地写为其中和。这意味着对于至少一个的形式为。注意，那w ^ = X （V）⊕ X （V ）⊥ Ý ∈ W¯¯$\mathbb W$$\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ÿ 0 ∈ X （V）ý ⊥ ∈ X （V ）⊥ Ý 0 X （β ）β ∈ $y = y_0 + y^\perp$$y_0\in X(\mathbb V)$$y^\perp \in X(\mathbb V)^\perp$$y_0$$X(\beta)$$\beta\in\mathbb V$

$$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$$

基本关系说与的内核中的左侧相同：$X'$

$$X'(y - X\beta) = 0,$$

何处求解正规方程X ' X β = X ' ý $\beta$$X'X\beta = X'y.$

---

我们现在可以对这个问题给出简短的几何答案（以及一些有启发性的评论）：正规方程式有一个解，因为任何向量（唯一）分解为向量的和。在范围和另一矢量 垂直于和是至少一种的图像维矢量。图像的尺寸（其等级）是可识别参数的尺寸。核的维数ÿ ∈ W¯¯ ÿ 0 X ÿ $n$$y\in\mathbb W$$y_0$$X$$y^\perp$ý 0 p β ∈ V X （V）X X V $y_0$$y_0$$p$$\beta\in\mathbb V$$X(\mathbb V)$$X$计算参数之间的非平凡线性关系。当是从到图像的一对一映射时，所有参数都是可识别的。$X$$\mathbb V$$\mathbb W$

最终完全放弃空间并完全使用子空间（矩阵的“列空间”），最终很有用。正规方程量正交投影。这从概念上使我们摆脱了对模型的任何特定参数化的约束，并表明最小二乘法模型具有固有维度，而与它们如何被参数化无关。û = X （V）⊂ w ^ X $\mathbb V$$\mathbb U = X(\mathbb V)\subset\mathbb W$$X$$\mathbb U$

---

这一抽象代数演示的一个有趣结果是，我们可以求解任意向量空间中的正规方程。 对于复杂空间，有限域上的空间（最小化平方和几乎没有意义），甚至在支持适当的半线性形式的无穷维空间上，结果都适用。

如果样本集中至少存在两个不同的值（预测变量），则很容易证明（尝试为任意数量的点）存在的逆。仅当所有数据的值均相同（即，沿垂直线沿方向堆叠的点）时，通过均值绘制的任何线才具有任意斜率（回归系数） ，因此LSE回归线不是唯一的。X Ť X X X 我 = X ÿ ¯ $n$$X^T X$$x$$x_i=x$$y$$\overline{y}$

在典型的回归中，X是骨感的，因此肯定不是不可逆的（尽管它可能是不可逆的。）很容易证明（如果需要帮助，请问）如果X是骨感并且保持可逆的，则X ^ T * X是可逆的。在这种情况下，将只有一个解决方案。并且如果X没有完整的列排名，那么X ^ T * X将不会完整列，因此您的系统将不确定。