PCA目标函数：最大化方差和最小化误差之间有什么联系？

可以根据相关矩阵来表示PCA算法（假设数据$X$已经被归一化，我们仅考虑投影到第一台PC上）。目标函数可以写成：

$$\max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1.$$

很好，我们使用拉格朗日乘子来求解，即重写为：

$$\max_w [(Xw)^T(Xw) - \lambda w^Tw],$$

相当于

$$\max_w \frac{ (Xw)^T(Xw) }{w^Tw},$$

因此（在Mathworld上参见此处）似乎等于

$$\max_w \sum_{i=1}^n \text{(distance from point $x_i$ to line $w$)}^2.$$

但这是为了最大化点与线之间的距离，从我在这里所读的内容来看，这是不正确的-应该是，而不是\ max。我的错误在哪里？$\min$$\max$

或者，有人可以告诉我最大化投影空间中的方差与最小化点与线之间的距离之间的联系吗？

假设是一个中心数据矩阵，在行中具有观察值。令是其协方差矩阵。令为单位向量，指定变量空间中的轴。我们希望为第一个主轴。 Ñ Σ = X ⊤ X /（ñ - 1 $\newcommand{\X}{\mathbf X}\X$$n$$\newcommand{\S}{\boldsymbol \Sigma}\S=\X^\top\X/(n-1)$$\newcommand{\w}{\mathbf w}\w$$\w$

根据第一种方法，第一主轴最大化投影方差（第一主成分的方差）。此差异由$\X \w$

$$\mathrm{Var}(\X\w)=\w^\top\X^\top \X \w/(n-1)=\w^\top\S\w.$$

根据第二种方法，第一主轴将及其重建之间的重建误差最小化，即原始点与其在上的投影之间的距离的平方和。重构误差的平方由 X w ^ w ^ ⊤ W¯¯ ‖ X - X w ^ w ^ ⊤ ‖ $\X$$\X\w\w^\top$$\w$

$$\begin{align}\newcommand{\tr}{\mathrm{tr}} \|\X-\X\w\w^\top\|^2 &=\tr\left((\X-\X\w\w^\top)(\X-\X\w\w^\top)^\top\right) \\ &=\tr\left((\X-\X\w\w^\top)(\X^\top-\w\w^\top\X^\top)\right) \\ &=\tr(\X\X^\top)-2\tr(\X\w\w^\top\X^\top)+\tr(\X\w\w^\top\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\X\w\w^\top\X^\top) \\ &=\mathrm{const}-\tr(\w^\top\X^\top\X\w) \\ &=\mathrm{const} - \mathrm{const} \cdot \w^\top \S \w. \end{align}$$

注意主术语前的减号。因此，最小化重构误差就等于使最大化。因此，最小化重建误差等同于最大化方差；两种公式产生相同的。$\w^\top \S \w$$\w$