PCA的目标功能是什么？

主成分分析可以使用矩阵分解，但这只是达到此目的的工具。

在不使用矩阵代数的情况下如何找到主成分？

目标函数（目标）是什么，约束是什么？

pca

— 尼尔·麦圭根
source

也许我遗漏了一些东西，所以如果我错了，请纠正我，但是应该有可能（至少原则上）使用矩阵作为在（复杂的）线性编程问题中构造在PCA中完成的工作，但是我没有知道如何陈述所需的所有约束。另外，与仅使用PCA相比，我不确定这样做是否会非常简单。您为什么要避免使用矩阵？

— 克里斯·西莫卡特

@Chris我看不到如何解决线性编程问题。我也不理解在计算中应该避免使用矩阵。问题是PCA解决了什么样的问题，而不是解决问题的方式（例如，通过计算SVD）。红衣主教的解决方案说，您发现最大方差的连续正交方向。我提出的解决方案说，您发现重构误差最小的超平面。

— NRH

@chris我希望找到另一种查看PCA的方法，而无需矩阵代数，以增强我的理解。

— 尼尔·麦圭根

@Chris，您有一个二次目标函数和一个范数相等约束。或者，在@NRH答案中的公式下，您具有矩阵等级约束。这不会解决线性编程问题。@NRH提供了一些很好的直觉，实际上，已经给出的关于PCA的两种观点之间有着非常紧密的联系。也许与@NRH合作，我们可以将其添加到他/她的帖子中，以使完整的答案更加完整。

ℓ_{2}

$\ell_2$

— 主教

@NRH，实际上，我非常喜欢ESL，但是我认为该主题在本书中的处理是很肤浅的，因为本书中许多主题都是如此。特别是，它们并不能证明（或什至指定为练习）解决所提出的优化问题的重要部分。

— 主教

Answers:

从优化的角度来看，在不尝试全面介绍PCA的情况下，主要目标函数是Rayleigh商。商中表示的矩阵是样本协方差矩阵其中每个是向量特征和是矩阵，使得第i行是。

S = \frac{1}{n} \sum_{i = 1}^{n} x_{i} x_{i}^{T} = X^{T} X / n

$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$

x_{i}

$\x_i$

p

$p$

X

$\m{X}$

i

$i$

x_{i}^{T}

$\x_i^T$

PCA寻求解决一系列优化问题。序列中的第一个是不受约束的问题

\begin{array}{ll} maximize & \frac{u^{T} S u}{u^{T} u}, u \in R^{p} . \end{array}

$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$

由于，上述无约束问题等同于受约束问题 $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

\begin{array}{ll} maximize & u^{T} S u \\ subject to & u^{T} u = 1 . \end{array}

$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$

这是矩阵代数的出现位置。由于是对称正半定矩阵（通过构造！），它具有特征值分解形式其中是一个正交矩阵（因此）和是对角矩阵，具有非负项，使得。 $\S$

S = Q Λ Q^{T},

$\S = \Q \L \Q^T \>,$

Q

$\Q$

Q Q^{T} = I

$\Q \Q^T = \m{I}$

Λ

$\L$

λ_{i}

$\lambda_i$

λ_{1} \geq λ_{2} \geq \dots \geq λ_{p} \geq 0

$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

因此，。由于在问题中被约束为1的范数，因此因为，因为是正交的。 $\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$ $\u$ $\m{w}$ $\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$ $\Q$

但是，如果我们想在的约束下最大化数量，那么我们可以做的最好是设置，即对于，且。 $\sum_{i=1}^p \lambda_i w_i^2$ $\sum_{i=1}^p w_i^2 = 1$ $\m{w} = \m{e}_1$ $w_1 = 1$ $w_i = 0$ $i > 1$

现在，首先返回相应的，我们得到，其中表示的第一列，即对应于的最大特征值的特征向量。然后，目标函数的值也很容易被视为。 $\u$

u^{⋆} = Q e_{1} = q_{1}

$\u^\star = \Q \m{e}_1 = \m{q}_1$

q_{1}

$\m{q}_1$

Q

$\Q$

S

$\S$

λ_{1}

$\lambda_1$

然后，通过求解优化问题的序列（由索引）找到剩余的主成分向量因此，问题是一样的，除了我们添加了额外的约束，即解决方案必须与序列中所有先前的解决方案正交。不难推论地将上面的论点扩展为证明第个问题的解确实是，第个特征向量。 $i$

\begin{array}{ll} maximize & u_{i}^{T} S u_{i} \\ subject to & u_{i}^{T} u_{i} = 1 \\ u_{i}^{T} u_{j} = 0 \forall 1 \leq j < i . \end{array}

$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$

i

$i$

q_{i}

$\m{q}_i$

i

$i$

S

$\S$

PCA解决方案也经常用的奇异值分解来。为了说明原因，让。然后，因此（严格来说，直到符号翻转）和。 $\m{X}$ $\m{X} = \m{U} \m{D} \m{V}^T$ $n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$ $\m{V} = \m{Q}$ $\L = \m{D}^2 / n$

通过将投影到主成分向量上可以找到主成分。从刚刚给出的SVD公式中，很容易看到 $\m{X}$

X Q = X V = U D V^{T} V = U D .

$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$

就特征矩阵的SVD而言，主要成分向量和主要成分本身的简单表示是SVD特征在PCA的某些治疗中如此突出的原因之一。

— 红衣主教
source

如果仅需要前几个奇异值/矢量，则Nash和Shlien给出的算法会让人想起通常的幂方法来计算主导特征值。OP可能对此很感兴趣。

— JM不是统计学家，

@NRH，非常感谢您在设法看到我的错别字之前就赶上了我的错别字！

— 主教

嗨@cardinal，谢谢您的回答。但是似乎您没有采取步骤证明为什么顺序优化会导致全局最优。您能详细说明一下吗？谢谢！

— Lifu Huang

基数提出的解决方案集中在样本协方差矩阵上。另一个起点是q维超平面对数据的重建误差。如果p维数据点是则目标是求解 $x_1, \ldots, x_n$

min_{μ, λ_{1}, \dots, λ_{n}, V_{q}} \sum_{i = 1}^{n} | | x_{i} - μ - V_{q} λ_{i} | |^{2}

$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$

对于具有正交列和的矩阵。这给出了由欧几里得范数测得的最佳秩q-重构，并且解的列是第一个q主成分向量。 $p \times q$ $\mathbf{V}_q$ $\lambda_i \in \mathbb{R}^q$ $\mathbf{V}_q$

对于固定的，和（这是回归）为 $\mathbf{V}_q$ $\mu$ $\lambda_i$

μ = \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} λ_{i} = V_{q}^{T} (x_{i} - \bar{x})

$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$

为了便于说明，假设在以下计算中居中。然后我们必须最小化 $x_i$

\sum_{i = 1}^{n} | | x_{i} - V_{q} V_{q}^{T} x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$

在并具有正交列。注意，是在q维列空间上的投影。因此，问题等同于最小化以上秩q突起。也就是说，我们需要最大化 在等级q投影，其中是样本协方差矩阵。现在 $\mathbf{V}_q$ $P = \mathbf{V}_q\mathbf{V}_q^T$

\sum_{i = 1}^{n} | | x_{i} - P x_{i} | |^{2} = \sum_{i = 1}^{n} | | x_{i} | |^{2} - \sum_{i = 1}^{n} | | P x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$

P

$P$

\sum_{i = 1}^{n} | | P x_{i} | |^{2} = \sum_{i = 1}^{n} x_{i}^{T} P x_{i} = tr (P \sum_{i = 1}^{n} x_{i} x_{i}^{T}) = n tr (P S)

$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$

P

$P$

S

$\mathbf{S}$

tr (P S) = tr (V_{q}^{T} S V_{q}) = \sum_{i = 1}^{q} u_{i}^{T} S u_{i}

$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$ 其中是中的（正交）列，@ cardinal答案中给出的参数表明最大值是通过取获得的。 s至是为特征向量与最大本征值。

u_{1}, \dots, u_{q}

$u_1, \ldots, u_q$

q

$q$

V_{q}

$\mathbf{V}_q$

u_{i}

$u_i$

q

$q$

S

$\mathbf{S}$

q

$q$

重建误差表明了许多有用的概括，例如稀疏的主成分或通过低维流形而非超平面的重建。有关详细信息，请参见《统计学习的要素》中的 14.5节。

— NRH
source

（+1）好点。一些建议：定义会很好，并且给出结果的简短证明也非常好。或者，也可以将其连接到涉及Rayleight商的优化问题。我认为这将使该问题的答案非常完整！

λ_{i}

$\lambda_i$

— 主教

@cardinal，我相信我已经完成了从重建公式到解决问题的缺失步骤。

— NRH

辛苦了我相信剩下的唯一差距就是您的最后声明。现在还不很明显，优化总和与执行我的答案中的优化序列相同。实际上，一般而言，我认为这并不直接。但是，这里也无需解决。

— 主教

@cardinal，接着是归纳法。您提供归纳开始，并在归纳步骤中选择使总和最大化的正交向量并对其进行排列，以使是与正交的单位向量。然后根据您的结果并根据归纳假设。当然，基础不是维空间的唯一基础。您还可以泛化用于直接证明的“凸组合参数”。

w_{1}, \dots, w_{q}

$w_1, \ldots, w_q$

w_{q}

$w_q$

u_{1}, \dots, u_{q - 1}

$u_1, \ldots, u_{q-1}$

w_{q}^{T} S w_{q} \leq u_{q}^{T} S u_{q}

$w_q^T \mathbf{S} w_q \leq u_q^T \mathbf{S} u_q$

\sum_{i = 1}^{q - 1} w_{i}^{T} S w_{i} \leq \sum_{i = 1}^{q - 1} u_{i}^{T} S u_{i}

$\sum_{i=1}^{q-1} w_i^T \mathbf{S} w_i \leq \sum_{i=1}^{q-1}u_i^T \mathbf{S} u_i$

q

$q$

— NRH

@cardinal，我并没有强制嵌套，而只是考虑了尺寸。如果我们有一个维子空间，则可以始终在该空间中选择，使其与维子空间正交。然后，您可以按照自己喜欢的任何方式填充 -basis。

q

$q$

w_{q}

$w_q$

(q - 1)

$(q-1)$

w

$w$

— NRH

有关一种没有明确使用矩阵分解的算法，请参见NIPALS（wiki）。我想这就是您说要避免矩阵代数时的意思，因为您在这里实在无法避免矩阵代数:)

— JMS
source