为什么主成分分数不相关？

假设是均值数据矩阵。矩阵为，具有不同的特征值，特征向量， ... 正交。 $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

第 $i$ 个主要成分（有人称其为“分数”）是向量 $\mathbf z_i = \mathbf A\mathbf s_i$ 。换句话说，它是的列的线性组合 $\mathbf A$ ，其中系数是的第 $i$ 个特征向量的分量。 $\mathbf S$

我不明白为什么 $\mathbf z_i$ 和 $\mathbf z_j$ 对于所有都不相关 $i\neq j$ 。它是否源自 $\mathbf s_i$ 和 $\mathbf s_j$ 正交的事实？当然不能，因为我可以轻松地找到矩阵 $\mathbf B$ 和一对正交向量 $\mathbf x, \mathbf y$ 从而使 $\mathbf B\mathbf x$ 和 $\mathbf B\mathbf y$ 相关。

correlation pca linear-algebra

— 欧内斯特·A
source

相关答案stats.stackexchange.com/a/110546/3277。

— ttnphns 2015年

z_{i}^{⊤} z_{j} = (A s_{i})^{⊤} (A s_{j}) = s_{i}^{⊤} A^{⊤} A s_{j} = (n - 1) s_{i}^{⊤} S s_{j} = (n - 1) s_{i} λ_{j} s_{j} = (n - 1) λ_{j} s_{i} s_{j} = 0。

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— 阿米巴
source

数学：多么美丽的语言。

— 内斯托尔·

这意味着

和

是正交的。不相关的装置，这必须为真：

。我想以某种方式

，然后

也意味着，他们是不相关的。

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— 欧内斯特A

好点，@ Ernest。均值确实为零，因为数据已经以均值为中心（根据您的假设）。然后所有投影的均值必须为零。

— 变形虫

@Jubbles因为

，因此

。

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— 欧内斯特A

@Ernest，我无法拒绝提供不包含文本的答案，但也许我应该补充一点，PC不相关的根本原因是它们的协方差矩阵由特征向量的

给出，并且在此基础上

变成对角线- -这就是特征分解的重点。

S

$S$

S

$S$

— 变形虫2015年