在PCA中到底是什么叫做“主要组件”？

假设是使设计矩阵的数据投影的方差最大化的向量。$u$$X$

现在，我已经看到了将称为数据的（第一）主成分的材料，这也是具有最大特征值的特征向量。$u$

但是，我也看到数据的主要成分是。$X u$

显然，和是不同的。谁能在这里帮助我，告诉我这两个主要成分定义之间的区别是什么？$u$$Xu$

在观察（协方差矩阵的特征向量之一，例如第一个）和（数据到一维投影上）时，您是绝对正确的跨越的子空间是两个不同的事物，它们两者通常都被称为“主要组成部分”，有时甚至在同一文本中也是如此。$\mathbf{u}$$\mathbf{X}\mathbf{u}$$\mathbf{u}$

在大多数情况下，从上下文中可以清楚看出确切的含义。但是，在极少数情况下，确实确实会造成混乱，例如，当讨论某些相关技术（例如稀疏PCA或CCA）时，其中不同的方向不必正交。在这种情况下，取决于是指轴还是投影，类似“组件是正交的”这样的陈述具有非常不同的含义。$\mathbf{u}_i$

我主张将称为“主要轴”或“主要方向”，并将称为“主要组成部分”。$\mathbf{u}$$\mathbf{X}\mathbf{u}$

我也曾看到称为“主要成分向量”。$\mathbf u$

我应该提到另一种约定是将称为“主要成分”，并将称为“主要成分分数”。$\mathbf u$$\mathbf{Xu}$

这两个约定的摘要：

$$\begin{array}{c|c|c} & \text{Convention 1} & \text{Convention 2} \\ \hline \mathbf u & \begin{cases}\text{principal axis}\\ \text{principal direction}\\ \text{principal component vector}\end{cases} & \text{principal component} \\ \mathbf{Xu} & \text{principal component} & \text{principal component scores} \end{array}$$

---

注意：只有与非零特征值相对应的协方差矩阵的特征向量才能称为主方向/分量。如果协方差矩阵为低秩，则它将具有一个或多个零特征值；对应的特征向量（和相应的恒定零突起）应该不被称为主方向/组件。在这里查看我的答案中的一些讨论。