“因子分析的基本定理”如何应用于PCA，或如何定义PCA载荷？

我目前正在查看用于“因子分析”（据我所知的PCA）的幻灯片集。

其中，得出了“因子分析的基本定理”，它声称可以使用因子加载矩阵（）恢复进入分析的数据的相关矩阵（）： $\bf R$ $\bf A$

R = A A^{⊤}

$\bf R = AA^\top$

但是，这使我感到困惑。在PCA中，“因子负载”矩阵由数据协方差/相关矩阵的特征向量矩阵给出（因为我们假设数据已经标准化，所以它们是相同的），每个特征向量都按比例缩放为具有长度一。此矩阵是正交的，从而这是在一般不等于。 $\bf AA^\top = I$ $\bf R$

pca factor-analysis terminology definition

— 用户名
source

除了@amoeba 的答案外，请在我的答案中添加术语歧义。A为了清楚起见，我不建议调用特征向量矩阵（即载荷）。（右侧）特征向量矩阵通常被标记V（由于R=USV'svd），而不是A。特征向量的另一个等效名称（来自双线图术语）是“标准坐标”，而对于载荷，则是“主要坐标”。

— ttnphns 2014年

（“标准坐标”-因为特征值的惯性或标度是赋予它们时的单位幅度；“主坐标”-因为其特征时赋予其原始的完整幅度。）

— ttnphns 2014年

这是一个合理的问题（+1），其源于术语的歧义和混淆。

在PCA中，人们经常称主轴（协方差/相关矩阵的特征向量）为“负荷”。这是草率的术语。在PCA中应被称为“载荷”的是主轴，该主轴由相应特征值的平方根缩放。然后，您所指的定理将成立。

R = V S V^{⊤}

$\mathbf R = \mathbf V \mathbf S \mathbf V^\top$

V

$\mathbf V$

S

$\mathbf S$

A = V S^{1 / 2},

$\mathbf A = \mathbf V \mathbf S^{1/2},$

R = A A^{⊤} .

$\mathbf R = \mathbf A \mathbf A^\top.$

r

$r$

r

$r$

R \approx A_{r} A_{r}^{⊤} .

$\mathbf R \approx \mathbf A_r \mathbf A_r^\top.$

请在这里查看我的答案，以获取更多有关通过因子分析和PCA加载重建协方差矩阵的信息。

— 变形虫说恢复莫妮卡
source