PCA和PLS中的“负荷”和“相关负荷”有什么区别？

做主成分分析（PCA）时，要做的一件事是相互绘制两个载荷以研究变量之间的关系。在随附的用于进行主成分回归和PLS回归的PLS R软件包的论文中，有一个不同的图，称为相关负荷图（请参见本文中的图7和第15页）。的相关性装载，因为它是解释的，是分数之间和实际观察到的数据的相关性（从PCA或PLS）。

在我看来，加载和相关加载非常相似，只是它们的缩放比例有所不同。使用内置数据集mtcars的R中的可重现示例如下：

data(mtcars)
pca <- prcomp(mtcars, center=TRUE, scale=TRUE)

#loading plot
plot(pca$rotation[,1], pca$rotation[,2],
     xlim=c(-1,1), ylim=c(-1,1),
     main='Loadings for PC1 vs. PC2')

#correlation loading plot
correlationloadings <- cor(mtcars, pca$x)
plot(correlationloadings[,1], correlationloadings[,2],
     xlim=c(-1,1), ylim=c(-1,1),
     main='Correlation Loadings for PC1 vs. PC2')

这些图的解释有什么区别？哪种曲线图（如果有的话）最适合在实践中使用？

警告：R以混淆的方式使用术语“装载”。我在下面解释。

$\mathbf{X}$$N$$\mathbf{X} = \mathbf{U} \mathbf{S} \mathbf{V}^\top$$\mathbf{US}$$\mathbf{V}$$\frac{1}{N-1}\mathbf{X}^\top\mathbf{X} = \mathbf{V}\frac{\mathbf{S}^2}{{N-1}}\mathbf{V}^\top$$\mathbf{V}$

“载荷”定义为列$\mathbf{L}=\mathbf{V}\frac{\mathbf S}{\sqrt{N-1}}$

为了消除术语上的混淆：R程序包称为“加载”的是主轴，而其所谓的“相关加载”是（对于PCA在相关矩阵上完成的）实际加载。如您所知，它们仅在缩放方面有所不同。绘制什么更好，取决于您要看什么。考虑以下简单示例：

$\mathbf{V}$$x$$y$$\mathbf{L}$$x$$y$$x$$y$与PC1的关联比与PC2的关联要强得多。我猜想大多数人最喜欢看到正确的双图类型。

$x$$y$$1$

现在让我们再看一下mtcars数据集。这是在相关矩阵上完成的PCA的双图：

$\mathbf{V}$$\mathbf{L}$

这是在协方差矩阵上完成的PCA的双图：

$100$$\mathbf{V}$$\mathbf{L}$

PS PCA双工位有许多不同的变体，有关更多说明和概述，请参见我的回答：在PCA双工位上放置箭头。在CrossValidated上发布的最漂亮的Biplot可以在这里找到。