偏最小二乘，减少秩回归和主成分回归之间有什么联系？

缩减秩回归和主成分回归只是偏最小二乘的特殊情况吗？

本教程（第6页，“目标比较”）指出，当我们在不投影X或Y的情况下进行偏最小二乘时（即“不偏”），相应地，它变成了降低秩回归或主成分回归。

在此SAS文档页面的 “降低的等级回归”和“方法之间的关系”部分中做出了类似的说明。

一个更基本的跟进问题是他们是否具有相似的潜在概率模型。

这是三种不同的方法，没有一种可以视为另一种特殊情况。

形式上，如果和ÿ居中预测器（Ñ × p）和响应（Ñ × q）的数据集，并且如果我们寻找第一对轴，瓦特 ∈ [R p为X和v ∈ [R q为ÿ，然后这些方法最大化以下数量：$\mathbf X$$\mathbf Y$$n \times p$$n\times q$$\mathbf w \in \mathbb R^p$$\mathbf X$$\mathbf v \in \mathbb R^q$$\mathbf Y$

$$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$$

（我在此列表中添加了规范相关分析（CCA）。）

---

我怀疑这可能是因为在SAS中，这三种方法似乎都是通过PROC PLS具有不同参数的同一函数来实现的。因此，这三种方法似乎都是PLS的特例，因为这就是SAS函数的命名方式。但是，这只是一个不幸的命名。实际上，PLS，RRR和PCR是三种恰好在SAS中实现的不同方法，出于某种原因将其称为PLS。

您链接到的两个教程实际上都非常清楚。演示教程的第6页陈述了这三种方法的目标，并且没有说PLS“变成” RRR或PCR，这与您在问题中所声称的相反。同样，SAS文档解释了三种方法不同，给出了公式和直觉：

[P]主要成分回归选择能够解释尽可能多的预测变量的因素，缩减秩回归选择能够解释尽可能多的预测变量的结果，偏最小二乘平衡了这两个目标，寻找可以解释反应和预测变量的因素。

SAS文档中甚至有一个图，显示了一个很好的玩具示例，其中三种方法给出了不同的解决方案。在此玩具示例中，有两个预测变量和x 2和一个响应变量y。在方向X是最具有相关ý恰好是垂直于最大方差的方向X。因此，PC1与第一RRR轴正交，而PLS轴介于两者之间。$x_1$$x_2$$y$$X$$y$$X$

可以给RRR损失函数增加岭罚，以获得岭降秩回归或RRRR。这会将回归轴拉向PC1方向，有点类似于PLS所做的事情。但是，RRRR的成本函数不能以PLS形式编写，因此它们保持不同。

请注意，当只有一个预测变量，CCA = $$ =通常回归。$y$