如何对主成分应用回归来预测输出变量？

我从tutorial1，link1和link2了解了主成分分析的基础知识。

我有100个变量的数据集（包括输出变量Y），我想通过PCA将变量减少到40个，然后使用这40个变量预测变量Y。

问题1：在获取主成分并选择前40个成分之后，如果对其应用回归，则会得到一些适合数据的函数。但是如何根据原始数据预测变量Y？要预测变量YI的输入有（100-1）个变量，我如何知道要从原始的100-1变量中选择哪个40个变量？

问题2：我将PCA反转了，并从那40个主要组件中获取了数据。但是数据发生了变化，因为我只选择了前40个组件。将回归应用于这些数据是否有意义？

我使用Matlab /八度。

您不会选择原始的99（100-1）变量的子集。

每个主要成分都是所有99个预测变量（x变量，IV，...）的线性组合。如果使用前40个主要成分，则每个成分都是所有99个原始预测变量的函数。（至少对于普通的PCA-有稀疏/正规化的版本，例如Zou，Hastie和Tibshirani 的SPCA，它们将基于较少的变量生成组件。）

考虑两个正相关变量的简单情况，为简单起见，我们将假定它们是同等变量。然后，第一个主成分将是两个变量之和的（分数）倍，第二个将是两个变量之差的（分数）倍；如果这两个变量不是同等可变的，则第一个主成分将对较大的变量加权更大，但仍将两者都包含在内。

因此，您从99个x变量开始，通过对每个原始变量应用相应的权重，从中计算40个主成分。[注意，在我的讨论中，我假设和X已居中。$y$$X$

然后，您将使用40个新变量，就好像它们本身就是预测变量一样，就像处理任何多元回归问题一样。（在实践中，有一些更有效的方法来获取估算值，但让我们将计算方面放在一边，只处理一个基本概念）

关于第二个问题，尚不清楚“逆转PCA”是什么意思。

$X$$Z=XW$$X$$n\times 99$$W$$99\times 40$$40$$\hat{y}=Z\hat{\beta}_\text{PC}$

$\hat{y}=Z\hat{\beta}_\text{PC}=XW\hat{\beta}_\text{PC}=X\hat{\beta}^*$$\hat{\beta}^*=W\hat{\beta}_\text{PC}$$y$$X$。当然，它与通过估计原始X的回归获得的系数不同-通过PCA进行正则化；即使您以此方式获得每个原始X的系数，它们也仅具有您拟合的零件数的df。

另请参阅Wikipedia中的主成分回归。