具有线性内核的内核PCA是否等于标准PCA？

如果在内核PCA中选择线性内核，结果是否会与普通的线性PCA不同？解决方案是否根本不同或存在某种定义明确的关系？$K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$

简介：具有线性内核的内核PCA完全等同于标准PCA。

令为大小的居中数据矩阵，列中有变量，行中有数据点。然后，协方差矩阵由，其特征向量是主轴，特征值是PC方差。同时，可以考虑所谓的革兰氏矩阵的的的大小。很容易看出，它具有直到因子相同的特征值（即PC方差），并且其特征向量是按单位范数缩放的主成分。 Ñ × d d Ñ d × d X ⊤ X /（ñ - 1 ）X X ⊤ Ñ × Ñ ñ - $\mathbf{X}$$N \times D$$D$$N$$D \times D$$\mathbf{X}^\top\mathbf{X}/(n-1)$$\mathbf{X}\mathbf{X}^\top$$N \times N$$n-1$

这是标准PCA。现在，在内核PCA中，我们考虑一些函数，它将每个数据点映射到另一个通常具有较大维甚至可能是无限大的向量空间。内核PCA的想法是在这个新领域中执行标准PCA。D n e $\phi(x)$$D_\mathrm{new}$

由于此新空间的维数很大（或无穷大），因此很难或不可能计算协方差矩阵。但是，我们可以将第二种方法应用于上面概述的PCA。实际上，革兰氏矩阵仍将具有相同的可管理 ×大小。该矩阵的元素由，我们将其称为内核函数K（\ mathbf {x} _i，\ mathbf {x} _j） = \ phi（\ mathbf {x} _i）\ phi（\ mathbf {x} _j）。这就是所谓的内核技巧：实际上不需要计算\ phi（），而只需计算K（）。这个Gram矩阵的特征向量将是目标空间中我们感兴趣的主要成分。ϕ （x i）ϕ （x j）K （x i，x j）= ϕ （x i）ϕ （x j$N \times N$$\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$$K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$$\phi()$$K()$

您的问题的答案现在变得显而易见。如果，则内核Gram矩阵减小为，它等于标准Gram矩阵，因此主要组成部分不会改变。$K(x,y)=\mathbf{x}^\top \mathbf{y}$$\mathbf{X} \mathbf{X}^\top$

一个非常易读的参考文献是Scholkopf B，Smola A和MüllerKR，《内核主成分分析》，1999年，并注意到例如在图1中，他们明确地将标准PCA称为使用点积作为内核函数的标准PCA：

除了变形虫的好答案之外，还有一种更简单的方法来查看其等效性。再次让为大小的数据矩阵，其中列为变量，数据点为行。标准PCA对应于取矩阵的奇异值分解X = û Σ V ⊤与的主要组分。线性核的奇异值分解具有相同的左奇异矢量，因此具有相同的主成分。$X$$N \times D$$D$$N$$X = U \Sigma V^\top$$U$$X$$XX^\top = U \Sigma^2 U^\top$

在我看来，具有线性核的KPCA应该与简单的PCA相同。

您将要获得特征值的协方差矩阵是相同的：

您可以在此处查看更多详细信息。