PCA，ICA和Laplacian特征图

题

我对拉普拉斯特征图方法非常感兴趣。目前，我正在使用它来缩小我的医疗数据集的尺寸。

但是，使用该方法遇到了问题。

例如，我有一些数据（光谱信号），并且可以使用PCA（或ICA）来获取一些PC（或IC）。问题是如何使用LE获得原始数据的类似降维分量？

根据拉普拉斯特征图方法，我们需要解决广义特征值问题，即

$L y = \lambda D y$

此处$y$是特征向量。如果我绘制例如前3个特征向量（根据3个特征值的解），结果将无法解释。

但是，当我绘制前3个PC和前3个IC时，结果似乎总是（直观地）代表原始数据$x$。

我认为原因是因为矩阵$L$由权重矩阵（邻接矩阵$W$）定义，并且数据$x$已与热核拟合以创建$W$，这是使用指数函数。我的问题是如何检索$x$的简化分量（而不是矩阵L的特征向量$y$）？$L$

数据

我的数据集受到限制，并且不容易演示该问题。在这里，我创建了一个玩具问题，以显示我的意思和想要问的问题。

请看图片

首先，我创建了一些以红色曲线显示的正弦波A，B，C（图的第一列）。A，B和C具有1000个样本，换句话说，保存在1x1000向量中。

其次，我使用随机创建的线性组合（例如混合源A，B，，其中是随机值。混合信号处于非常高的维空间中，例如，，1517是随机选择的高维空间。我仅以绿色曲线显示信号M的前三行（该图的第二列）。$M = r_1*A + r_2*B + r_3*C$$r_1, r_2, r_3$$M$$M \in R^{1517\times1000}$

接下来，我运行PCA，ICA和Laplacian特征图以获取降维结果。我选择使用3台PC，3个IC和3个LE进行公平比较（蓝色曲线分别显示为该图的第3列，第4列和最后一列）。

从PCA和ICA的结果（图的第3列，第4列），我们可以将结果解释为某种尺寸的减小，即，对于ICA结果，我们可以通过恢复混合信号（我不确定我们是否也可以通过PCA结果获得，但结果对我来说似乎很合适）。$M = b_1*IC1 + b_2*IC2 + b_3*IC3$$M = a_1*PC1 + a_2*PC2 + a_3*PC3$

但是，请查看LE的结果，我几乎无法解释结果（该图的最后一列）。减少的组件似乎有些“错误”。另外，我想提一提的是，最后一列的最后情节的特征向量式$y$$L y = \lambda D y$

你们有更多的想法吗？

图1使用12个最近的邻居并且加热内核中的sigma为0.5：

图2在加热内核中使用1000个最近邻居和sigma为0.5：

源代码：带有所需软件包的Matlab代码

问题的答案由原始Laplacian特征图谱第6页底部的映射给出：

$x_i \rightarrow (f_1(i), \dots, f_m(i))$

因此，例如，点嵌入（例如，前2个“分量”）由，其中和是对应于两个最小非零特征值的特征向量根据广义特征值问题。$x_5$$(f_1(5), f_2(5))$$f_1$$f_2$$L f = \lambda D f$

请注意，与PCA不同，要获得样本外嵌入并非易事。换句话说，您可以获得在计算时已经考虑过的点的嵌入，但如果是新点则不能（轻松）获得。如果您对后者感兴趣，请查阅本白皮书。$L$

这是Trosset教授课程网页的链接，并且他正在写一本书http://mypage.iu.edu/~mtrosset/Courses/675/notes.pdf，该书 每周都会更新。还给出了拉普拉斯特征图的R函数。自己尝试一下。您也可以考虑Belkin撰写的这篇论文

感谢Abhik Trosset教授的学生

与PCA不同，拉普拉斯特征图使用对应于最小特征值的广义特征向量。它跳过具有最小特征值（可以为零）的特征向量，并使用与接下来的几个最小特征值对应的特征向量。PCA是使用内核/克矩阵保留的最大方差嵌入。关于组合图拉普拉斯算子，拉普拉斯特征图被更多地看作是一个最小化问题（请参阅Trosset的论文）。