如何理解“非线性降维”中的“非线性”？

24

我试图了解线性降维方法（例如PCA）和非线性降维方法（例如Isomap）之间的差异。

在这种情况下，我不太了解（非线性）含义。我从维基百科上得知

相比之下，如果使用PCA（线性降维算法）将同一数据集缩小为二维，则结果值的组织就不太好。这表明采样此歧管的高维向量（每个代表字母“ A”）以非线性方式变化。

是什么

采样此歧管的高维向量（每个代表字母“ A”）以非线性方式变化。

意思？或更广泛地说，在这种情况下，我如何理解（非线性）？

pca terminology dimensionality-reduction pattern-recognition manifold-learning

— 西布斯赌博
source

20

降维意味着将每个多维矢量映射到一个低维矢量。换句话说，用一个低维向量表示（替换）每个多维向量。

线性降维意味着低维向量的分量由相应高维向量的分量的线性函数给出。例如，在缩小为二维的情况下，我们有：

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

如果f1和f2是（非线性）函数，则我们具有（非线性）维数减少。

— 罗曼
source

3

为了清楚起见，您应该在此上下文中添加“线性”表示或某种广义等效项。例如，每个PCA维都是输入的“线性组合”：。

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

— shadowtalker 2014年

1

我的意思是：，其中和分别是低维向量和高维向量的分量（我认为这不是您的意思）。我认为问题不在于理解线性函数是什么，而是在于线性出现的位置。

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$

— 2014年

49

一张图片胜过千言万语：

PCA与Isomap

在这里，我们正在寻找2D的一维结构。这些点沿S形曲线放置。PCA尝试使用线性一维流形（仅是一条线）来描述数据。当然，一条线适合这些数据是很糟糕的。Isomap正在寻找非线性（即弯曲！）一维流形，并且应该能够发现下面的S形曲线。

— 变形虫说恢复莫妮卡
source