t-SNE与MDS

最近一直在阅读有关t-SNE（t分布随机邻居嵌入）的一些问题，并且还访问了有关MDS（多维缩放）的一些问题。

它们通常以类似的方式使用，因此在这里将两个问题分开（或与PCA进行比较）时，将这个问题视为一个好主意。

简而言之，t-SNE和MDS有何不同？例如。他们探索了数据层次结构的哪些优点，不同的假设等。

收敛速度？内核的使用又如何呢？

PCA通过对N个数据点本身进行特征分析来选择影响维度，而MDS通过对成对距离矩阵的数据点进行特征分析来选择影响维度。这具有突出分布均匀性偏差的作用。考虑到距离矩阵作为类似于一个应力张量，MDS可被视为一个“力指向”布局算法，执行复杂其中是ø（d Ñ 一个），其中3 < 一个≤ 4。 $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

叔SNE，在otherhand，使用场近似来执行稍微不同的形式力指向布局的，通常经由巴恩斯小屋其减少基于梯度的复杂Ö（d Ñ ⋅ 日志（ñ ）），但收敛性较差的理解这个迭代随机逼近法（以最好的我的知识），以及用于2 ≤ d ≤ $\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$通常观察到的运行时间通常长于其他降维方法。该结果通常比朴素的本征分析在视觉上更易于解释，并且取决于分布，通常比MDS结果更直观，后者倾向于保留全局结构，但以t-SNE保留的局部结构为代价。

MDS已经是内核PCA的简化，并且应该可以用其他内核扩展，而内核t-SNE在Gilbrecht，Hammer，Schulz，Mokbel，Lueks等人的工作中有所描述。我实际上并不熟悉它，但是也许其他受访者可能对此很熟悉。

我倾向于根据上下文目标在MDS和t-SNE之间进行选择。无论哪种阐明我感兴趣的结构，哪种结构都有更大的解释能力，即我使用的算法。这可以认为是一个陷阱，因为它是研究人员自由度的一种形式。但是，明智地使用自由并不是一件坏事。