Questions tagged «tsne»

我有一个应用程序，在寻找嘈杂的数据集之前，可以方便地将一个嘈杂的数据集聚类。我首先研究了PCA，但是要达到90％的可变性需要大约30个组件，因此仅在几台PC上进行群集将丢弃很多信息。 然后，我尝试了t-SNE（第一次），这给了我一个二维的奇怪形状，非常适合通过k均值聚类。而且，在数据上运行随机森林并以集群分配作为结果表明，就问题原始情况而言，就组成原始数据的变量而言，集群具有相当合理的解释。 但是，如果我要报告这些集群，该如何描述它们？主成分上的K均值聚类揭示了根据组成数据集中方差X％的派生变量彼此相邻的个体。关于t-SNE集群可以做出什么等效的表述？ 可能会产生以下效果： t-SNE揭示了潜在的高维流形中的近似连续性，因此在高维空间的低维表示上的聚类最大化了连续个体不会在同一聚类中的“可能性” 有人能提出比这更好的宣传吗？

77 clustering  interpretation  k-means  tsne 

我想看看7种文本纠正行为的度量标准（纠正文本所花费的时间，击键次数等）如何相互关联。措施是相关的。我运行PCA来查看这些度量如何投影到PC1和PC2上，避免了在度量之间运行单独的双向相关性测试的重叠。 我被问到为什么不使用t-SNE，因为某些度量之间的关系可能是非线性的。 我可以看到允许非线性如何改善这一点，但是我想知道是否有充分的理由在这种情况下使用PCA而不是t-SNE？我不希望根据文本与度量的关系来聚类文本，而是对度量本身之间的关系感兴趣。 （我想EFA也可以是一种更好/另一种方法，但这是不同的讨论。）与其他方法相比，此处关于t-SNE的文章很少，因此这个问题似乎值得提出。

39 pca  tsne 

在我看来，KL从样本分布到真实分布的差异仅仅是交叉熵和熵之间的差异。 为什么在许多机器学习模型中使用交叉熵作为代价函数，而在t-sne中使用Kullback-Leibler散度？学习速度有什么不同吗？

39 kullback-leibler  tsne  cross-entropy 

引用其中一位作者的话： t分布随机邻居嵌入（t-SNE）是一项降维技术（获奖），特别适合于高维数据集的可视化。 听起来不错，但这是作者的话题。 作者的另一句话（关于上述比赛）： 您从这场比赛中收获了什么？ 在开始对数据进行预测之前，请始终先对数据进行可视化处理！通常，可视化（例如我制作的可视化）可以洞悉数据分布，从而可以帮助您确定尝试哪种类型的预测模型。 信息必须1 被丢失-这是一个降维技术毕竟。但是，由于这是可视化时使用的一种很好的技术，因此丢失的信息的价值不及突出显示的信息（通过缩小为2或3维，使其可见/可理解）。 所以我的问题是： tSNE什么时候是适合该工作的工具？ 什么样的数据集导致它不起作用， 它看起来可以回答什么样的问题，但实际上却不能回答？ 在上面的第二个引用中，建议始终可视化您的数据集，是否应该始终使用tSNE进行可视化？ 我希望可以反过来最好地回答这个问题，即回答：什么时候tSNE是适合该工作的工具？ 提醒我不要依赖tSNE告诉我将如何轻松地对数据进行分类（分为几类-一个判别模型）令人误解的例子是，对于下面的两个图像，生成模型2更糟第一个/左边的可视化数据的准确性为53.6％，第二个/右边的可视化数据的准确性为67.2％。 1 我对此可能是错的，我可能会坐下来，稍后再尝试一个证明/计数器示例 2 请注意，生成模型与判别模型并不相同，但这是我给出的示例。

37 data-visualization  dimensionality-reduction  tsne 

在最近的一项作业中，我们被告知在MNIST数字上使用PCA将尺寸从64（8 x 8图像）减小到2。然后，我们不得不使用高斯混合模型对数字进行聚类。仅使用2个主要成分的PCA不会产生不同的聚类，因此该模型无法产生有用的分组。 但是，使用带有2个组件的t-SNE，可以更好地分离群集。当将高斯混合模型应用于t-SNE组件时，会产生更多不同的簇。 在下面的图像对中，可以看到具有2个分量的PCA和具有2个分量的t-SNE的差异，其中将变换应用于MNIST数据集。 我已经读到t-SNE仅用于高维数据的可视化（例如在此答案中），但是鉴于其产生的簇不同，为什么不将其用作降维技术，然后将其用于分类模型或一个独立的群集方法？

34 classification  clustering  pca  dimensionality-reduction  tsne 

我有一个336x256浮点数的矩阵（336个细菌基因组（列）x 256个标准化四核苷酸频率（行），例如，每列总计1）。 使用主成分分析运行分析时，我得到很好的结果。首先，我根据数据计算kmeans聚类，然后运行PCA并基于2D和3D中的初始kmeans聚类为数据点着色： library(tsne) library(rgl) library(FactoMineR) library(vegan) # read input data mydata <-t(read.csv("freq.out", header = T, stringsAsFactors = F, sep = "\t", row.names = 1)) # Kmeans Cluster with 5 centers and iterations =10000 km <- kmeans(mydata,5,10000) # run principle component analysis pc<-prcomp(mydata) # plot dots plot(pc$x[,1], pc$x[,2],col=km$cluster,pch=16) # plot …

27 r  pca  tsne 

我已经阅读了很多有关 -sne算法以进行降维。我对“经典”数据集（例如MNIST）的性能印象深刻，在该数据集上，数字清晰地分开了（请参阅原始文章）：ŤŤt 我还使用它来可视化我正在训练的神经网络学到的功能，并对结果感到非常满意。 因此，据我了解： ŤŤtØ （ñ 日志n ）Ø（ñ日志⁡ñ）O(n \log n) 我知道这是一个非常大胆的声明。我有兴趣了解这种方法的潜在“陷阱”。也就是说，在任何情况下我们都知道它没有用吗？此外，该领域存在哪些“开放”问题？

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

最近一直在阅读有关t-SNE（t分布随机邻居嵌入）的一些问题，并且还访问了有关MDS（多维缩放）的一些问题。 它们通常以类似的方式使用，因此在这里将两个问题分开（或与PCA进行比较）时，将这个问题视为一个好主意。 简而言之，t-SNE和MDS有何不同？例如。他们探索了数据层次结构的哪些优点，不同的假设等。 收敛速度？内核的使用又如何呢？

21 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

我对t-SNE和Barnes-Hut近似的理解是，需要所有数据点，以便可以同时计算所有力的相互作用，并且可以在2d（或更低维）图中调整每个点。 是否有任何版本的t-sne可以有效处理流数据？因此，如果我的观测一次到达一个观测，它将在2d地图上找到最佳位置以放置新观测，或者连续更新2d地图上的所有点以解决新观测。 这甚至有意义还是与t-sne的设置背道而驰？

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

我的某些数据功能具有较大的值，而其他功能具有较小的值。 在应用t-SNE之前是否有必要对数据进行居中+缩放，以防止偏向更大的值？ 我将Python的sklearn.manifold.TSNE实现与默认的欧几里得距离度量标准结合使用。

18 normalization  dimensionality-reduction  high-dimensional  tsne 

作为我要解决的特定问题（竞赛），我进行了以下设置：21个功能（[0,1]上的数字）和二进制输出。我大约有10万行。设置似乎非常嘈杂。 我和其他参与者使用了一段时间的特征生成功能，并且在这种情况下，t分布的随机邻居嵌入非常强大。 我偶然发现了这篇文章“如何有效使用t-SNE”，但我仍然无法真正得出关于如何在我的分类设置中最佳选择超参数的结论。 是否有经验法则（特征数量，嵌入尺寸->困惑选择）？ 我现在只是临时应用设置，因为迭代各种设置所需的时间太长。感谢您的任何评论。

13 machine-learning  dimensionality-reduction  unsupervised-learning  tsne 

我目前正在尝试围绕t-SNE数学学习。不幸的是，还有一个我不能令人满意地回答的问题：t-SNE图中轴的实际含义是什么？如果要在此主题上进行演示或将其包含在任何出版物中：我如何适当地标记轴？ PS：我读了 Reddit问题，但是那里给出的答案（例如“取决于解释和领域知识”）并不能真正帮助我理解这一点。

12 machine-learning  dimensionality-reduction  tsne 

假设我们有一个分类问题，首先我们要从数据中获取一些见识，然后进行t-SNE。t-SNE的结果很好地分隔了各个类。这意味着可以建立分类模型，该模型也可以很好地分离类（如果t-SNE不能很好地分离，则意味着没有太大的区别）。 知道t-SNE专注于局部结构并且可以很好地分离类：什么是分类算法才能很好地解决此问题？Scikit建议使用具有高斯RBF内核的SVM，但还有哪些呢？

12 classification  tsne 

在什么情况下我们应该使用t-SNE（除了数据可视化）？ T-SNE用于降低尺寸。回答这个问题 表明，T-SNE应仅用于可视化和我们不应该将其用于集群使用。那么t-SNE有什么用呢？

12 data-visualization  dimensionality-reduction  tsne 

据我所知，自动编码器和t-SNE都用于减少非线性维数。它们之间有什么区别，为什么我应该一个使用另一个？

12 neural-networks  deep-learning  dimensionality-reduction  autoencoders  tsne