Questions tagged «dimensionality-reduction»

问题设定 我有高维度（4096）的数据点（图像），我正尝试以2D方式进行可视化。为此，我以类似于以下Karpathy示例代码的方式使用t- sne。 该scikit学习文档，建议使用PCA先降低数据的维度： 如果特征数量非常多，强烈建议使用另一种降维方法（例如，对于密集数据使用PCA或对于稀疏数据使用TruncatedSVD）将尺寸数量减少到合理的数量（例如50个）。 我正在使用Darks.Liu的以下代码在Java中执行PCA： //C=X*X^t / m DoubleMatrix covMatrix = source.mmul(source.transpose()).div(source.columns); ComplexDoubleMatrix eigVal = Eigen.eigenvalues(covMatrix); ComplexDoubleMatrix[] eigVectorsVal = Eigen.eigenvectors(covMatrix); ComplexDoubleMatrix eigVectors = eigVectorsVal[0]; //Sort sigen vector from big to small by eigen values List<PCABean> beans = new ArrayList<PCA.PCABean>(); for (int i = 0; i < eigVectors.columns; i++) { …

9 pca  dimensionality-reduction  high-dimensional  java  tsne 

流形学习和非线性降维有什么区别？ 我已经看到这两个术语可以互换使用。例如： http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html： 流形学习（通常也称为非线性降维）追求的目标是在保持特征特性的同时，将原来位于高维空间中的数据嵌入到低维空间中。 http://www.stat.washington.edu/courses/stat539/spring14/Resources/tutorial_nonlin-dim-red.pdf： 在本教程中，“流形学习”和“降维”可互换使用。 https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3337666/： 降维方法是一类算法，该算法使用数学定义的流形对多维类进行统计采样，以生成保证统计准确性的判别规则。 但是，http ://scikit-learn.org/stable/modules/manifold.html更为细微： 流形学习是非线性降维的一种方法。 我看到的第一个区别是流形可以是线性的，因此应该比较非线性流形学习和非线性降维。

9 terminology  dimensionality-reduction  manifold-learning 

我正在获取温度与冰淇淋销售的虚拟数据，并使用K均值（n个群集= 2）将其分类以区分2类（完全虚拟）。 现在，我正在对此数据进行主成分分析，我的目标是了解我所看到的。我知道PCA的目的是减少尺寸（显然不是在这种情况下）并显示元素的变化。但是，您如何阅读下面的PCA图，即在PCA图中您可以讲述温度与冰淇淋的故事？第一（X）和第二（Y）PC是什么意思？

9 pca  interpretation  k-means  dimensionality-reduction 

考虑到特征数量恒定，Barnes-Hut t-SNE的复杂度为，随机投影和PCA的复杂度为使它们对于非常大的数据集“负担得起”。O （n ）O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) 另一方面，依赖多维缩放的方法具有复杂度。O(n2)O(n2)O(n^2) 是否存在其他复杂度低于降维技术（除了琐碎的降维技术，例如，看前列？O （n log n ）kkkO(nlogn)O(nlog⁡n)O(n\log n)

9 pca  dimensionality-reduction  large-data  multidimensional-scaling  tsne 

自动编码器网络似乎比普通分类器MLP网络更复杂。在使用Lasagne进行了几次尝试之后，我在重构输出中得到的所有内容在最好的情况下类似于MNIST数据库的所有图像的模糊平均，而没有区分输入位数是多少。 我选择的网络结构为以下层叠层： 输入层（28x28） 2D卷积层，滤镜尺寸7x7 最大汇聚层，大小3x3，步幅2x2 密集（完全连接）的展平层，10个单位（这是瓶颈） 密集（完全连接）层，共121个单元 将图层重塑为11x11 2D卷积层，滤镜大小3x3 2D放大层系数2 2D卷积层，滤镜大小3x3 2D放大层系数2 2D卷积层，滤镜尺寸5x5 功能最大池化（从31x28x28到28x28） 所有的2D卷积层都具有无偏差的偏置，S型激活和31个滤波器。 所有完全连接的层均具有S型激活。 使用的损失函数为平方误差，更新函数为adagrad。用于学习的块的长度是100个样本，乘以1000个纪元。 下面是该问题的说明：上面的行是设置为网络输入的一些样本，下面的行是重构： 为了完整起见，以下是我使用的代码： import theano.tensor as T import theano import sys sys.path.insert(0,'./Lasagne') # local checkout of Lasagne import lasagne from theano import pp from theano import function import gzip import numpy as np from …

9 machine-learning  neural-networks  dimensionality-reduction  unsupervised-learning  autoencoders 

在机器学习中，通常假设数据集位于光滑的低维流形上（流形假设），但是有任何方法可以证明假设满足某些条件，则确实（近似）生成了数据集来自低维平滑流形？ 例如，给定一个数据序列 {X1个…Xñ}{X1…Xn}\{\mathbf{X}_1 \ldots \mathbf{X}_n\} 哪里 X一世∈[RdXi∈Rd\mathbf X_i \in \mathbb{R}^d （例如具有不同角度的面部图像序列）和相应的标签序列 {ÿ1个…ÿñ}{y1…yn}\{ y_1 \ldots y_n\} 哪里 ÿ1个⪯ÿ2…… ⪯ÿñy1⪯y2…⪯yny_1 \preceq y_2 \ldots \preceq y_n （说出面部序列的角度）。假设何时X一世XiX_i 和 X我+ 1Xi+1X_{i+1} 非常接近，他们的标签 yiyiy_i 和 yi+1yi+1y_{i+1} 距离也很近，我们可以想象，很可能 {X1…Xn}{X1…Xn}\{\mathbf{X}_1 \ldots \mathbf{X}_n\}躺在低维流形上。这是真的？如果是这样，我们怎么证明呢？或者该序列需要满足什么条件才能证明流形假设是正确的？

9 machine-learning  dimensionality-reduction  manifold-learning 

我审阅了一篇基于应用程序的论文，说在应用ICA之前先应用PCA（使用fastICA软件包）。我的问题是，ICA（fastICA）是否要求PCA首先运行？ 本文提到 ...也有人认为，预先应用PCA可以通过（1）在白化之前丢弃小的尾随特征值，以及（2）通过使成对依存关系最小化来降低计算复杂度，从而提高ICA性能。PCA对输入数据进行解相关；其余的高阶依存关系由ICA分隔。 另外，其他论文也正在ICA之前应用PCA，例如该论文。 在ICA之前运行PCA还有其他利弊吗？请提供理论参考。

9 pca  dimensionality-reduction  pattern-recognition  ica 

假设我有一个二维点数据集，并且我想检测数据中所有局部极大值方差的方向，例如： PCA在这种情况下无济于事，因为它是正交分解，因此无法检测到我用蓝色表示的两条线，而是它的输出可能看起来像绿线所示。 请推荐任何适合此目的的技术。谢谢。

9 pca  dimensionality-reduction 

我想基于22个变量对SPSS进行主成分分析（因子分析）。但是，我的一些变量非常偏斜（根据SPSS计算得出的偏斜范围为2–80！）。 所以这是我的问题： 我应该保留这样的偏斜变量，还是可以在主成分分析中转换变量？如果是，我将如何解释因子得分？ 我应该进行哪种类型的转换？log10还是ln？ 最初，我的KMO（Kaiser–Meyer–Olkin）为0.413。许多文献建议最小值为0.5。我仍然可以进行因子分析，还是需要删除变量以将我的KMO提高到0.5？

9 pca  factor-analysis  dimensionality-reduction  skewness 

我不明白为什么缩小尺寸很重要。取得一些数据并缩小其维度有什么好处？

9 dimensionality-reduction  svd 

为了更好地理解数据的结构，我同时执行了SVD分解和6维数据矩阵的多维缩放。 不幸的是，所有奇异值都具有相同的阶数，这意味着数据的维数确实为6。但是，我希望能够解释奇异矢量的值。例如，第一个似乎在每个维度上都差不多相等（即(1,1,1,1,1,1)），第二个也有有趣的结构（类似(1,-1,1,-1,-1,1)）。 我如何解释这些向量？您能指出一些有关该主题的文献吗？

9 pca  interpretation  dimensionality-reduction  svd