Questions tagged «svd»

我正在研究文档聚类中使用的各种技术，并且想清除一些有关PCA（主要成分分析）和LSA（潜在语义分析）的疑问。 第一件事-它们之间有什么区别？我知道在PCA中，SVD分解应用于术语协方差矩阵，而在LSA中，它是术语文档矩阵。还有别的事吗？ 第二-它们在文档聚类过程中的作用是什么？根据到目前为止的读物，我推断出它们的目的是减少维数，减少噪声并将项之间的关系纳入表示。在执行PCA或LSA之后，将传统算法（如k均值或凝聚法）应用于缩减后的词项空间，并使用典型的相似性度量（如余弦距离）。如果我错了，请纠正我。 第三-是否在应用PCA / LSA之前对TF / IDF术语向量进行了标准化是否重要？并且在那之后是否应该将它们再次标准化？ 第四-假设我对LSA / PCA减少的术语空间进行了一些聚类。现在，我应该如何为结果集群分配标签？由于尺寸与实际单词不符，因此这是一个难题。我想到的唯一想法是使用原始项向量计算每个聚类的质心，并选择权重最大的项，但这听起来并不十分有效。有针对此问题的一些特定解决方案吗？我什么都找不到。 我将非常感谢您澄清这些问题。

25 clustering  pca  data-mining  svd  lsa 

这个问题是关于一种计算主成分的有效方法。 关于线性PCA的许多文章都主张对个案数据使用奇异值分解。也就是说，如果我们有数据并想用主成分替换变量（其列），则可以执行SVD：，奇异值（特征值的平方根）占据了主对角线，右特征向量是轴变量到轴分量的正交旋转矩阵，左特征向量像，仅在这种情况下。然后，我们可以将分量值计算为。X = û 小号V '小号V Ù V C ^ = X V = û 小号XX\bf XX = U S V′X=USV′\bf X=USV'小号S\bf SVV\bf VüU\bf UVV\bf VC=XV=USC=XV=US \bf C=XV=US 进行变量PCA的另一种方法是通过分解方阵（即可以是变量之间的相关或协方差等）。分解可以是特征分解或奇异值分解：对于正方形对称正半定矩阵，它们将给出特征值与和的对角线相同的结果。组件值将为。- [R [R = V 大号V '大号V C ^ = X VR=X′XR=X′X\bf R=X'XRR\bf R R=VLV′R=VLV′\bf R=VLV'LL\bf LVV\bf VC=XVC=XV\bf C=XV 现在，我的问题是：如果数据是一个大矩阵，并且案例数（通常是一个案例）比变量数大得多，那么方法（1）会比方法（2）慢得多），因为方法（1）将相当昂贵的算法（例如SVD）应用于大矩阵；它计算并存储巨大的矩阵，这在我们的情况下是我们真正不需要的（变量的PCA）。如果是这样，那么为什么这么多texbook似乎主张或仅提及方式（1）？也许这很有效，但我缺少了什么？üXX\bf XUU\bf U

22 pca  algorithms  svd  matrix-decomposition 

在协作过滤中，我们没有填写值。假设用户没有看电影，那么我们必须在其中放一个“ na”。 如果要使用此矩阵的SVD，则必须在其中放入一些数字-假设为0。缩小的尺寸空间）。但预测的偏好本身-用户对某项商品的偏好将为零。（因为这就是我们在未知列上输入的内容）。 因此，我陷入了协作过滤与SVD问题的困扰。它们似乎几乎相同，但不完全相同。 它们之间有什么区别？当我将SVD应用于协作过滤问题时会发生什么？我做到了，结果在寻找附近用户方面似乎可以接受，这很好，但是如何？

21 machine-learning  svd  recommender-system 

我遇到了一个场景，其中我有10个人/人的10个信号（因此100个样本），其中包含需要传递给分类器的14000个数据点（维度）。我想减少此数据的维数，而PCA似乎是这样做的方法。但是，我仅能找到样本数量大于维数的PCA示例。我正在使用PCA应用程序，该应用程序使用SVD查找PC。当我将其传递给我的100x14000数据集时，返回了101台PC，因此显然可以忽略绝大多数尺寸。该程序表明前6台PC包含90％的方差。 是否合理地假设这101台PC基本上包含所有差异并且其余尺寸可以忽略不计？ 我读过的一篇论文声称，使用与我自己的数据集相似的（尽管质量略低）数据集，他们能够将4500尺寸缩减到80，从而保留了96％的原始信息。论文挥舞着使用的PCA技术的细节，只有3100个样本可用，我有理由相信比实际用于PCA的样本更少（以消除分类阶段的偏差）。 我是否缺少某些东西，或者这真的是PCA与高维，低样本量数据集结合使用的方式吗？任何反馈将不胜感激。

21 pca  dimensionality-reduction  svd 

我在随机数据的SVD结果中观察到一个非常奇怪的行为，可以在Matlab和R中重现该行为。是吗？ 我从k = 2维高斯中抽取了n=1000n=1000n=1000样本，均值和均方差为零：。我装配它们在数据矩阵。（我可以选择是否使居中，这不会影响以下内容。）然后我执行奇异值分解（SVD）来获得。让我们看一下两个特定元素，例如和，并询问在不同绘制之间它们之间的相关性是什么k=2k=2k=21000 × 2 X X X = û 小号V ⊤ û û 11 ù 22 XX∼N(0,I)X∼N(0,I)X\sim \mathcal N (0, \mathbf I)1000×21000×21000 \times 2XX\mathbf XXX\mathbf XX=USV⊤X=USV⊤\mathbf X=\mathbf{USV}^\topUU\mathbf UU11U11U_{11}U22U22U_{22}XX\mathbf X。我希望，如果抽奖次数相当大，则所有此类相关性都应在零附近（即总体相关性应为零，样本相关性将很小）。NrepNrepN_\mathrm{rep} 但是，我观察到U_ {11}，U_ {12}，U_ {21}和U_ {22}之间以及仅在这些元素之间存在一些奇怪的强相关性（大约）。如预期的那样，所有其他成对的元素都具有约零的相关性。下面是如何用于相关矩阵20的“上”元素\ mathbfù看起来像（第一10个的第一列的元件，则第一10个，第二列的元素）：±0.2±0.2\pm0.2U11U11U_{11}U12U12U_{12}U21U21U_{21}U22U22U_{22}202020UU\mathbf U101010101010 请注意，每个象限的左上角都有很高的值。 正是@whuber的评论引起了我的注意。@whuber认为PC1和PC2不是独立的，并提供了这种强相关性作为证据。但是，我的印象是他无意中发现了LAPACK库中的一个数字错误。这里发生了什么？ 这是@whuber的R代码： stat <- function(x) {u <- svd(x)$u; c(u[1,1], u[2, 2])}; …

21 pca  svd  linear-algebra  numerics 

我已经了解了岭回归如何将系数在几何上缩小为零。此外，我知道如何在特殊的“正交案例”中证明这一点，但是我对通过“频谱分解”在一般案例中的工作方式感到困惑。

20 regression  multiple-regression  regularization  ridge-regression  svd 

我知道如何用数学方法计算PCA和SVD，并且我知道两者都可以应用于线性最小二乘回归。 从数学上讲，SVD的主要优点似乎是可以将其应用于非平方矩阵。 两者都集中在矩阵的分解上。除了提到的SVD的优势之外，使用SVD相对于PCA是否还有其他优势或见解？X⊤XX⊤XX^\top X 我真的是在寻找直觉，而不是任何数学上的差异。

20 pca  least-squares  svd 

关于PCA，我有几个快速问题： PCA是否假定数据集是高斯的？ 当我将PCA应用于固有的非线性数据时会发生什么？ 对于给定的数据集，过程是首先进行均值归一化，将方差设置为1，采用SVD，降低等级，最后将数据集映射到新的降低等级的空间中。在新空间中，每个维度都对应于最大方差的“方向”。 但是，在新空间中该数据集的相关性是否始终为零，还是仅对本质上为高斯的数据适用？ 假设我有两个数据集“ A”和“ B”，其中“ A”对应于从高斯获得的随机采样点，而“ B”对应于从另一分布中随机采样的点（例如Poisson）。 PCA（A）与PCA（B）相比如何？ 通过查看新空间中的点，我如何确定PCA（A）对应于从高斯采样的点，而PCA（B）对应于从泊松采样的点？ “ A”中的点的相关性是否为0？ “ B”中的点的相关性也为0吗？ 更重要的是，我要问“正确”的问题吗？ 我应该看看相关性，还是应该考虑另一个指标？

20 pca  svd 

我正在寻找在JavaScript中实现主成分分析（PCA）的双图。我的问题是，如何从数据矩阵的奇异矢量分解（SVD）的输出确定箭头的坐标？U,V,DU,V,DU,V,D 这是R生成的示例双图： biplot(prcomp(iris[,1:4])) 我尝试在biplot上的Wikipedia文章中查找它，但它不是很有用。或正确。不知道哪个。

18 pca  svd  biplot 

最近，我读了斯基利康（Skillicorn）的关于矩阵分解的书，因为它针对的是本科生，所以有点失望。我想（对我自己和其他人）汇编关于矩阵分解的基本论文的简短参考书目（调查，也包括突破性论文）。我主要想到的是SVD / PCA（以及健壮/稀疏的变体）和NNMF上的某些东西，因为到目前为止它们是最常用的。你们都有什么建议/建议吗？我让我不要偏bias答案。我想将每个答案限制为2-3篇论文。 PS：我将这两个分解称为数据分析中最常用的。当然，QR，Cholesky，LU和Polar在数值分析中非常重要。这不是我的问题的重点。

18 matrix-decomposition  svd  numerics 

我想在一篇使用内核SVD分解数据矩阵的论文中实现一种算法。因此，我一直在阅读有关内核方法和内核PCA等的材料。但是，对于我而言，尤其是在数学细节方面，它还是很晦涩的，我有几个问题。 为什么使用内核方法？或者，内核方法有什么好处？直观的目的是什么？ 是否假设与非内核方法相比，更高的维数空间在现实世界中的问题更现实，并且能够揭示数据中的非线性关系？根据材料，内核方法将数据投影到高维特征空间上，但是它们不必显式计算新的特征空间。相反，仅计算特征空间中所有数据对对的图像之间的内积就足够了。那么为什么要投影到更高维度的空间呢？ 相反，SVD减少了特征空间。他们为什么要朝不同的方向做？内核方法寻求更高维度，而SVD寻求更低维度。对我来说，将它们结合起来听起来很奇怪。根据我正在阅读的论文（Symeonidis等，2010），引入内核SVD而不是SVD可以解决数据中的稀疏性问题，从而改善结果。 从图中的比较中我们可以看到，KPCA得到的特征向量的方差（特征值）比PCA高。因为对于点在特征向量（新坐标）上的投影的最大差异，KPCA是一个圆，PCA是一条直线，所以KPCA的方差大于PCA。那么，这是否意味着KPCA的主成分要高于PCA？

18 pca  svd  kernel-trick 

假设我有一个致密的基质的米× Ñ大小，SVD分解甲 = û 小号V ⊤。在我可以计算SVD如下：。AA \textbf{A}m×nm×nm \times nA=USV⊤.A=USV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) 如果一个新的个行被添加到(m+1)(m+1)(m+1)，可以计算基于旧一个新的SVD分解（即通过使用 ü，小号和 V），不从头重新计算SVD？AA\mathbf AUU\mathbf USS\mathbf SVV\mathbf V

17 algorithms  svd  linear-algebra  matrix-decomposition  numerics 

维基百科有关主成分分析的文章指出： 存在有效的算法来计算的SVD，而不必形成矩阵X T X，因此，计算SVD现在是从数据矩阵计算主成分分析的标准方法，除非只需要少量的成分。XXXXŤXXŤXX^TX 有人可以告诉我本文讨论的有效算法是什么？没有提供参考（建议使用这种计算方式的文章的URL或引用会很好）。

17 pca  algorithms  svd  numerics 

假设我们有NNN可测量的变量(a1,a2,…,aN)(a1,a2,…,aN)(a_1, a_2, \ldots, a_N)，我们进行了M>NM>NM > N个测量，然后希望对结果进行奇异值分解，以找到最大方差轴。N维空间中的MMM个点。（注意：假设的装置一个我已经减去，所以⟨ 一个我 ⟩ = 0对于所有我）。NNNaiaia_i⟨ai⟩=0⟨ai⟩=0\langle a_i \rangle = 0iii 现在假设一个（或多个）变量的特征量级与其余变量具有显着不同的特征量级。例如a1a1a_1可具有值的范围在10−10010−10010-100其余的可能约为0.1−10.1−10.1-1。这将扭曲向最高方差的轴a1a1a_1的轴非常多。 大小上的差异可能仅仅是由于不幸地选择了度量单位（如果我们谈论的是物理数据，例如公里与米），但是实际上不同的变量可能具有完全不同的尺寸（例如重量与体积），因此可能没有任何明显的方法为它们选择“可比较”的单位。 问题： 我想知道是否存在任何标准/通用方法来规范化数据以避免这种问题。我更感兴趣的是产生了相当的幅度标准技术a1−aNa1−aNa_1 - a_N为了这个目的，而不是想出一些新的东西。 编辑： 一种可能性是通过其标准偏差或类似的东西标准化每个变量。但是，随后出现以下问题：让我们将数据解释为NNN维空间中的点云。该点云可以旋转，并且这种类型的归一化将根据旋转给出不同的最终结果（在SVD之后）。（例如，在最极端的情况下，想象精确地旋转数据以使主轴与主轴对齐。） 我希望不会有任何旋转不变的方法，但是如果有人能指出我对文献中有关此问题的某些讨论，特别是关于结果解释中的注意事项，我将不胜感激。

17 pca  data-transformation  normalization  dimensionality-reduction  svd 

如果我们的数据是多元正态分布的，PCA成分（在主成分分析中）是否在统计上独立？如果是这样，如何证明/证明这一点？ 我之所以问是因为我看到了这篇文章，其中最高答案指出： PCA没有做出明确的高斯假设。它找到使数据中解释的方差最大化的特征向量。主成分的正交性意味着它找到了最不相关的成分来解释尽可能多的数据变化。对于多元高斯分布，组件之间的零相关性意味着独立性，这对于大多数分布而言并非如此。 给出的答案没有证据，并且似乎暗示如果数据是多元正态的，则PCA会产生独立的分量。 具体来说，假设我们的数据来自以下示例： x∼N(μ,Σ)x∼N(μ,Σ)\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma}) 我们将个样本放入样本矩阵，因此为。计算的SVD （居中后）得出nnnxx\mathbf{x}XX\mathbf{X}XX\mathbf{X}n×mn×mn \times mXX\mathbf{X} X=USVTX=USVT\mathbf{X} = \mathbf{USV}^{T} 我们可以说的列在统计上是独立的，还是的行在统计上是独立的吗？通常，仅对，还是根本不正确？UU\mathbf{U}VTVT\mathbf{V}^Tx∼N(μ,Σ)x∼N(μ,Σ)\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})

16 pca  independence  svd