Questions tagged «eigenvalues»

在今天的模式识别课程中，我的教授谈到了PCA，特征向量和特征值。 我了解它的数学原理。如果要求我查找特征值等，则可以像机器一样正确地进行操作。但是我不明白。我没有达到目的。我没有感觉到它。 我坚信以下报价： 除非您可以向祖母解释，否则您并不会真正理解。 - 艾尔伯特爱因斯坦 好吧，我无法向外行或奶奶解释这些概念。 为什么要使用PCA，特征向量和特征值？什么是需要对这些概念？ 您将如何向外行解释？

975 pca  intuition  eigenvalues  canonical-question 

我一直在研究相关或协方差矩阵的正半定性的含义。 我正在寻找有关的任何信息 正半定性的定义； 其重要性质，实际意义； 负决定因素的结果，影响多元分析或模拟结果等。

34 covariance-matrix  eigenvalues  determinant  correlation-matrix 

当我尝试一些凸优化时，我遇到一个奇怪的问题。问题是： 假设我随机（假设标准正态分布）生成一个N×NN×NN \times N对称矩阵（例如，我生成上三角矩阵，并填充下半部分以确保它是对称的），那么它是正定矩阵的机会是多少？反正有计算概率吗？

32 probability  matrix  random-generation  eigenvalues  random-matrix 

将数据居中（或取消定义）对PCA有什么区别？我听说它可以简化数学运算，也可以防止第一台PC被变量的均值控制，但是我觉得我还不能完全掌握这个概念。 例如，此处的最佳答案是如何使数据居中摆脱回归和PCA中的截距？描述了不居中如何将第一个PCA拉过原点，而不是点云的主轴。基于我对如何从协方差矩阵的特征向量中获得PC的理解，我不明白为什么会发生这种情况。 而且，我自己进行的有无居中的计算似乎毫无意义。 考虑irisR 中的数据集中的setosa花。我按如下方式计算了样本协方差矩阵的特征向量和特征值。 data(iris) df <- iris[iris$Species=='setosa',1:4] e <- eigen(cov(df)) > e $values [1] 0.236455690 0.036918732 0.026796399 0.009033261 $vectors [,1] [,2] [,3] [,4] [1,] -0.66907840 0.5978840 0.4399628 -0.03607712 [2,] -0.73414783 -0.6206734 -0.2746075 -0.01955027 [3,] -0.09654390 0.4900556 -0.8324495 -0.23990129 [4,] -0.06356359 0.1309379 -0.1950675 0.96992969 如果我首先对数据集进行居中，则会得到完全相同的结果。这似乎很明显，因为居中根本不会改变协方差矩阵。 df.centered <- scale(df,scale=F,center=T) e.centered<- …

30 r  pca  svd  eigenvalues  centering 

我正在从Andrew Ng的Coursera课程和其他材料中学习PCA。在斯坦福大学自然语言处理课程中，cs224n的第一次作业，以及安德鲁·伍的演讲视频（，他们进行奇异值分解而不是协方差矩阵的特征向量分解，而且吴还说SVD在数值上比特征分解更稳定。 根据我的理解，对于PCA，我们应该对(m,n)大小的数据矩阵进行SVD ，而不是对大小的协方差矩阵进行SVD (n,n)。以及协方差矩阵的特征向量分解。 为什么他们使用协方差矩阵而不是数据矩阵的SVD？

29 pca  linear-algebra  svd  eigenvalues  numerics 

在PCA中，当维数大于（甚至等于）样本数，为什么您最多具有个非零特征向量？换句话说，维中协方差矩阵的秩为Ñ Ñ - 1 d ≥ ÑdddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1。 示例：您的样本是矢量化图像，尺寸为d=640×480=307200d=640×480=307200d = 640\times480 = 307\,200，但您只有N=10N=10N=10张图片。

22 pca  dimensionality-reduction  eigenvalues 

当查看协方差矩阵的特征向量时，我们得到最大方差的方向（第一个特征向量是数据变化最大的方向，等等）；这称为主成分分析（PCA）。 我想知道查看互信息矩阵的特征向量/值是什么意思，它们会指向最大熵的方向吗？

14 pca  entropy  mutual-information  eigenvalues 

我的问题与geoR:::.negloglik.GRF或中利用的计算技术有关geoR:::solve.geoR。 在线性混合模型设置中： 其中和分别是固定效应和随机效应。此外，Y=Xβ+Zb+eY=Xβ+Zb+e Y=X\beta+Zb+e ββ\betabbbΣ=cov(Y)Σ=cov(Y)\Sigma=\text{cov}(Y) 估算效果时，需要计算 ，通常可以使用来完成，但是有时几乎不可逆，因此请运用技巧(X′Σ−1X)−1X′Σ−1Y(X′Σ−1X)−1X′Σ−1Y (X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1} Y solve(XtS_invX,XtS_invY)(X′Σ−1X)(X′Σ−1X)(X'\Sigma^{-1}X)geoR t.ei=eigen(XtS_invX) crossprod(t(t.ei$vec)/sqrt(t.ei$val))%*%XtS_invY （可以在geoR:::.negloglik.GRF和中看到geoR:::.solve.geoR）等于分解 ，其中，因此 (X′Σ−1X)=ΛDΛ−1(X′Σ−1X)=ΛDΛ−1 (X'\Sigma^{-1}X)=\Lambda D \Lambda^{-1}\\ Λ′=Λ−1Λ′=Λ−1\Lambda'=\Lambda^{-1}(X′Σ−1X)−1=(D−1/2Λ−1)′(D−1/2Λ−1)(X′Σ−1X)−1=(D−1/2Λ−1)′(D−1/2Λ−1) (X'\Sigma^{-1}X)^{-1}=(D^{-1/2}\Lambda^{-1})'(D^{-1/2}\Lambda^{-1}) 两个问题： 本征分解如何帮助反转？(X′Σ−1X)(X′Σ−1X)(X'\Sigma^{-1}X) 还有其他可行的选择（强大且稳定）吗？（例如qr.solve或chol2inv？）

13 r  eigenvalues  matrix-decomposition  matrix-inverse  cholesky 

我正在尝试基于稀疏/不连续的数据集分解协方差矩阵。我注意到，svd随着越来越差的数据，λ的总和（解释方差）用来计算。没有差距，svd并eigen获得相同的结果。 eigen分解似乎不会发生这种情况。我一直倾向于使用，svd因为lambda值始终为正，但是这种趋势令人担忧。是否需要某种校正，或者应该svd完全避免此类问题。 ###Make complete and gappy data set set.seed(1) x <- 1:100 y <- 1:100 grd <- expand.grid(x=x, y=y) #complete data z <- matrix(runif(dim(grd)[1]), length(x), length(y)) image(x,y,z, col=rainbow(100)) #gappy data zg <- replace(z, sample(seq(z), length(z)*0.5), NaN) image(x,y,zg, col=rainbow(100)) ###Covariance matrix decomposition #complete data C <- cov(z, use="pair") E <- eigen(C) …

12 r  svd  eigenvalues 

我在这里谈论的是Pearson相关矩阵。 我经常听到它说所有相关矩阵都必须是正半定数。我的理解是，正定矩阵必须具有特征值，而正半定矩阵必须具有特征值。这使我认为我的问题可以改写为“相关矩阵的特征值吗？”&gt;0&gt;0> 0≥0≥0\ge 0=0=0= 0 相关矩阵（根据经验数据生成，没有缺失数据）是否可能具有特征值或特征值？如果它是人口相关矩阵呢？=0=0= 0&lt;0&lt;0< 0 我在上面复读约协方差矩阵这个问题是 考虑三个变量，和。它们的协方差矩阵不是正定的，因为存在一个向量（），其中不是正数。XXXYÿYZ=X+Yž=X+ÿZ = X+YM中号Mzžz=(1,1,−1)′=（1个，1个，-1个）′= (1, 1, -1)'z′Mzž′中号žz'Mz 但是，如果我不是使用协方差矩阵对相关矩阵进行计算，则为正。因此，我认为对于相关和协方差矩阵来说情况可能有所不同。z′Mzž′中号žz'Mz 我问的原因是，我被问到了关于stackoverflow的问题。

11 covariance-matrix  eigenvalues  correlation-matrix 

克里斯托弗·毕晓普（Christopher Bishop）在他的《模式识别和机器学习》一书中写道，在将数据投影到与先前选定的组件正交的空间之后，每个连续的主分量将投影在一个维度上的方差最大化。其他人显示类似的证明。 但是，这仅证明了就最大方差而言，每个连续分量都是对一个维度的最佳投影。为什么这意味着，首先选择这样的组件，投影到5个维度的方差最大化？

11 machine-learning  variance  pca  dimensionality-reduction  eigenvalues 

许多统计教科书提供了一个直观的说明协方差矩阵的特征向量是： 向量u和z形成本征向量（本征轴）。这是有道理的。但是令我困惑的一件事是，我们从相关矩阵中提取特征向量，而不是原始数据。此外，完全不同的原始数据集可以具有相同的相关矩阵。例如，以下两个都具有以下相关矩阵： [ 10.970.971个][10.970.971]\left[\begin{array}{} 1 & 0.97 \\ 0.97 &1\end{array}\right] 因此，它们的特征向量指向相同的方向： [ .71.71− .71.71][.71−.71.71.71]\left[\begin{array}{} .71 & -.71 \\ .71 & .71\end{array}\right] 但是，如果对特征向量在原始数据中的哪个方向应用相同的视觉解释，则会得到指向不同方向的向量。 有人可以告诉我我哪里出问题了吗？ 第二次编辑：如果我这么大胆，下面给出了出色的答案，我就能够弄清混乱并作了说明。 视觉解释与以下事实相吻合：从协方差矩阵提取的特征向量是不同的。 协方差和特征向量（红色）： [ 11个1个1个] [ .7.72− .72.7][1111][.7−.72.72.7]\left[\begin{array}{} 1 & 1 \\ 1 & 1\end{array}\right] \left[\begin{array}{} .7 & -.72 \\ .72 & .7\end{array}\right] 协方差和特征向量（蓝色）： [ .25.5.51个] [ …

10 correlation  pca  covariance-matrix  eigenvalues 

我正在对MRI数据进行Matlab分析，其中我在尺寸为10304x236的矩阵上执行了PCA，其中10304是体素（以像素为单位）的数量，而236是时间点的数量。PCA给了我236个特征值及其相关系数。一切都很好。但是，当需要确定要保留多少个组件时，我要复制的论文说如下（请让我知道是否需要澄清，因为这只是整篇论文的一小部分）： 然后，我们进行了蒙特卡洛模拟以确定每次扫描从讨厌的ROI数据中提取的主要成分（PC）的数量。通过对与编码和静止干扰ROI数据等级相同的正态分布数据执行PCA，分别为每个受试者的编码和静止数据生成了预期特征值的零分布。如果PC的相关特征值超过了来自Monte Carlo模拟的特征值的第99个置信区间，则从真实的ROI数据中选择PC进行给定的休息或编码扫描。 Tambini＆Davachi，PNAS，2013年，海马多体素模式在编码后休息中的持久性与记忆有关。 我绝对不知道该怎么办。我习惯于根据解释的累积方差来选择组件。我的想法是这样的： 然后，我们进行了蒙特卡洛模拟以确定每次扫描从讨厌的ROI数据中提取的主要成分（PC）的数量。 蒙特卡洛模拟人生只是意味着要进行以下1000次（或类似次数），对吗？ 通过对与编码和剩余扰动ROI数据同等等级的正态分布数据执行PCA，可以生成预期特征值的零分布。 首先，我假设“相等等级”基本上意味着我将创建一个与原始矩阵大小相同的矩阵（10304x236）。就“等秩的正态分布数据”而言……这是否意味着我应该根据正态分布创建一个随机数为10304x236的矩阵？Matlab具有一个称为“ normrnd”的功能，可以执行此操作，但需要输入mu和sigma。我会使用与从初始数据集中获得的相同的mu和sigma吗？这或多或少是“期望特征值”的含义，因为我不知道期望特征值的分布是什么样。 我猜我的问题或多或少是我不知道如何对特征值进行“零分布”。

10 pca  eigenvalues  neuroimaging 

我正在尝试手工制作SVD： m&lt;-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3) U=eigen(m%*%t(m))$vector V=eigen(t(m)%*%m)$vector D=sqrt(diag(eigen(m%*%t(m))$values)) U1=svd(m)$u V1=svd(m)$v D1=diag(svd(m)$d) U1%*%D1%*%t(V1) U%*%D%*%t(V) 但是最后一行不会返回m。为什么？似乎与这些特征向量的迹象有关...还是我误解了该过程？

9 r  svd  eigenvalues 

第一主成分和相关矩阵中的平均相关之间是什么关系？ 例如，在经验应用中，我观察到平均相关性几乎与第一主成分（第一特征值）的方差与总方差（所有特征值之和）之比相同。 有数学关系吗？ 以下是实证结果图表。其中，相关性是在15天滚动窗口中计算的DAX股指成分收益之间的平均相关性，而解释的方差是在15天滚动窗口中计算的第一主成分所解释的方差的份额。 可以用CAPM之类的常见风险因素模型来解释吗？

9 correlation  pca  mathematical-statistics  eigenvalues