对于随机矩阵，SVD不应完全不解释吗？我究竟做错了什么？

如果我构建一个完全由随机数据组成的二维矩阵，我希望PCA和SVD组件本质上什么也不能解释。

相反，第一个SVD列似乎可以解释75％的数据。怎么可能呢？我究竟做错了什么？

这是情节：

这是R代码：

set.seed(1)
rm(list=ls())
m <- matrix(runif(10000,min=0,max=25), nrow=100,ncol=100)
svd1 <- svd(m, LINPACK=T)
par(mfrow=c(1,4))
image(t(m)[,nrow(m):1])
plot(svd1$d,cex.lab=2, xlab="SVD Column",ylab="Singluar Value",pch=19)

percentVarianceExplained = svd1$d^2/sum(svd1$d^2) * 100
plot(percentVarianceExplained,ylim=c(0,100),cex.lab=2, xlab="SVD Column",ylab="Percent of variance explained",pch=19)

cumulativeVarianceExplained = cumsum(svd1$d^2/sum(svd1$d^2)) * 100
plot(cumulativeVarianceExplained,ylim=c(0,100),cex.lab=2, xlab="SVD column",ylab="Cumulative percent of variance explained",pch=19)

更新资料

谢谢@亚伦。如您所述，解决方法是在矩阵上增加比例，以便数字以0为中心（即平均值为0）。

m <- scale(m, scale=FALSE)

这是校正后的图像，显​​示了对于具有随机数据的矩阵，第一SVD列接近预期的0。

第一台PC正在解释变量没有以零为中心。首先按比例缩放或将随机变量围绕零进行居中，将得到您期望的结果。例如，以下任何一个：

m <- matrix(runif(10000,min=0,max=25), nrow=100,ncol=100)
m <- scale(m, scale=FALSE)

m <- matrix(runif(10000,min=-25,max=25), nrow=100,ncol=100)

通过使用空模型比较，我将为您的问题添加更直观的答案。该过程随机地对每一列中的数据进行混洗，以保留总体方差，同时丢失变量（列）之间的协方差。这将执行几次，然后将随机矩阵中所得的奇异值分布与原始值进行比较。

我使用prcomp而不是svd进行矩阵分解，但是结果相似：

set.seed(1)
m <- matrix(runif(10000,min=0,max=25), nrow=100,ncol=100)

S <- svd(scale(m, center = TRUE, scale=FALSE))
P <- prcomp(m, center = TRUE, scale=FALSE)
plot(S$d, P$sdev) # linearly related

对以下居中矩阵执行空模型比较：

library(sinkr) # https://github.com/marchtaylor/sinkr

# centred data
Pnull <- prcompNull(m, center = TRUE, scale=FALSE, nperm = 100)
Pnull$n.sig
boxplot(Pnull$Lambda[,1:20], ylim=range(Pnull$Lambda[,1:20], Pnull$Lambda.orig[1:20]), outline=FALSE, col=8, border="grey50", log="y", main=paste("m (center=FALSE); n sig. =", Pnull$n.sig))
lines(apply(Pnull$Lambda, 2, FUN=quantile, probs=0.95))
points(Pnull$Lambda.orig[1:20], pch=16)

以下是置换矩阵的箱线图，每个奇异值的95％分位数显示为实线。的PCA的原始值为m点。它们都位于95％线以下-因此其幅度与随机噪声是无法区分的。

可以在的非中心版本上m执行相同的步骤，结果相同-没有明显的奇异值：

# centred data
Pnull <- prcompNull(m, center = FALSE, scale=FALSE, nperm = 100)
Pnull$n.sig
boxplot(Pnull$Lambda[,1:20], ylim=range(Pnull$Lambda[,1:20], Pnull$Lambda.orig[1:20]), outline=FALSE, col=8, border="grey50", log="y", main=paste("m (center=TRUE); n sig. =", Pnull$n.sig))
lines(apply(Pnull$Lambda, 2, FUN=quantile, probs=0.95))
points(Pnull$Lambda.orig[1:20], pch=16)

为了进行比较，让我们看一下具有非随机数据集的数据集： iris

# iris dataset example
m <- iris[,1:4]
Pnull <- prcompNull(m, center = TRUE, scale=FALSE, nperm = 100)
Pnull$n.sig
boxplot(Pnull$Lambda, ylim=range(Pnull$Lambda, Pnull$Lambda.orig), outline=FALSE, col=8, border="grey50", log="y", main=paste("m (center=FALSE); n sig. =", Pnull$n.sig))
lines(apply(Pnull$Lambda, 2, FUN=quantile, probs=0.95))
points(Pnull$Lambda.orig[1:20], pch=16)

在这里，第一个奇异值很重要，并且解释了超过92％的总方差：

P <- prcomp(m, center = TRUE)
P$sdev^2 / sum(P$sdev^2)
# [1] 0.924618723 0.053066483 0.017102610 0.005212184