为什么不能通过XX'和X'X的特征值分解来获得X的有效SVD？

我正在尝试手工制作SVD：

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

但是最后一行不会返回m。为什么？似乎与这些特征向量的迹象有关...还是我误解了该过程？

问题分析

矩阵的SVD永远都不是唯一的。设矩阵维数为，其SVD为n × $A$$n\times k$

$$A = U D V^\prime$$

对于具有正交列的矩阵，具有非负项的对角矩阵和具有正交列的矩阵U p × p D k × p $n\times p$$U$$p\times p$$D$$k\times p$$V$

现在，任意选择对角线上有 s的任何对角线矩阵，使得是身份。然后S ± 1 S 2 = I p × p I $p\times p$$S$$\pm 1$$S^2 = I$$p\times p$$I_p$

$$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$$

也是一个的SVD因为演示具有正交列相似的计算表明具有正交列。此外，由于和是对角线，所以它们通勤，因此表示仍然具有非负项。（û 小号）'（Ù 小号）= 小号' ü ' Ù 小号= 小号' 我p小号= 小号'小号= 小号2 = 我p Ü 小号V 小号小号d 小号d 小号= d 小号2 = d $A$

$$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$$ $US$$VS$$S$$D$ $$S D S = DS^2 = D$$ $D$

在代码中找到SVD的方法将找到一个对角化A的，类似地，对角化的 它前进到计算中的特征值方面中发现。 问题在于，这不能确保的列与的列始终匹配。甲甲' = （û d V '）（Û d V ' ）' = Ü d V ' V d ' Ù ' = û d 2 ü “ V 甲'甲= V d 2 V '。D D 2 U V$U$

$$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$$ $V$ $$A^\prime A = VD^2V^\prime.$$ $D$$D^2$$U$$V$

一个解法

相反，找到这样的和这样的，用它们来计算$U$$V$

$$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$$

直接有效地。 该的对角线值不一定为正。$D$ （这是因为对角化或的过程没有什么可以保证的，因为这两个过程是分别进行的。）通过选择对角线中的项使它们为正等于项的符号，因此具有所有正值。弥补这种由右乘用：甲甲'小号d 小号d ù $A^\prime A$$AA^\prime$$S$$D$$SD$$U$$S$

$$A = U D V^\prime = (US) (SD) V^\prime.$$

那是一个SVD。

例

令且。SVD是$n=p=k=1$$A=(-2)$

$$(-2) = (1)(2)(-1)$$

其中，和。$U=(1)$$D=(2)$$V=(-1)$

如果对角化您自然会选择和。同样，如果将A对角化，则可以选择。不幸的是，相反，计算 因为这是负数，所以设置。这将调整为，将为。您已经获得了它是两个可能的SVD之一（但与原始的不一样！）。$A^\prime A = (4)$$U=(1)$$D=(\sqrt{4})=(2)$$AA^\prime=(4)$$V=(1)$

$$UDV^\prime = (1)(2)(1) = (2) \ne A.$$ $$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$$ $S=(-1)$$U$$US = (1)(-1)=(-1)$$D$$SD = (-1)(-2)=(2)$ $$A = (-1)(2)(1),$$

码

这是修改后的代码。其输出确认

1. 该方法m正确地重新创建。
2. $U$和实际上仍然是正交的。$V$
3. 但是结果与所返回的SVD不同svd。（两者同等有效。）

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

正如我在@whuber答案的评论中所概述的那样，这种计算SVD的方法不适用于每个矩阵。问题不仅限于迹象。

问题在于可能存在重复的特征值，在这种情况下，和A的特征不是唯一的，并且并非所有的和选择都可用于检索SVD的对角因子。例如，如果您采用任何非对角正交矩阵（例如），则。在特征向量矩阵所有可能选择中，将返回，因此在这种情况下，不是对角线。$A'A$$AA'$$U$$V$$A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$$AA'=A'A=I$$I$eigen$U=V=I$$U'AV=A$

直观上，这是@whuber概述的同一问题的另一种体现，即和的列之间必须存在“匹配” ，并且单独计算两个本征分解不能确保这一点。$U$$V$

$A$$A'A$$AA'$$\|A\|^2u$$u \approx 2\times 10^{-16}$$10^{-8}$

从两个特征分解中计算SVD是一个很好的学习示例，但是在现实生活中，应用程序始终使用R svd函数来计算奇异值分解。