要使SVD稳定添加多少正则化？

我一直在使用英特尔MKL的SVD（dgesvd通过SciPy的），并注意到，当我改变之间的精确结果是显著不同float32而float64当我的基质被严重空调/没有满秩。我应该添加一些关于最小化正则化的指南，以使结果对float32-> float64变化不敏感吗？

特别是 $A=UDV^{T}$， 我看到 $L_\infty$ 规范 $V^{T}X$当我在float32和之间更改精度时，会移动约1 float64。$L_2$ 规范 $A$ 是 $10^5$ 在784个总数中，约有200个零特征值。

在做SVD $\lambda I + A$ 与 $\lambda=10^{-3}$ 使差异消失了。

尽管这个问题有很好的答案，但是对于小奇异值（带有图解），这是一条经验法则。

如果奇异值非零但非常小，则应将其倒数定义为零，因为其表观值可能是舍入误差的产物，而不是有意义的数字。一个合理的答案是“小有多小？” 是以这种方式编辑所有与最大比率小于的奇异值$N$ 乘以机器精度 $\epsilon$ 。

$\qquad$— 数字食谱p。795

补充：以下几行计算了此经验法则。

#!/usr/bin/env python2

from __future__ import division
import numpy as np
from scipy.sparse.linalg import svds  # sparse, dense or LinOp

#...............................................................................
def howsmall( A, singmax=None ):
    """ singular values < N float_eps sing_max  may be iffy, questionable
        "How small is small ?"
        [Numerical Recipes p. 795](http://apps.nrbook.com/empanel/index.html?pg=795)
    """
        # print "%d singular values are small, iffy" % (sing < howsmall(A)).sum()
        # small |eigenvalues| too ?
    if singmax is None:
        singmax = svds( A, 1, return_singular_vectors=False )[0]  # v0=random

    return max( A.shape ) * np.finfo( A.dtype ).eps * singmax

---

希尔伯特矩阵似乎被广泛用作舍入误差的测试用例：

在这里，希尔伯特矩阵的尾数中的低位被置零 A.astype(np.float__).astype(np.float64)，然后np.linalg.svd在中运行float64。（svd所有结果float32大致相同。）

简单地将其截断float32甚至可能对去噪高维数据（例如，训练/测试分类）有用。

真正的测试用例将是受欢迎的。

对称矩阵的奇异值分解 $A=A^{T}$ 是一个且与其规范本征分解相同（即具有正交特征向量矩阵），而对于非对称矩阵则是相同的 $M=U \Sigma V^T$ 只是对称矩阵的规范特征值分解

$$H=\begin{bmatrix}0 & M\\ M^{T} & 0 \end{bmatrix}=\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}\begin{bmatrix}0 & \Sigma\\ \Sigma & 0 \end{bmatrix}\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}^{T}$$ 因此，在不失一般性的前提下，让我们考虑一个密切相关的问题：如果两个对称矩阵近似相同，那么我们是否应该期望它们的标准特征分解也近似相同？

答案是令人惊讶的。让$\epsilon>0$ 很小，并考虑两个矩阵

$$A_{\epsilon}=\begin{bmatrix}1 & \epsilon\\ \epsilon & 1 \end{bmatrix}=V\Lambda_{\epsilon}V^{T},\qquad B_{\epsilon}=\begin{bmatrix}1+\epsilon & 0\\ 0 & 1-\epsilon \end{bmatrix}=U\Lambda_{\epsilon}U^{T}$$ 两者都有特征值 $\Lambda_{\epsilon}=\mathrm{diag}(1+\epsilon,1-\epsilon)$，但其特征向量为 $$V=\frac{1}{\sqrt{2}}\begin{bmatrix}1 & 1\\ 1 & -1 \end{bmatrix},\qquad U=\begin{bmatrix}1 & 0\\ 0 & 1 \end{bmatrix}.$$ 而矩阵 $A_{\epsilon} \approx B_{\epsilon}$ 大约相同，它们的特征矩阵 $V$ 和 $U$有很大的不同。实际上，由于本征分解对于$\epsilon>0$，真的没有选择 $U,V$ 这样 $U\approx V$

现在，将这种见解以有限的精度应用于SVD，让我们写 $M_{0}=U_{0}\Sigma_{0}V_{0}^{T}$作为您的float64 精度矩阵，并且$M_{\epsilon}=U_{\epsilon}\Sigma_{\epsilon}V_{\epsilon}^{T}$ 与相同矩阵的float32精度相同。如果我们假设SVD本身是精确的，则奇异值$\Sigma_{0},\Sigma_{\epsilon}$ 必须相差不超过一个小的常数因子 $\epsilon\approx10^{-7}$，但奇异向量 $U_{0},U_{\epsilon}$ 和 $V_{0},V_{\epsilon}$ 可以相差很大。因此，如图所示，在奇异矢量的意义上，没有办法使SVD“稳定”。