迭代的“求解器”

我无法想象我是第一个考虑以下问题的人，因此我会对参考感到满意（但始终希望获得完整，详细的答案）：

假设您有一个对称的正定 $\Sigma \in \mathbb{R}^{n \times n}$。 $n$ 被认为是非常大的，所以 $\Sigma$在内存中是不可能的。但是，您可以评估$\Sigma x$，对于任何 $x \in \mathbb{R}^{n}$。给一些$x \in \mathbb{R}^{n}$，您想找到 $x^t\Sigma^{-1}x$。

我想到的第一个解决方案是找到 $\Sigma^{-1}x$使用（说）共轭梯度。但是，这似乎有点浪费-您寻找标量，并在此过程中找到一个巨大的向量$\mathbb{R}^{n}$。提出一种直接计算标量的方法似乎更有意义（即不通过$\Sigma^{-1}x$）。我正在寻找这种方法。

我想我没有听说过任何可以真正解决您想要的方法的方法 $y=\Sigma^{-1}x$。

我可以提供的唯一替代方法是，如果您对特征向量和-的值有所了解 $\Sigma$。说您知道他们是$\lambda_i,v_i$，那么你可以代表 $\Sigma=V^T L V$ 哪里的列 $V$ 是 $v_i$和 $L$是对角线矩阵，特征值在对角线上。因此，你有$\Sigma^{-1}=V^T L^{-1} V$ 你明白了

$$x^T \Sigma^{-1} x = x^T V^T L^{-1} V x = \sum_i \lambda_i^{-1} (v_i^T x)^2.$$ 当然，这将需要您存储所有特征值，即完整的矩阵$V$。但是，如果您偶然知道，只有几个特征值$\Sigma$ 很小，第一个说 $m$，其余的是如此之大，您可以忽略所有与 $\lambda^{-1}_i$ 对于 $i>m$，则可以近似 $$x^T \Sigma^{-1} x = \sum_{i=1}^n \lambda_i^{-1} (v_i^T x)^2 \approx \sum_{i=1}^m \lambda_i^{-1} (v_i^T x)^2.$$ 然后只需要您存储 $m$ 向量，而不是全部 $n$ 特征向量。

当然，实际上，与简单求解相比，计算特征值和特征向量通常同等或更困难。 $y=\Sigma^{-1}x$ 多次。