使用图拉普拉斯（逆）协方差从多元高斯抽样

我们从例如Koutis-Miller-Peng（基于Spielman＆Teng的工作）知道，我们可以非常快速地求解矩阵线性系统 $A x = b$ ，这是一些具有非负边权重的稀疏图的图拉普拉斯矩阵。 $A$

现在（第一个问题）考虑使用这些图拉普拉斯矩阵 $A$ 中的作为零均值多元正态分布或的协方差或（第二个问题）逆协方差矩阵。。对于每种情况，我有两个问题： $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

答：我们如何有效地从这种分布中抽取样本？（通常为绘制样本，我们计算Cholesky分解，绘制标准法线，然后将样本计算为）。 $A = LL^T$ $y \sim \mathcal{N}(\boldsymbol{0}, I)$ $x = L^{-1} y$

B.我们如何有效地计算的行列式？ $A$

请注意，通过Cholesky分解可以很容易地解决这两个问题，但是我没有立即看到如何比仅使用标准稀疏Cholesky算法更有效地提取，该算法不会使用上述参考文献中介绍的技术工作，并且对于稀疏但高树宽图将具有三次复杂度。 $L$

— dan_x
source

我认为在这两种情况下更具体地说明您认为“有效”的内容可能会有所帮助。“效率”是否等于“不依赖于Cholesky分解”？

— Suresh Venkat 2012年

谢谢你的建议。可能所有问题的答案是“您需要计算Cholesky分解，并且除了矩阵的稀疏性之外没有可以利用的结构”。我想知道这是否是真的（但我希望不是）。关于最后一段中的“有效”，是的，我主要是指比标准稀疏Cholesky算法更有效。尽管如果有一种方法可以像使用其他方法一样快地使用上述工作中的技术来计算Cholesky，那也很有趣。

— dan_x 2012年

如果要从进行采样，则可以使用，其中是图形的入射矩阵。因此，可以在从一个标准高斯采样（是边缘），并应用线性变换。我不知道这与下面的建议相比如何，但是您不需要计算Cholesky分解。

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— 罗伦佐·纳伊特

这里有两个独立的问题。

如何对使用有效的求解器以应用。 $Ax=b$ $A^{1/2}b$
如何计算行列式。

简短的答案是：1）使用有理矩阵函数逼近，以及2）您不需要，但无论如何您都不需要。我在下面解决了这两个问题。

矩阵平方根近似

这里的想法是将标量函数的有理函数逼近转换为矩阵函数的有理函数逼近。

我们知道，存在可以很好地近似平方根函数的有理函数，即表示正数。实际上，要在间隔上获得高精度，您需要在序列中使用项。要获得适当的权重（）和极点（），只需在线或在书中查找有理函数逼近即可。

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

现在考虑将这个有理函数应用于矩阵：

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

由于的对称性，我们有其中是奇异值分解（SVD）。因此，有理矩阵近似的质量等于特征值位置处的有理函数近似的质量。 $A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

表示的条件数由，我们可以应用通过执行任何期望的容差的形式，的正向偏移图的拉普拉斯溶液 $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

这些解决方案可以使用您最喜欢的图形Laplacian解算器来完成，我更喜欢使用多重网格类型的技术，但是您在论文中引用的技术也应该很好。额外的仅有助于求解器的收敛。 $bI$

有关讨论此问题的出色论文以及适用于非对称矩阵的更通用的复杂分析技术，请参见Hale，Higham和Trefethen（2008）通过轮廓积分计算，和相关矩阵函数。 $A^α$ $\log(A)$ ）。

行列式“计算”

行列式比较难计算。据我所知，最好的方法是使用QR算法计算Schur分解，然后从上三角矩阵的对角线中读出特征值。这需要时间，其中是图中的节点数。 $A = Q U Q^*$ $U$ $O(n^3)$ $n$

但是，计算行列式是一个固有的病态问题，因此，如果您阅读过依赖于计算大型矩阵行列式的论文，则应该对此方法非常怀疑。

幸运的是，您实际上可能实际上不需要行列式。例如，

要从单个高斯分布提取样本，归一化常数在所有点上都相同，因此您无需进行计算。 $N(0,A^{-1})$
如果您的拉普拉斯矩阵表示点处的局部高斯近似值与非高斯分布的逆协方差，那么该行列式确实会在点与点之间发生变化。然而，在每一个有效的采样方案我知道（包括马尔可夫链蒙特卡罗，重要性采样等），你真正需要的是决定因素的比例，其中，是当前点，是建议的下一个样本。 $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

我们可以将视为身份的低等级更新，其中有效数字低秩更新的等级是真实分布的非高斯分布的局部度量；通常，它远低于矩阵的完整等级。的确，如果大，则真实分布是局部非高斯分布的，因此应该质疑试图使用局部高斯近似对这种分布进行采样的整个策略。 $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

通过将矩阵应用于不同的向量，可以使用随机SVD或Lanczos 找到低秩因子和每种应用都需要一个图拉普拉斯解决方案。因此，获得这些低秩因子的总体工作为。 $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

知道，则行列式比率为 $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

这些低阶行列式定量计算技术可以在Martin等人的“大规模牛顿MCMC方法用于地震反演中的大规模统计反问题 ”中找到。（2012）。本文将其应用于连续体问题，因此“图”是3D空间中的网格，而图拉普拉斯算子是实际的拉普拉斯矩阵。但是，所有技术都适用于一般图拉普拉斯算子。到目前为止，可能还有其他论文将这种技术应用于一般图形（扩展很简单，基本上就是我刚刚写的内容）。

— 尼克·阿尔格
source