从多元正态分布中提取样本的Cholesky与本征分解

16

我想绘制样品 $\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right)$ 。维基百科建议任一使用的Cholesky或特征分解，即 $\mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T$ 或 $\mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T$

因此，样品可通过得出： $\mathbf{x} = \mathbf{D}_1 \mathbf{v}$ 或 $\mathbf{x} = \mathbf{Q}\sqrt{\mathbf{\Lambda}} \mathbf{v}$ 其中 $\mathbf{v} \sim N\left(\mathbf{0}, \mathbf{I} \right)$

维基百科建议它们在生成样本方面都同样出色，但是Cholesky方法具有更快的计算时间。这是真的？尤其是在使用蒙特卡洛方法时，在数值上，沿对角线的方差可能相差几个数量级？是否有对此问题的正式分析？

— 达米安
source

1

达米安（Damien），确保哪种程序更快的最好秘诀就是自己在软件上检查它：霍尔斯基和本征分解函数的速度在不同的实现中可能会有所不同。AFAIK是Cholesky方式更为流行，但本征方式可能更灵活。

— ttnphns

1

我明白乔莱斯基要快

（维基百科），而特征分解为

（雅可比特征值算法不过，我有另外两个问题：？（1）什么是“潜在的更灵活的”均值（2）方差相差几个数量级（对于最极端的元素，其差异为

与

）-这与所选算法有关吗？

O (N^{3} / 3)

$O(N^3/3)$

O (N^{3})

$O(N^3)$

10^{- 4}

$10^{-4}$

10^{- 9}

$10^{-9}$

— Damien

“更灵活”的一个方面是，对于协方差矩阵对应于SVD的本征分解，可以被截断以获得整个矩阵的最佳低秩近似。截短的SVD可以直接计算，而不是计算完整的东西，然后扔掉小的特征值。

— GeoMatt22'9

如何在Stack Overflow上阅读我的答案：在椭圆协方差图（由创建car::ellipse）上获取椭圆的顶点。尽管在不同的应用程序中提出了问题，但背后的理论是相同的。您会在那里看到漂亮的图形进行几何解释。

— 李哲源

12

Straka等人针对无味卡尔曼滤波器研究了该问题，该算法从多元正态分布中提取（确定性）样本作为算法的一部分。幸运的是，该结果可能适用于蒙特卡洛问题。

Cholesky分解（CD）和Eigen分解（ED）-因此，实际的矩阵平方根（MSR）都是可以分解正半定矩阵（PSD）的所有方式。

考虑SVD一个PSD矩阵，。由于P是PSD，因此实际上与具有的ED相同。：此外，我们可以通过其平方根拆分对角矩阵 $P = USV^T$ $P = USU^T$ ，指出 $P = U\sqrt{S}\sqrt{S}^TU^T$ 。 $\sqrt{S} = \sqrt{S}^T$

现在我们可以引入一个任意正交矩阵： $O$

。 $P = U\sqrt{S}OO^T\sqrt{S}^TU^T = (U\sqrt{S}O)(U\sqrt{S}O)^T$

的选择实际上会影响估计性能，尤其是在协方差矩阵中存在较强的非对角线元素时。 $O$

本文研究了三个选择： $O$

，对应于ED； $O = I$
从QR分解的 $O = Q$ ，它对应于CD；和 $U\sqrt{S} = QR$
导致一个对称矩阵（即MSR） $O = U^T$

经过大量分析（引用），从中得出以下结论：

对于具有不相关元素的待转换随机变量，所有三个考虑的MD都提供相同的sigma点，因此，它们对[Unscented Transform]近似的质量几乎没有影响。在这种情况下，CD可能因其低成本而成为首选。

如果随机变量包含相关元素，则使用不同的[分解]可能会严重影响已转换随机变量的均值或协方差矩阵的[无味变换]近似值的质量。以上两种情况表明，[ED]应该是首选。

如果要转换的变量的元素表现出很强的相关性，使得相应的协方差矩阵几乎是奇异的，则必须考虑另一个问题，即计算MD的算法的数值稳定性。对于奇异协方差矩阵，SVD在数值上比ChD稳定得多。

参考：

俄亥俄州Straka; 杜尼克，J。Simandl，M.和Havlik，J.“无味卡尔曼滤波器中矩阵分解的方面和比较”，美国控制会议（ACC），2013年，2013年，3075-3080。

— 达米安
source

6

这是使用R比较两种方法的计算时间的简单说明。

library(mvtnorm)
library(clusterGeneration)
set.seed(1234)
mean <- rnorm(1000, 0, 1)
sigma <- genPositiveDefMat(1000)
sigma <- sigma$Sigma

eigen.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "eigen")
  )

chol.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "chol")
  )

运行时间是

> eigen.time
   user  system elapsed 
   5.16    0.06    5.33 
> chol.time
   user  system elapsed 
   1.74    0.15    1.90

将样本量增加到10000时，运行时间为

> eigen.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "eigen")
+   )
> 
> chol.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "chol")
+   )
> eigen.time
   user  system elapsed 
   15.74    0.28   16.19 
> chol.time
   user  system elapsed 
   11.61    0.19   11.89

希望这可以帮助。

— 曾a
source

3

这是手册或穷人的自我证明：

> set.seed(0)
> # The correlation matrix
> corr_matrix = matrix(cbind(1, .80, .2, .80, 1, .7, .2, .7, 1), nrow=3)
> nvar = 3 # Three columns of correlated data points
> nobs = 1e6 # One million observations for each column
> std_norm = matrix(rnorm(nvar * nobs),nrow=nobs, ncol=nvar) # N(0,1)

柯尔 = [\begin{matrix} 1个 & .8 & .2 \\ .8 & 1个 & .7 \\ .2 & .7 & 1个 \end{matrix}]

$\text{Corr}=\small \begin{bmatrix} 1 & .8 & .2\\ .8& 1 & .7 \\ .2&.7&1 \end{bmatrix}$

N = [\begin{matrix} [, 1] & [, 2] & [, 3] \\ [1,] & - 1.0806338 & 0.6563913 & 0.8400443 \\ [2,] & - 1.1434241 & - 0.1729738 & - 0.9884772 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ ⋮ & ⋮ & ⋮ & ⋮ \\ [999999,] & 0.4861827 & 0.03563006 & - 2.1176976 \\ [1000000,] & - 0.4394551 & 1.69265517 & - 1.9534729 \end{matrix}]

$\text{N}=\tiny \begin{bmatrix} & [,1] & [,2] & [,3] \\ [1,] & -1.0806338 & 0.6563913 & 0.8400443 \\ [2,] & -1.1434241 & -0.1729738 & -0.9884772 \\ \vdots & \vdots & \vdots & \vdots \\ \vdots & \vdots & \vdots & \vdots \\ [999999,] & 0.4861827 & 0.03563006 & -2.1176976 \\ [1000000,] & -0.4394551 & 1.69265517 & -1.9534729\\ \end{bmatrix}$

1. SVD METHOD:

{[\underset{[3 \times 3]}{U} \underset{[\begin{matrix} \sqrt{d_{1}} & 0 & 0 \\ 0 & \sqrt{d_{2}} & 0 \\ 0 & 0 & \sqrt{d_{3}} \end{matrix}]}{Σ^{0.5}} \underset{[3 \times 10^{6}]}{N^{T}}]}^{T}

$\left[ \bf \underset{[3 \times 3]}{\color{blue}{\Large\,U}}\,\,\,\,\,\underset{\tiny \begin{bmatrix}\sqrt{d_1}&0&0\\0&\sqrt{d_2}&0\\0&0&\sqrt{d_3}\end{bmatrix}}{\Large\color{blue}{\Sigma^{0.5}}} \, \underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$

> ptm <- proc.time()
> # Singular Value Decomposition method:
> svd = svd(corr_matrix)   
> rand_data_svd = t(svd$u %*% (diag(3) * sqrt(svd$d)) %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.29    0.05    0.34 
> 
> ptm <- proc.time()

2. CHOLESKY METHOD:

{[\underset{[\begin{matrix} c_{11} & 0 & 0 \\ c_{21} & c_{22} & 0 \\ c_{31} & c_{32} & c_{33} \end{matrix}]}{Ch} \underset{[3 \times 10^{6}]}{N^{T}}]}^{T}

$\bf \left[ \underset{\begin{bmatrix}c_{11}&0&0\\c_{21}&c_{22}&0\\c_{31}&c_{32}&c_{33}\end{bmatrix}}{\Large\color{blue}{\text{Ch}}}\,\,\underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$

> # Cholesky method:
> chole = t(chol(corr_matrix))
> rand_data_chole = t(chole %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.25    0.03    0.31

Thank you to @userr11852 for pointing out to me that there is a better way to calculate the difference in performance between SVD and Cholesky, in favor of the latter, using the function microbenchmark. At his suggestion, here is the result:

microbenchmark(chol(corr_matrix), svd(corr_matrix))
Unit: microseconds
              expr     min     lq      mean  median      uq     max neval cld
 chol(corr_matrix)  24.104  25.05  28.74036  25.995  26.467  95.469   100  a 
  svd(corr_matrix) 108.701 110.12 116.27794 111.065 112.719 223.074   100   b

— Antoni Parellada
source

@user11852 Thank you. I read cursorily the entry on microbenchmark and it really makes a difference.

— Antoni Parellada

Sure, but does it have a difference in estimation performance?

— Damien

Good point. I haven't had time to explore the package.

— Antoni Parellada