重要性抽样产生的蒙特卡洛估计结果

在过去的一年中，我一直在非常接近地进行重要性抽样工作，并且有一些开放性问题，希望能对此有所帮助。

我在重要性采样方案上的实践经验是，它们有时可以产生出色的低方差和低偏差估计。但是，更常见的是，它们倾向于产生高误差估计值，该估计值具有较低的样本方差，但具有很高的偏差。

我想知道是否有人可以确切解释影响重要性抽样估计有效性的哪些因素？我尤其想知道：

1）当偏倚分布具有与原始分布相同的支持时，重要性抽样估计是否可以保证收敛到正确的结果？如果是这样，为什么在实践中似乎要花这么长时间？

2）通过重要性抽样得出的估计误差与偏差分布的“质量”（即，与零方差分布有多少匹配）之间是否存在可量化的关系？

3）部分基于1）和2）-有没有一种方法可以量化您必须了解的分布“多少”，然后再使用重要性抽样设计比简单的蒙特卡洛方法更好。

monte-carlo information-theory importance-sampling

— 伯克大学
source

Answers:

重要性抽样与基本的蒙特卡洛方法具有完全相同的验证。它的核心是基本的蒙特卡洛。实际上，这只是参考度量的一种变化，从变为因此，在两种情况下（即从还是从模拟），收敛都受到大数定律的保证。另外，如果项是有限的，则中心极限定理也适用，并且收敛速度是

\int h (x) f (x) d x

$\int h(x) f(x) \text{d}x$

\int h (x) \frac{f (x)}{g (x)} g (x) d x

$\int h(x) \dfrac{f(x)}{g(x)} g(x) \text{d}x$

f

$f$

g

$g$

\int h^{2} (x) \frac{f^{2} (x)}{g (x)} d x

$\int h^2(x) \dfrac{f^2(x)}{g(x)} \text{d}x$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$ 。如果“在实践中花了很长时间”，那是因为CLT中的上述方差因子可能很大。但是，我坚持认为，速度与常规Monte Carlo。

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

因此，重要性采样分布的质量与上述方差因子直接相关，对于与成比例的“零方差分布”，该方差因子变为零。 $|h(x)|f(x)$

— 西安
source

我怀疑，鉴于OP报告的偏差较小的方差估计量，但方差似乎很小，他可能在询问自我归一化重要性抽样。有关一个很好的例子，请参见有关谐波均值估计器的拉德福德·尼尔（Radford Neal）的观点，该估计将采用方差为0的重要性抽样估计值，并返回无意义。我不确定在定期重要性抽样中永远不会发生这种情况，但是这种情况确实很少见。

— 定

即使这不是OP的意图，我也会对一些指针感兴趣，以了解如何弄清楚何时自规范化将导致严重错误。

— 定

@deinst我不知道自我规范化过程及其陷阱，因此，谢谢您！无论如何，我认为这些问题可能与我的IS方案的属性有关，因此，如果您有任何想法，我想进一步探讨这个想法。

— Berk U. 2012年

@deinst我正在使用的IS方案可以在没有采样分布工作。该方案首先使用MCMC过程根据零方差分布模拟个点。接下来，它使用上的内核密度估计来生成。有了，我就可以从IS估计中以$ \ sum {h（y_i）f（y_i）/ hat {g（y_i）} $的形式采样新点

g (x)

$g(x)$

M

$M$

x_{1} . . x_{M}

$x_1..x_M$

g^{*} (x) = h (x) f (x) / \int h (x) f (x) d x

$g^*(x) = h(x)f(x)/\int{h(x)f(x)dx}$

x_{1} . . x_{M}

$x_1..x_M$

\hat{g (x)}

$\hat{g(x)}$

\hat{g (x)}

$\hat{g(x)}$

N

$N$

y_{1} . . . y_{N}

$y_1...y_N$

— Berk U. 2012年

使用非参数估计会带来比蒙特卡洛变异性更高阶的变异性，因此我不建议这样做。

— 西安

西安已经涵盖了标准重要性抽样结果。如果您要问自归一化重要性抽样，您只知道和直到某个未知归一化常数，则在西安和卡塞拉的《蒙特卡洛统计方法》和《蒙特卡洛简介》这两本书的第4章中都讨论了一些技术。R的Carlo方法。我相信，西安可以比我更详细地阐述这一点，因此从某种意义上说，这个答案是诱人的。 $f$ $g$

使用自归一化重要性抽样时，您试图通过从密度函数与成比例的分布中选择来近似并计算使用delta方法（基本上占据的taylor级数的线性项）并令我们得到和

δ = \int h (x) f (x) d x

$\delta=\int h(x)f(x)\text{d}x$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

g (x)

$g(x)$

\hat{δ} = \frac{\sum_{i = 1}^{n} h (x) f (x) / g (x)}{\sum_{i = 1}^{n} f (x) / g (x)} .

$\hat{\delta}=\frac{\sum_{i=1}^n h(x)f(x)/g(x)}{\sum_{i=1}^n f(x)/g(x)}.$

X / Y

$X/Y$

ω (X) = f (x) / g (X)

$\omega(X)=f(x)/g(X)$

E_{g} (\hat{δ}) \approx δ + \frac{δ {Var}_{g} (ω (X)) - {Cov}_{g} (ω (X), h (X) ω (X))}{n}

$E_g(\hat{\delta})\approx \delta + \frac{\delta \text{Var}_g(\omega(X))-\text{Cov}_g(\omega(X),h(X)\omega(X))}{n}$

{Var}_{g} (\hat{δ}) \approx \frac{{Var}_{g} (h (X) ω (X)) - 2 δ {Cov}_{g} (ω (X), h (X) ω (X)) + δ^{2} {Var}_{g} (ω (X))}{n} .

$\text{Var}_g(\hat{\delta})\approx\frac{\text{Var}_g(h(X)\omega(X))-2\delta\text{Cov}_g(\omega(X),h(X)\omega(X))+\delta^2\text{Var}_g(\omega(X))}{n}.$

因此，为了获得较小的偏差和较小的方差，您希望较小，而为正。不幸的是，这些近似值并不完美（准确确定方差和协方差可能与解决初始问题一样困难）。 $\text{Var}_g(\omega(X))$ $\text{Cov}_g(\omega(X),h(X)\omega(X))$

— 定义
source

这次真是万分感谢。我对表示法有点不确定，也不确定是否有错字。为了澄清，您的解释中和到底是什么？

X / Y

$X/Y$

G

$G$

— Berk U. 2012年

@BerkUstun大写的G是一个小错误，我会尽快修复。X / Y只是随机变量的一般比率。IIRC在Liu的《蒙特卡洛》一书中对此进行了解释（书名带有科学意义。）

— 定义为

@deinst：好点！实际上，自归一化版本的属性与无偏重要性抽样估计器的属性完全不同。从理论上讲，将需要一个单独的重要性采样器来估计分母。

— 2012年