计算多个期望值时如何最佳地分布抽奖

假设我们要计算一些期望值：

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

假设我们要使用蒙特卡洛模拟对此进行近似。

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

但是，假设从这两个分布中抽取样本成本很高，因此我们只能承受绘制固定数。 $K$

我们应该如何分配？示例包括每种分布的抽奖，或者极端情况下，外部抽奖，内部为抽奖，反之亦然，等等。 $K$ $K/2$ $K-1$

我的直觉告诉我，这将与分布相对于彼此的方差/熵有关。假设外一个是质点，则分割最小化MC误差将被绘制的1和绘制的的。 $K$ $Y$ $K-1$ $X|Y$

希望这很清楚。

— 门上的狼
source

为您修复了问题

— wolfsatthedoor

“反之亦然”和您对@ X''ans答案的评论似乎表明您认为绘制外部变量的次数比内部变量的次数多，但这样做有什么意义-并非所有外部变量的为内部被浪费了吗？

0

$0$

— Juho Kokkala，2016年

足够公平，我猜每个外围最少抽奖一次。或者，您可以考虑对其进行编程以保存我想得出的

— 图纸

@robertevansanders请确认在西安答案的前两句话中对您的问题的解释是否正确

— Juho Kokkala

就像您说的，是的，但是切换y和x

— wolfsatthedoor

这是一个非常有趣的问题，除了分层和 Rao-Blackwellisation以外，在蒙特卡洛文献中很少有文献记载。这可能是由于以下事实：预期条件方差和条件期望方差的计算很少可行。

首先，让我们假设你运行从模拟，并为每个模拟，你跑从模拟，。您的蒙特卡洛估计然后的该估计的方差分解如下 $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$ 因此，如果要最小化此方差，则最佳选择为

R = K

$R=K$ 。表示。除了第一个方差项为null时，在这种情况下都没有关系。但是，如评论中所述，假设不现实，因为它不考虑一个 [或假定这是免费的]。

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

现在让我们假设不同的仿真成本和预算约束，这意味着的仿真成本。那么上述方差的分解为，可将其最小化为 [在约束和 ]，除非当第一方差等于零时 $R+aRS=b$ $y_{rs}$ $a$ $x_r$

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$ 。当，最小方差对应于最大，这导致在当前的形式主义中，。

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

还请注意，当内部积分在给定情况下位于，而外部积分与的边际相对时，应将此解决方案与对称解决方案进行比较（假设以该顺序进行模拟也是可行的）。 $X$ $Y$ $Y$

对这个问题的一个有趣扩展是，根据值，为每个模拟的考虑不同数量的模拟。 $S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— 西安
source

在最后的结论中，您似乎假设但是在问题因为也应该计算外部变量的得出。此处的结果表明，如果对外部变量进行采样是免费的，那么当然应该为每个内部变量采样一个新的外部。（此外，与问题相比，此处的和的作用已切换，但这当然没有关系）。

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

— Juho Kokkala，2016年

是的，但是我们可以确定的值...考虑简并设置，其中外部变量是常数。最好一次对常数和进行采样，而不是对常数和进行采样（这就是含义）？还是我完全误解了这个问题？（我现在仅阅读您的评论的第二句话-问题中所陈述的假设是它们是否具有相同的成本）

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

— Juho Kokkala

@西安是的加尔各答是正确的，您的解决方案通常无法成立。现在假设内部变量具有简并的分布，外部变量具有有意义的方差，那么您希望尽可能少地抽取内部抽奖

— wolfsatthedoor

我认为您的答案可能不正确。假设内部分布退化并且外部变化较大，S怎么可能是1

— wolfsatthedoor

@robertevansanders：如果内分布是简并的，，因此，和我们选择的最接近的整数下约束和，这意味着采用可使尽可能接近。

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$

— 西安