从不正确的混合物中进行精确采样

假设我要从连续分布进行采样。如果我有的表达的形式 $p(x)$ $p$

p （ X ） = \sum_{一世 = 1个}^{\infty} {一个}_{一世} F_{一世} （ X ）

$p(x) = \sum_{i=1}^\infty a_i f_i(x)$

其中和是可以从中轻松采样的分布，然后我可以通过以下方式轻松地从生成采样： $a_i \geqslant 0, \sum_i a_i= 1$ $f_i$ $p$

以概率对标签 $i$ 进行采样 $a_i$
采样 $X \sim f_i$

如果 $a_i$ 有时为负数，是否可以推广此过程？我怀疑我已经在某个地方看到过此操作-可能在书中，或者可能是在Kolmogorov发行版中-因此，我很高兴接受参考作为答案。

如果一个具体的玩具示例有帮助，假设我要从

p （ X ， ÿ ） \propto 经验值 （ - X - ÿ - α \sqrt{X ÿ} ） X ， ÿ > 0

$p(x,y) \propto \exp(-x-y-\alpha\sqrt{xy})\qquad x,y > 0$ 然后出于技术上的原因，将

α \in (0, 2)

$\alpha \in (0, 2)$ 放在事情的总体方案中应该没太大关系。

原则上，我可以将其扩展为以下总和：

p （ X ， ÿ ） \propto \sum_{ñ = 0}^{\infty} \frac{（ - 1个 ）^{ñ} α^{ñ} （ \frac{ñ}{2} ） ！ （ \frac{ñ}{2} ） ！}{ñ ！} （ \frac{X^{ñ / 2} Ë^{- X}}{（ \frac{ñ}{2} ） ！} ） （ \frac{ÿ^{ñ / 2} Ë^{- ÿ}}{（ \frac{ñ}{2} ） ！} ） 。

$p(x,y) \propto \sum_{n=0}^\infty \frac{(-1)^n \alpha^n \left( \frac{n}{2} \right)! \left( \frac{n}{2} \right)!}{n!} \left( \frac{x^{n/2} e^{-x}}{\left( \frac{n}{2} \right)!}\right) \left( \frac{y^{n/2} e^{-y}}{\left( \frac{n}{2} \right)!}\right) .$

然后可以从Gamma随机变量中独立采样和中的 $(x,y)$ 。我的问题显然是系数“有时”为负。

编辑1：我澄清，我正在寻求从生成精确样本，而不是在下计算期望值。对于那些感兴趣的人，在注释中提到了一些这样做的过程。 $p$ $p$

编辑2：我在Devroye的“非均匀随机变量生成”中找到了包含针对此问题的特定方法的参考。该算法来自Bignami和de Matteis的“关于从分布组合中抽样的注释”。该方法有效地通过总和的正项从上方限制密度，然后基于此包络使用拒绝采样。这对应于@西安答案中描述的方法。

— πr8
source

为什么不能仅使用的绝对值然后否定样本来采样？换句话说，定义（假设它是有限的），然后通过重新归一化您的和。

a_{i}

$a_i$

X \sim f_{i}

$X\sim f_i$

Z := \sum_{i = 1}^{\infty} | a_{i} |

$Z:=\sum_{i=1}^\infty |a_i|$

Z

$Z$

— 亚历克斯R.18年

@AlexR。如果我理解您的话，可以使用该版本的一个实用工具来计算下的期望值，但仍然不能从提取准确的样本。当然，这是对相关问题的解答，尽管不完全是我要找的东西。

p

$p$

p

$p$

— πr8

这取决于您打算如何处理该样本。例如，出于计算矩的目的，通过将从具有负系数的组件中选择的任意点另外标记为“负”点并在矩估计中对它的贡献进行负加权，可以很容易地从密度混合中概括采样。同样，只要您可以接受某些值可能为负的可能性，便可以使用负的权重构造KDE！（抄送@西安）

— 胡伯

分布的“精确”样本是什么？同样，是否以及如何利用负重量的混合物取决于您打算如何使用样品。

— ub

这不能回答您的问题，但是您可能有兴趣阅读有关从对数概率stats.stackexchange.com/a/260248/35989

— 蒂姆

Answers:

我对此问题感到困惑，但从未提出令人满意的解决方案。

可能使用的一个属性是，如果密度写为，其中是a密度，使得从模拟，并以概率拒绝这些模拟，从而提供了模拟。在当前情况下，是正权重分量和是余数

F （ X ） = \frac{G （ X ） - ω H （ X ）}{1个 - ω} ω > 0

$f(x)=\frac{g(x)-\omega h(x)}{1-\omega}\qquad \omega>0$

g

$g$

g (x) \geq ω h (x)

$g(x)\ge \omega h(x)$

g

$g$

ω h (x) / g (x)

$\omega h(x)/g(x)$

f

$f$

g

$g$

g (x) = \sum_{α_{i} > 0} α_{i} f_{i} (x) / \sum_{α_{i} > 0} α_{i}

$g(x)=\sum_{\alpha_i>0} \alpha_i f_i(x) \big/ \sum_{\alpha_i>0} \alpha_i$

ω h

$\omega h$

h (x) = \sum_{α_{一世} < 0} α_{一世} F_{一世} （ X ） / \sum_{α_{一世} < 0} α_{一世}

$h(x)=\sum_{\alpha_i<0} \alpha_i f_i(x) \big/ \sum_{\alpha_i<0}\alpha_i$ 在Devroye的模拟圣经中确实可以找到这一点，即非均匀随机变量生成，第II.7.4节，但遵循简单的接受-拒绝推理。

这种方法的第一个计算缺陷是，尽管首先从选定的分量模拟，但必须为拒绝步骤计算和的总和。如果总和是无穷大且没有封闭形式的版本，则这将使accept-reject方法无法实现。 $f_i$ $g$ $h$

第二个困难是，由于两个权重的拒绝率是没有上限。实际上，如果与相关的级数不是绝对收敛的，则接受概率为零！并且该方法不能在这种情况下实现。

\sum_{α_{一世} > 0} α_{一世} = 1个 - \sum_{α_{一世} < 0} α_{一世}

$\sum_{\alpha_i>0}\alpha_i = 1 - \sum_{\alpha_i<0}\alpha_i$

1个 - ϱ^{接受} = \sum_{α_{一世} < 0} | α_{一世} | / \sum_{一世} | α_{一世} |

$1-\varrho^\text{accept}=\sum_{\alpha_i<0}|\alpha_i| \Big/ \sum_i |\alpha_i|$ $\alpha_i$

在混合表示的情况下，如果可以写成可以先选择组件，然后再将方法应用于该组件。但这可能难以实现，从可能的无限大的总和中确定适合对不一定可行。 $f$

F （ X ） = \sum_{一世 = 1个}^{\infty} α_{一世} \frac{G_{一世} （ X ） - ω_{一世} H （ X_{一世} ）}{1个 - ω_{一世}} ω_{一世} > 0

$f(x)=\sum_{i=1}^\infty \alpha_i \frac{g_i(x)-\omega_i h(x_i)}{1-\omega_i}\qquad \omega_i>0$

(g_{i}, h_{i})

$(g_i,h_i)$

g_{i} (x) - ω_{i} h (x_{i}) > 0

$g_i(x)-\omega_i h(x_i)>0$

我认为更有效的解决方案可能来自于序列表示本身。Devroye，非均匀随机变量生成，第IV.5节，包含了许多级数方法。例如，以下算法用于目标的替代级数表示，当 '小号收敛于零与和是密度：

F （ X ） = κ H （ X ） {1个 - {一个}_{1个} （ X ） + {一个}_{2} （ X ） - \dots}

$f(x)=\kappa h(x)\{1-a_1(x)+a_2(x)-\cdots\}$

a_{i} (x)

$a_i(x)$

n

$n$

h

$h$

最近已经在MCMC的有偏估计量的偏移的背景下考虑了该问题，例如在Glynn-Rhee方法中。还有俄罗斯轮盘赌估算器（与伯努利工厂问题有关）。以及公正的MCMC方法论。但是，符号问题无可逃避……这使得在伪密度方法中估算密度时其使用具有挑战性。

经过进一步的思考，我的结论是，没有一种通用的方法可以从该系列中生成实际的模拟结果（而不是 混合物，结果证明是错误的称呼），而无需对该系列的元素强加>结构，例如Devroye的圣经中的上述算法。的确，由于大多数（？）密度都允许上述类型的一系列扩展，因此这意味着存在某种通用仿真机...

— 西安
source

谢谢！我也感谢其他参考。

— πr8

还要感谢您非常详尽的回复和参考。我很高兴接受这个答案，因为它成功地在有限的时间内从生成了精确的样本。我可能会在某种程度上继续考虑这个问题。我唯一似乎有希望的其他想法是，将采样视为采样，以，并且可能存在一些几何洞察对于此表征很有用（我在想像上的切片采样器）。干杯!

p

$p$

p = λ g - μ h

$p = \lambda g - \mu h$

X \sim g

$X \sim g$

λ g ⩾ μ h

$\lambda g \geqslant \mu h$

{(x, y) : μ h (x) < y < λ g (x)}

$\{(x,y): \mu h (x) < y < \lambda g(x) \}$

— πr8

我对条件采样器的解释很差。基于集合的特征更清晰（我认为）。我的重点是，如果可以从最后一行的二维集中均匀采样，则坐标具有正确的分布。这种表征是否可以用于更长的基于和的不正确混合物还有待观察。

(x, y)

$(x,y)$

x

$x$

— πr8

我也在考虑切片采样器，但是从仿真的意义上来说这并不是“精确的”。

— 西安

我有一个可行的想法草案。它不是精确的，但希望渐近精确。要将其转化为一种非常严格的方法，在这种方法中可以控制近似值，或者可以证明某些近似值，可能需要进行大量工作。

首先，正如西安所提到的，您可以一方面对正权重进行分组，另一方面对负权重进行分组，这样最终问题就只有两个分布和： $g$ $h$

p = λ G - μ H

$p=\lambda g - \mu h$

与。请注意，您有。 $\lambda-\mu=1$ $\lambda\geq 1$

我的想法如下。您想要从采样观测值。做： $N$ $p$

从采样值并将它们存储在列表中 $\lambda N$ $g$
对于从采样的每个值，从列表中删除它们最近的（剩余的）邻居。 $\mu N$ $h$

最后，您获得点。它不一定是最接近的邻居，而只是一个“足够接近”的点。第一步就像产生物质。第二步就像生成反物质，让它与物质碰撞并抵消。此方法并不精确，但我认为在某些情况下，它对于大来说是渐近精确的（要使其对小几乎精确，则需要先使用大，然后在最终列表中使用一小部分随机数）。我给出一个非常非正式的论点，它更多的是解释，而不是证明。 $(\lambda-\mu)N=N$ $N$ $n$ $N$

考虑在观察空间和体积小围绕与勒贝格音量。从采样后，列表中也在的元素数量大约为。第二步之后，将从中删除大约，并且您大约拥有所需的。为此，您需要假设体积中的点数足够大。 $x$ $v$ $x$ $\epsilon$ $g$ $v$ $\lambda Ng(x)\epsilon$ $\mu Nh(x)\epsilon$ $Np(x)\epsilon$

这种方法极不可能抵抗大尺寸或和某些病状，但可能在小尺寸和足够平滑，“足够均匀”的分布中起作用。 $g$ $h$

请注意有关确切方法的信息：

我首先想到的是离散分布，显然在那种情况下该方法并不精确，因为它可以生成概率为0的样本。我有很强的直觉，即在有限的处理时间下不可能使用精确的方法，至少对于离散分布，这种可能性是可以证明的。游戏规则是，只允许您对和使用精确的“ oracle”采样器，但不知道和是函数。为了简单起见，只限于伯努利分布。确切方法的不存在与伯努利工厂理论有关：如果可以从创建 -coin $g$ $h$ $g$ $h$ $x$ $(\lambda p - \mu q)$ $p$ -coin和 -coin，则可以从 -coin 创建 -coin，这对于是不可能的。 $q$ $\lambda p$ $p$ $\lambda>1$

— 贝诺伊特·桑切斯（Benoit Sanchez）
source

我考虑了这一点，但拒绝了它，因为我最初的尝试来证明它可以起作用，这使人们意识到，它充其量只是一种近似，并且可能是一个贫穷的个体。是的，渐近地它可以工作，但是它不能满足OP对分发中“精确”采样的要求。

— ub

该方法的效率与精确的接受-拒绝方法完全相同。

— 西安

同意但是它们是完全不同的。accept-reject方法需要将和计算为函数。我专注于像真正混合一样，仅使用来自和采样作为“ oracle”采样器。我想得越多，我就越确信不存在基于抽样预言的精确方法。

g

$g$

h

$h$

x

$x$

g

$g$

h

$h$

— 贝努瓦·桑切斯

我认为通常是正确的，但是在确实存在这种精确方法的特殊情况下，可能会有有用的类。这是因为（1）在某些情况下的计算很容易，并且（2）您不需要同时计算和－您只需要计算该比率。

g / (g + h)

$g/(g+h)$

g

$g$

h

$h$

— ub

@BenoitSanchez感谢您的深入回答；最后，我特别感谢有关（可能）准确性的评论。我过去遇到过伯努利工厂，发现它们颇具挑战性。我将尝试重新讨论该主题，并查看它是否提供任何见解。

— πr8