如何产生连续次数的非整数伯努利成功？

18

鉴于：

具有未知偏差（正面）的硬币。 $p$
严格正实数。 $a > 0$

问题：

生成具有偏差的随机伯努利变量。 $p^{a}$

有谁知道如何做到这一点？例如，当是一个正整数时，则可以掷硬币，并查看所有结果是否都是正面：如果结果为'0'，否则为'1'。困难在于不一定是整数。另外，如果我知道偏差，我就可以制造具有期望偏差的另一枚硬币。 $a$ $a$ $a$ $p$

sampling

— 佩德罗·奥尔特加
source

2

@gung：我认为需要的是一种给定硬币生成伯努利变量的算法。

— Neil G

1

我觉得这里的问题是，当

a > 1

$a>1$ 只，平均1保持了每一个的

a

$a$ 头弹出，当

a < 1

$a < 1$ ，您复制每个平均的头

1 / a

$1/a$ 次。

— 2013年

3

@Macro，您能否扩展这个想法？

— Pedro A. Ortega

1

尊敬的佩德罗（Dear Pedro），（+1）是您的帖子，这种问题使简历变得非常令人振奋和鼓舞，至少对我而言。请问这个问题的来历是什么？

— 主教

@cardinal：再次感谢您的回答！此问题是用于解决我正在处理的随机控制问题的采样器的一部分。

未知的原因是因为它需要知道归一化常数（在这种情况下，这是一个讨厌的分区函数），但是我们仍然可以使用拒绝采样从中进行采样。顺便说一句，很高兴用名字叫你，而不仅仅是CV ;-)的链接。

p

$p$

— Pedro A. Ortega 2013年

19

我们可以通过几个“技巧”和一些数学来解决这个问题。

这是基本算法：

生成成功概率为的几何随机变量。 $p$
这个随机变量的结果确定一个固定的已知值。 $f_n \in [0,1]$
生成使用公平的硬币随机变量翻转从我们的嵌段配对翻转生成硬币。 $\mathrm{Ber}(f_n)$ $\mathrm{Ber}(p)$
将得到的结果将是对于任何，这是我们所需要的。 $\mathrm{Ber}(p^a)$ $a \in (0,1)$

为了使事情更容易消化，我们将把事情分解成碎片。

第1部分：在不失一般性的前提下，假设。 $0 < a < 1$

如果，然后，我们可以写为正整数和一些。但是，对于任意两个独立的伯努利，我们有 $a \geq 1$ $p^a = p^n p^b$ $n$ $0 \leq b < 1$ 我们可以生成一个从我们在明显的方式硬币伯努利。因此，我们需要只与产生关注自己时。

P (X_{1} = X_{2} = 1) = p_{1} p_{2} .

$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$

p^{n}

$p^n$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

a \in (0, 1)

$a \in (0,1)$

片2：知道如何产生一个任意从公平的硬币翻转。 $\mathrm{Ber}(q)$

有一种标准的方法可以做到这一点。展开在其二进制展开，然后使用我们的公平的硬币翻转到“匹配”的数字。第一场比赛决定了我们宣布成功（“正面”）还是失败（“尾巴”）。如果并且我们的硬币翻转为正面，则声明为正面，如果并且我们的硬币翻转为背面，则声明为正面。否则，考虑将后续数字与新的硬币翻转相对。 $q = 0.q_1 q_2 q_3 \ldots$ $q$ $q_n = 1$ $q_n = 0$

第三部分：知道如何从具有未知偏差的不公平硬币中产生公平的硬币翻转。

这样做时，假设，通过翻转在对硬币。如果得到，则声明一个头；如果我们得到，则声明一个尾巴，否则重复该实验，直到出现上述两个结果之一。他们是同样可能的，所以必须有概率。 $p \in (0,1)$ $HT$ $TH$ $1/2$

第四部分：一些数学。（泰勒为营救。）

通过扩大围绕，泰勒定理断言 $h(p) = p^a$ $p_0 = 1$ 请注意，因为，在将各第一项是负的，所以我们有

p^{a} = 1 - a (1 - p) - \frac{a (1 - a)}{2!} (1 - p)^{2} - \frac{a (1 - a) (2 - a)}{3!} (1 - p)^{3} \dots .

$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$

0 < a < 1

$0 < a < 1$

其中

是已知的先验。因此

p^{a} = 1 - \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n},

$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$

0 \leq b_{n} \leq 1

$0 \leq b_n \leq 1$

其中

，

和

为

。

1 - p^{a} = \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n} = \sum_{n = 1}^{\infty} b_{n} P (G \geq n) = \sum_{n = 1}^{\infty} f_{n} P (G = n) = E f (G),

$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$

G \sim G e o m (p)

$G \sim \mathrm{Geom}(p)$

f_{0} = 0

$f_0 = 0$

f_{n} = \sum_{k = 1}^{n} b_{k}

$f_n = \sum_{k=1}^n b_k$

n \geq 1

$n \geq 1$

并且，我们已经知道如何使用硬币生成成功概率为的几何随机变量。 $p$

第5部分：蒙特卡洛技巧。

让是一个离散随机变量取值在与。让。那么 $X$ $[0,1]$ $\Pr(X = x_n) = p_n$ $U \mid X \sim \mathrm{Ber}(X)$

P (U = 1) = \sum_{n} x_{n} p_{n} .

$\Pr(U = 1) = \sum_n x_n p_n.$

但是，取和，我们现在看到如何生成随机变量，这等同于产生一个。 $p_n = p(1-p)^n$ $x_n = f_n$ $\mathrm{Ber}(1-p^a)$ $\mathrm{Ber}(p^a)$

— 红衣主教
source

我怎样才能引用您（或您的解决方案）？

— Pedro A. Ortega，

2

@Pedro：我想您可以单击此答案底部的“共享”链接。它应该是一个稳定的链接。Math.SE具有引用机制，该站点上似乎未启用该机制，但您可以对其进行调整。

— 主教

1

现在，这是一个绝妙的答案！

— 2013年

1

我在“分析组合法” Coursera班的“一般讨论”论坛上写下了这篇文章，因为这是与此处介绍的某些材料相关的幂级数的很好使用。class.coursera.org/introACpartI-001/forum/thread?thread_id=108

— 道格拉斯·

@道格拉斯：谢谢！该线程是否有一个公开可见的版本，或者我需要注册该课程才能看到它？佩德罗和我一直在（通过电子邮件）讨论在他的一些研究中包括这种方法的可能途径。

— 主教

6

以下答案愚蠢吗？

如果是独立的且具有分布，则将近似为分布，当。 $X_1,\dots,X_n$ $\mathrm{Ber}(p)$ $Y_n$ $\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$ $Y_n$ $\mathrm{Ber}(p^a)$ $n\to\infty$

因此，如果你不知道，但你能折腾这枚硬币有很多的时候，它可以从一个样品（约）随机变量。 $p$ $\mathrm{Ber}(p^a)$

示例R代码：

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

结果：

p^a = 0.01234568 
est = 0.012291

— 禅
source

2

我喜欢这个答案，但我怀疑它没有回答问题的要点，我将其解释为要求一种算法，该算法可以根据请求的分布生成而不知道

（或关于

经验信息）。但是，这个问题确实预料你可以生成

随机变量，所以这是一个完全合理的答案，是不是傻了！+1

p

$p$

p

$p$

B e r n o u l l i (p)

${\rm Bernoulli}(p)$

— Macro

1

+1：我喜欢。我想你是说

是分布的……？

Y_{n}

$Y_n$

— Neil G

好多了！Tks，@尼尔·G！

— 2013年

1

这很可爱（+1），但我们可以通过几乎肯定有限的翻转次数来做到这一点（而且平均而言，翻转次数会相对较小）。

— 主教

5

我在Coursera上当前分析组合类的一般讨论论坛上发布了该问题的以下说明和枢机主教的回答：“幂级数在构造随机变量中的应用”。我在这里发布了一个副本，作为社区Wiki，以使其公开且永久可用。

stat.stackexchange.com上有一个与幂级数有关的有趣问题：“如何生成连续次数的伯努利成功次数不成整数？” 我将通过基数来解释问题和答案。

假设我们有一个可能不公平的硬币，其正面为概率，且实数为正。我们如何构建其概率事件？ $p$ $\alpha$ $p^\alpha$

如果是一个正整数，我们可以将硬币翻转次，并假设所有掷出都是正面。然而，如果不是整数，说，那么这是没有意义的，但我们可以用这个思路来减少的情况下。如果我们要构造一个概率为的事件，我们将概率为和的独立事件相交。 $\alpha$ $\alpha$ $\alpha$ $1/2$ $0 \lt \alpha \lt 1$ $p^{3.5}$ $p^3$ $p^{0.5}$

一两件事，我们可以做的是与任何已知的概率构造一个事件。为此，我们可以通过重复两次翻转硬币，将读取为并将读取为并忽略和来构造一个公平的比特流。我们比较这流与的二进制展开 $p' \in [0,1]$ $HT$ $1$ $TH$ $0$ $HH$ $TT$ $p' = 0.a_1a_2a_3..._2$ 。第一个分歧是情况的概率为。我们不知道，因此我们不能直接使用，但它会是一个有用的工具。 $a_i=1$ $p'$ $p^\alpha$

其主要思想是，我们想用幂级数为其中。我们可以构建其概率事件通过掷硬币倍，如果他们都尾部看，我们可以生产出概率事件通过比较二进制数字同一个公平的比特流如上并检查是否抛尾全部都是尾巴。 $p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$ $p=1-q$ $q^n$ $n$ $p' q^n$ $p'$ $n$

构造一个几何随机变量具有参数。这是无数次抛硬币中第一个头部之前的尾巴数。。（某些人使用的定义相差） $G$ $p$ $P(G=n) = (1-p)^np = q^n p$ $1$

给定一个序列，我们可以产生：翻转硬币直到第一个头部，如果第一个头部之前有尾巴，则取下索引为的元素。如果每个，我们可以比较以均匀随机变量在（如上构造），以获得与概率事件 $t_0, t_1, t_2, ...$ $t_G$ $G$ $G$ $t_n \in [0,1]$ $t_G$ $[0,1]$ 。 $E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$

这几乎是我们所需要的。我们想消除使用的电源系列在。 $p$ $p^\alpha$ $q$

1 = p + q p + q^{2} p + q^{3} p + . . .

$1 = p + qp + q^2p + q^3p + ...$

q^{n} = q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .

$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$

\begin{array}{rcl} \sum_{n} s_{n} q^{n} & = & \sum_{n} s_{n} (q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .) \\ = & \sum_{n} (s_{0} + s_{1} + . . . + s_{n}) q^{n} p \end{array}

$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$

$1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$ $t_n$ $q$ $q^n$ $1-p^\alpha = \sum_n t_n q^n p$ $t_n\in [0,1]$ $1-0^\alpha = 1$ $1-p^\alpha$ $t_G$ $p^\alpha$

同样，该论点是由于枢机主教。

— 道格拉斯·扎尔
source

1

（+1）感谢您麻烦发帖。博览会的差异虽然相对较小，但有助于使方法更清晰。

— 主教

4

基数及其后续贡献的非常完整的答案激发了以下评论/变体。

$q:=1-p$ $X_n$ $q$ $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ $q^n$ $n$ $N \geq 1$ $M_N$

P r {M_{N} = 0} = \sum_{n = 1}^{\infty} P r {M_{N} = 0 | N = n} P r {N = n} = \sum_{n = 1}^{\infty} P r {N = n} q^{n} .

$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$

0 < a < 1

$0 < a < 1$

P r {N = n} = b_{n}

$\mathrm{Pr}\{N =n\} =b_n$

P r {M_{N} = 0} = 1 - p^{a}

$\mathrm{Pr}\{M_N =0\} = 1- p^a$

1 - M_{N}

$1-M_N$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

b_{n}

$b_n$

b_{n} ⩾ 0

$b_n \geqslant 0$

1

$1$

$N$ $a$ $0 < a < 1$

P r {N = n} = \frac{a}{n} \prod_{k = 1}^{n - 1} (1 - a / k) (n \geq 1) .

$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$

n b_{n} \sim c / n^{a}

$n \,b_n \sim c/n^a$

c = - 1 / Γ (- a) > 0

$c = -1/\Gamma(-a) >0$

$M_N$ $N$ $X_k$ $\leq N$ $X_k$ $1$ $X_k$

— 伊夫
source

X_{k}

$X_k$

θ

$\theta$

(0 < θ < 1)

$(0 < \theta < 1)$

M_{n}

$M_n$

q^{n θ}

$q^{n\theta}$

q^{n}

$q^n$

n θ = a

$n\theta = a$

a > 0

$a>0$

X_{n}

$X_n$

X_{n}^{⋆}

$X_n^\star$

θ

$\theta$ standard Frechet'' by

b_{n} q^{n}

$b_n q^n$

B e r (p)

$\mathrm{Ber}(p)$

N

$N$

— 主教

(0, 1)

$(0,1)$

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$

N

$N$

n b_{n} \sim c n^{- (1 + a)}

$n b_n \sim c n^{-(1+a)}$

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$

B e r (p)

$\mathrm{Ber}(p)$

1

c

$c$

- 1 / Γ (- a)

$-1/\Gamma(-a)$

n

$n$

Γ (z)

$\Gamma(z)$

z := - a

$z:=-a$

\prod_{k = 1}^{n - 1}

$\prod_{k=1}^{n-1}$

— Yves

b_{n}

$b_n$

n b_{n}

$n b_n$