从相同的偏向硬币中获得接近公平的抛硬币的最佳方法是什么？

21

（冯·诺伊曼（Von Neumann）给出了一种算法，该算法在访问相同的有偏向硬币的情况下可以模拟一个公平的硬币。该算法潜在地需要无限数量的硬币（尽管在期望中，数目足够有限）。这个问题涉及允许抛硬币的次数为有界）。

假设我们有 $n$ 相同硬币与偏置 $\delta=P[Head]-P[Tail]$ 。目的是模拟单个抛硬币，同时最大程度地减少偏差。

在以下方面，仿真必须高效：在多项式时间内运行的算法查看随机位并输出单个位。该算法的偏差定义为其中期望值是由 iid位定义的分布所接受的从而。 $n$ $Bias(A)=|E[A=0]-E[A=1]|$ $n$ ${x_1,\ldots,x_n}$ $Prob[x_i=1]-Prob[x_i=0]=\delta$

哪个在多项式时间内运行的算法的偏差最小？ $A$ $Bias(A)$

这个问题对我来说似乎很自然，很可能以前已经考虑过。

对这个问题了解多少？当考虑使用较弱类的算法（在等中）时，是否知道什么？ $AC_0$

cc.complexity-theory circuit-complexity pr.probability

— 赫鲁希希什
source

15

投掷n个有偏见的硬币并获得正面平价成倍地接近 $\frac{1}{2}$ 。

[作为证明，考虑一个随机变量，当头部为正时为-1，而尾部为1，那么，具有奇数个头部的概率就是] $E\left[\frac{1}{2} + \frac{1}{2}\prod_i X_i\right] = \frac{1}{2} + \frac{1}{2}\delta^n$

出于以下原因，这也许也是最佳的。令为这些位的任何合成函数。然后，将最好的似乎是奇偶校验功能（不是吗？）。 $f$ $\text{Bias}(f) = \sum_S \hat{f}(S) \delta^{|S|}$ $f$

如果您对较低复杂度的合成函数感兴趣，那么Ryan O'Donnell的论文“ NP内的硬度放大”可能非常相关。在那里，他使用单调成分函数进行硬度放大，并且有效的功能以其噪声敏感性为特征。

— 兰普拉萨德
source

您能否详细说明为什么平价应该是最好的功能？（另外，这不是问题多渐近，但不应该认为是

在由于傅立叶展开

？）。感谢您指向本文的指针！

d e l t a^{| S |}

$delta^{|S|}$

E [x_{i}] = δ

$E[x_i]=\delta$

— Hrushikesh

哦，对不起，你说的对。该表达式不正确，现已更正。我没有最优的证明（也许不是最佳的），但我猜到了原因所以是如果表达，而不是那将是真正的

因为这是凸组合。

\sum_{S} \hat{f} (S)^{2} δ^{| S |}

$\sum_S \hat{f}(S)^2 \delta^{|S|}$

— Ramprasad

也许这可能会有所启发。通过柯西-施瓦茨，我们知道

。一种优化的方法是尽可能地使上限最小化，这在函数

是奇偶校验函数时发生，在这种情况下，我们感兴趣的数量也与上限匹配。但是，傅立叶系数的向量可能与

向量完全正交，在这种情况下，LHS仅为零！我们知道此类示例的

值是否特殊？

\sum_{S} \hat{f} (S) \leq \sqrt{\sum_{S : \hat{f} (S) \neq 0} δ^{2 | S |}}

$\sum_{S} \hat{f}(S) \leq \sqrt{\sum_{S:\hat{f}(S)\neq 0} \delta^{2|S|}}$

f

$f$

δ

$\delta$

δ

$\delta$

— Ramprasad

实际上，如果要采用一些非平凡的单调函数

，则在

，期望

的概率为0，而在

时的概率为

。因此，对于某些中间

，其值必须为

f

$f$

δ = - 1

$\delta = -1$

f (x_{1}, \dots, x_{n}) = 1

$f(x_1,\cdots, x_n) = 1$

δ = 1

$\delta=1$

1

$1$

δ

$\delta$

。因此，期望对于每个

，奇偶校验函数都是最优的是不公平的。

\frac{1}{2}

$\frac{1}{2}$

δ

$\delta$

— 2010年

您能否更详细地解释最后一条评论？忽视的F公司复杂的问题，是不是你真正的结论只有

的

E [f] = 1 / 2

$E[f]=1/2$

因为奇偶需要偏压从

到

？

δ \geq \frac{1}{2^{1 / n}}

$\delta \geq \frac{1}{2^{1/n}}$

δ

$\delta$

δ^{n}

$\delta^n$

— Hrushikesh

12

您不会说偏差是已知的还是未知的。冯·诺依曼算法的神奇之处在于，无论哪种情况，它都能发挥作用。

假设它是已知的。因此，最佳答案关键取决于偏差的数论特征。让我们取p = 2/3。投掷硬币两次，并将HH映射为0，将TH和HT映射为1，如果结果是TT，则重复该实验。那么0和1的可能性相同，重复的机会只有von Neumann算法的1/9而不是5/9。或者用您的话来说，如果您的迭代极限为2，则仅将结果之一偏差1/9。

这些都与信息论和编码论密切相关。当p是分子和分母更复杂的分数时，最佳算法将需要比2长的块长度。您可以使用Shannon风格的存在参数来表明，对于给定的偏差，存在一个与您想要，但是块长度会变得非常大。

Peres在他的论文《冯·诺伊曼的迭代随机位提取程序》中证明，冯·诺伊曼算法的一种版本可以很好地逼近香农极限。这个领域的许多工作似乎都是由信息理论家和统计学家完成的，因此我想不出任何一篇具有复杂性理论倾向的论文，都可以直接回答您的问题。

有一个有趣的相关问题提出了相反的问题：如果您有一个公平的比特来源，您如何有效地在某些非二次幂集上生成均匀分布？与您的问题类似的问题的迭代受限版本要求使用n枚公平硬币来最大化熵（即，使分布尽可能均匀）。

— Per Vognsen
source

1

在我看来，优化无偏差运行时间（本文所做的工作）是Lagrange双重优化无偏差运行时间。因此，我认为该论文实际上回答了您的问题！

— Per Vognsen

5

我更喜欢以以下广义形式来思考这个问题：我们有一个完整的二叉树hight n，其中每个节点的编号为st，这些编号的总和为1。我们可以将叶子分为两个集合，即st的总和吗？数字他们接近吗？

If we have biased coin with parameter $p$ and $q=1-p$ , the nodes will have values $p^i q^{n-i}$ .

As noted in other answers, for most piratical purposes taking parity of the bits is good. The bias will be $\sum_{i} {\binom{n}{i} parity(x) p^i q^{n-i}} = \sum_{i} {\binom{n}{i} (-p)^i q^{n-i}} = (q-p)^n$ .

In general, if we have enough computing resources (say $PSpace$ in number of random bits), we can partition the nodes in the best possible way.

EDIT "This is basically the Shannon coding problem." (Thanks to Per Vognsen.) END of EDIT

On the other hand, if we are only allowed to use $AC^0$ , then it is not hard to show that we can not achieve much because of switching lemma. The circuit will be approximated exponentially well by a CNF and it is not hard to show that a CNF can not compute an answer with a good bias.

(This answer may contain errors, I have not checked the details.)

— Kaveh
source

2

"Can we partition the leaves to two sets s.t. the sums of numbers them are close?" This is basically the Shannon coding problem. The Shannon-Fano algorithm is top-down and starts with a set of probability-weighted elements and asks for an even-as-possible bipartition. Applying this recursively gives an integral prefix-free code. The Huffman algorithm is bottom-up: it starts with singleton trees and repeatedly merges pairs with closest probability. If you know about arithmetic coding, this also rightly suggests that it's better to generate multiple fair bits at once rather than one at a time.

— Per Vognsen

4

You can also get many random bits out of biased coins, see Gabizon's paper Derandomizing algorithms under Product Distributions (http://sites.google.com/site/arielgabizon1/)

3

Related question, different site: whitening a random bit sequence

— BCS
source

1

If you want an even number of coin tosses to be unbiased with a biased coin, the easy way to remove bias is reverse the result of every other toss.

— Dean J
source

1

This won't of course result in a uniformly random sequence. Imagine the limiting case as the bias of the coin goes to 1 -- you just get a deterministic alternating sequence of bits.

— Aaron Roth

Any strategy that bijectively remaps outcomes will preserve the entropy, so it can't change the distribution from non-maximal entropy (biased) to maximal entropy (unbiased).

— Per Vognsen