硬币翻转，决策过程和信息价值

想象一下以下设置：您有2个硬币，保证硬币A 为公平硬币，而硬币B可能为公平硬币，也可能不是。您被要求进行100次硬币翻转，并且您的目标是最大数目的正面。

您有关硬币B的先前信息是，硬币B被翻转3次并产生1个头。如果您的决策规则仅基于比较两个硬币正面的预期概率，则可以将硬币A翻转100次并完成操作。即使使用合理的概率贝叶斯估计（后验均值）也是如此，因为您没有理由相信硬币B产生更多的正面。

但是，如果硬币B实际上偏向正面，该怎么办？在某些情况下，通过翻转硬币B两次（因此获得有关其统计属性的信息）肯定会放弃“潜在的头脑”，这在某种意义上是有价值的，因此会影响您的决策。如何用数学方式描述“信息价值”？

问题：在这种情况下，如何在数学上构造最佳决策规则？

多臂匪

这是多武装匪徒问题的特例。我说一个特殊的情况是因为通常我们不知道正面的任何概率（在这种情况下，我们知道其中一个硬币的概率为0.5）。

您提出的问题称为“ 探索与开发”困境：您是否探索其他选择，还是坚持自己认为最好的选择。假设您知道所有概率，那么可以立即找到最佳解决方案：只需选择获胜概率最高的硬币。正如您提到的那样，问题在于我们不确定真正的概率是多少。

关于该主题的文献很多，并且有很多确定性算法，但是由于您已标记了贝叶斯算法，所以我想向您介绍我个人最喜欢的解决方案：贝叶斯匪徒！

贝斯强盗解决方案

针对这个问题的贝叶斯方法是很自然的。我们有兴趣回答“ 硬币X优于两者的概率是多少？”。

$p_B$

$Beta( 1 + 1, 1 + 2)$

寻找一个近似最优的策略

现在我们有了后人，该怎么办？我们有兴趣回答“硬币B优于两者的概率是多少”（从我们的贝叶斯角度记住，尽管有一个肯定的答案是哪个更好，但我们只能说几率）：

$w_B$$1 - w_B$$w_B$

1. Sample P_B from the posterior of coin B
2. If P_B > 0.5, choose coin B, else choose coin A.

该方案也是自我更新的。当我们观察到选择硬币B的结果时，我们使用此新信息更新后验，然后再次选择。这样，如果硬币B真的不好，我们会少选择它，而实际上硬币B真的很好，我们会经常选择它。当然，我们是贝叶斯主义者，因此我们绝对不能肯定硬币B会更好。像这样概率选择是探索-开发难题的最自然的解决方案。

这是汤普森采样的一个特殊示例。可以在Google的研究论文和Yahoo的研究论文中找到更多信息以及在线广告的炫酷应用程序。我喜欢这个东西！

这是一个多武装匪徒问题的简单案例。如您所注意到的，您想通过在短期内认为次优的时候尝试未知硬币来平衡您收集的信息，而不是利用已有的知识。

$1/2$

通常，我认为您无法摆脱动态编程问题，尽管在某些特殊情况下，可以更轻松地找到和检查最佳策略。

有了统一的先验，您应该在这里停下来：

$(0 ~ \text{heads}, 3 ~\text{tails}), (1 ~\text{head}, 5 ~\text{tails}), (2 ~\text{heads}, 6 ~\text{tails}), (3,7), (4,8),...(31,35), (32,35), (33,36), (34,37), ... (41,44), (42,44), ... (46,48), (47,48), (48,49), (49,50)$

$61.3299$

我使用以下Mathematica代码来计算净值：

Clear[Equity];
Equity[n_, heads_, tails_] := Equity[n, heads, tails] = 
    If[n == 0, heads, 
       Max[1/2 + Equity[n - 1, heads, tails], 
           (heads + 1)/(heads + tails + 2) Equity[n - 1, heads + 1, tails] + 
           (tails + 1)/(heads + tails + 2) Equity[n - 1, heads, tails + 1]
           ]
      ]

为了进行比较，Thompson采样启发式方法（Cam Davidson Pilon认为是最佳方法）给出了60.2907的平均头，比1.03915低。汤普森采样的问题在于，当您有足够的信息知道它不是一个好选择时，有时会对B进行采样，而当信息最有价值时，它常常会浪费早采样B的机会。在这种类型的问题中，您几乎永远不会对选择感到冷漠，并且有一个纯粹的最优策略。

tp[heads_, tails_] := tp[heads, tails] = 
    Integrate[x^heads (1 - x)^tails / Beta[heads + 1, tails + 1], {x, 0, 1/2}]


Clear[Thompson];
Thompson[flipsLeft_, heads_, tails_] := Thompson[flipsLeft, heads, tails] = 
    If[flipsLeft == 0, heads, 
       Module[{p = tp[heads, tails]}, 
           p (1/2 + Thompson[flipsLeft-1,heads,tails]) + 
           (1-p)((heads+1)/(heads+tails+2)Thompson[flipsLeft-1,heads+1,tails] + 
           ((tails+1)/(heads+tails+2)) Thompson[flipsLeft-1,heads,tails+1])]]