比较0/10到0/20

10

在讨论任务完成率时，是否有办法表明20次尝试中的0次比10次尝试中的0次更“糟糕”？

probability sampling

— 文尼
source

1

您可以尝试使用en.wikipedia.org/wiki/Additive_smoothing，但是挥手而不是坚实的证据

— abukaj

您怎么知道情况更糟？例如，如果只能尝试10次，那么您不知道尝试更多次的得分。

— 蒂姆

4

可能是估计比例的置信区间？

— mdewey

5

对我来说，这似乎是一个合理的问题。它基于可以讨论的完全正常的直觉，并且有解决该问题的统计方法（例如，贝叶斯方法）。我投票决定不公开。

— gung-恢复莫妮卡

1

我同意@gung。这是一个很好的问题。

— 亚历克西斯（Alexis）

3

假设我们知道一次尝试成功的可能性。在这种情况下，我们计算出10个案例中的0个概率和20个案例中的0个概率。

但是，在这种情况下，我们走了另一条路。我们不知道概率，我们有数据，我们试图估计概率。

我们拥有的案例越多，我们对结果的把握就越大。如果我将一枚硬币掷向正面，您将无法确定它是双向的。如果我将它扔1000次并且全神贯注，它就不太可能保持平衡。

设计了一些方法，以便在给出估计时考虑路径数。其中之一是@abukaj在上面评论的加性平滑。在加法平滑中，我们添加了额外的伪样本。在我们的案例中，我们看到的是在路径上添加了另外两个-一个成功和一个失败。

在第一种情况下，平滑概率为 =〜8.3％ $\frac{1+0}{10 +1 +1}$ $\frac{1}{12}$
在第二种情况下，我们将获得 =〜4.5％ $\frac{1+0}{20 +1 +1}$ $\frac{1}{22}$

注意，加法平滑仅仅是一种估计方法。使用不同的方法，您将获得不同的结果。即使使用加法平滑本身，如果添加4个伪样本，您也会得到不同的结果。

另一种方法是使用@mdewey建议的置信区间。我们拥有的样本越多，置信区间将越短。置信区间的大小与样本的平方根成正比-。因此，将样本数量加倍将导致较短的置信区间。 $\frac{1}{\sqrt{n}}$ $\sqrt{2}$

两种情况下的均值为0。我们采用90％的置信度（z = 1.645）

在第一种情况下，我们将获得0 +〜52％ $\frac{1.645}{\sqrt{10}}$
在第二种情况下，我们将获得0 +〜36％ $\frac{1.645}{\sqrt{20}}$

如果缺少数据，则存在不确定性。您所做的假设和将使用的外部数据将改变您将获得的收益。

— 达尔
source

1

非常感谢Dan Levin。您的答案足够清晰，非数学家可以遵循，但也足够可靠，可以让我直观地接受您的解释。谢谢所有评论者的输入。

— vinne

1

扩展了调用置信区间的概念，这里有一个精确的二项式区间的概念。

二项式分布是在独立试验中成功总数为0（失败）或1（成功）的分布。传统上将获得1（成功）的概率表示为，其补码为。则标准概率结果是，在试验中恰好有成功的概率为 $p$ $q=1-p$ $k$ $n$

p_{ñ ， ķ} = （ \binom{ñ}{ķ} ） p^{ķ} q^{ñ - ķ} = \frac{ñ ！}{ķ ！ （ ñ - ķ ） ！} p^{ķ} q^{ñ - ķ}

$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$

置信区间的概念是结合一组模型参数的可能值（在这里，成功的概率），这样我们就可以使概率（当然，频率论）关于真实参数值是否在此区间内的语句（即，如果我们重复进行10或20次试验的概率实验，并以指定的方式构建置信区间，则会观察到参数的真实值在95％的时间间隔内。 $p$

在这种情况下，我们可以在该公式中求解： $p$

p_{ñ ， 0} = （ 1个 - p ）^{ñ}

$p_{n,0}=(1-p)^n$

因此，如果我们想要一个95％的单边间隔，我们可以设置来解决观察到的零计数最多为5％的可能性。对于，答案为（即，在极端情况下，如果每个试验中成功的概率为13.9％，那么观察到零成功的概率为5％）。对于，答案是。因此，从的样本中，我们比从的样本中学到的更多，因为我们可以``排除''的样本的范围仍然显得合理。 $p_{n,0}=5\%$ $n=20$ $[0\%,13.9\%]$ $n=10$ $[0\%,25.9\%]$ $n=20$ $n=10$ $[13.9\%,25.9\%]$ $n=10$

— 斯塔克
source

0

贝叶斯方法

令是具有参数的一系列IID Bernoulli随机变量。 $X_i$ $i=1,\ldots n$ $p$
让我们通过假设参数遵循具有超参数和的Beta分布来表示参数的不确定性。 $p$ $\alpha$ $\beta$

所述似然函数是伯努利和Beta分布是一个共轭之前的贝努利分布，因此，后跟随Beta分布。此外，后验参数为：

\hat{α} = α + \sum_{一世 = 1个}^{ñ} X_{一世} \hat{β} = β + ñ - \sum_{一世 = 1个}^{ñ} X_{一世}

$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$

所以：

\begin{aligned} Ë [p ∣ X_{1个} ， \dots ， X_{ñ}] & = \frac{\hat{α}}{\hat{α} + \hat{β}} \\ = \frac{α + \sum_{一世 = 1个}^{ñ} X_{一世}}{α + β + ñ} \end{aligned}

$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$

因此，如果看到10个失败，则对的期望为，如果看到20个失败，则对的期望为。您看到的失败次数越多，对的期望就越低。 $p$ $\frac{\alpha}{\alpha + \beta + 10}$ $p$ $\frac{\alpha}{\alpha + \beta + 20}$ $p$

这是合理的论据吗？这取决于您对贝叶斯统计的看法，是否愿意使用概率机制对某些参数不确定性建模。这取决于您对先验的选择是否合理。 $p$

— 马修·冈恩
source