通过采样直到10次失败来估计伯努利过程中的概率：是否有偏差？

假设我们有一个故障概率为的伯努利过程（该概率很小，例如），从中进行采样直到遇到故障。因此，我们将失败概率估计为，其中是样本数。q ≤ 0.01 10 q：= 10 / Ñ $q$$q \leq 0.01$$10$$\hat{q}:=10/N$$N$

问题：是否对有偏差？而且，如果是这样，有没有办法纠正它？$\hat{q}$$q$

我担心坚持最后一个样本是一次失败会使估计值产生偏差。

这是事实，q是一个偏估计q在这个意义上Ë （q）≠ q，但你不一定让这种阻止你。这种确切的情况可以用作对我们应该始终使用无偏估计量的观点的批评，因为在这里，偏见更多地是我们碰巧要进行的特定实验的产物。如果我们事先选择了样本数量，则数据看起来将与原始数据完全一样，那么为什么我们的推论会发生变化？$\hat{q}$$q$$\text{E}(\hat{q}) \neq q$

有趣的是，如果您要以这种方式收集数据，然后在二项式（固定样本大小）模型和负二项式模型下写下似然函数，您会发现两者是成比例的。这意味着q只是负二项式模型，这当然是一个完全合理的估计下的普通最大似然估计。$\hat{q}$

并非坚持认为最后一个样本是使估计有偏差的失败，而是取N的倒数$N$

所以 在您的示例中为 q，但 E[$\mathbb{E}\left[\frac{N}{10}\right] =\frac{1}{q}$。这接近将算术平均值与谐波平均值进行比较$\mathbb{E}\left[\frac{10}{N}\right] \not = q$

坏消息是，随着变小，偏差可能增加，但是一旦q已经变小，偏差就不会增加很多。好消息是，随着所需失败次数的增加，偏差会减少。看来，如果您需要f个失败，则偏差会在上面乘以f的乘数$q$$q$$f$对于小q f − 1 ; 在第一次失败后停止时，您不希望使用此方法 $\frac{f}{f-1}$$q$

失败后停止，q = 0.01时将得到E [ $10$$q=0.01$但 E[$\mathbb{E}\left[\frac{N}{10}\right] = 100$，而与q=0.001，你会得到è[$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.011097$$q=0.001$但 E[$\mathbb{E}\left[\frac{N}{10}\right] = 1000$。偏差约为$\mathbb{E}\left[\frac{10}{N}\right] \approx 0.001111$乘数 $\frac{10}{9}$

为补充dsaxton的回答，这里有作为R一些模拟表示的抽样分布q时ķ = 10和q 0 = 0.02：$\hat{q}$$k=10$$q_0 = 0.02$

n_replications <- 10000
k <- 10
failure_prob <- 0.02
n_trials <- k + rnbinom(n_replications, size=k, prob=failure_prob)
all(n_trials >= k)  # Sanity check, cannot have 10 failures in < 10 trials

estimated_failure_probability <- k / n_trials
histogram_breaks <- seq(0, max(estimated_failure_probability) + 0.001, 0.001)
## png("estimated_failure_probability.png")
hist(estimated_failure_probability, breaks=histogram_breaks)
abline(v=failure_prob, col="red", lty=2, lwd=2)  # True failure probability in red
## dev.off()

mean(estimated_failure_probability)  # Around 0.022
sd(estimated_failure_probability)
t.test(x=estimated_failure_probability, mu=failure_prob)  # Interval around [0.0220, 0.0223]

它看起来像，这是相对于在可变性相当小的偏差q。$\mathbb{E}\left[ \hat{q}\right] \approx 0.022$$\hat{q}$