对重复实验进行仿真研究的问题解释了95％的置信区间-我在哪里做错了？

我正在尝试编写R脚本来模拟95％置信区间的重复实验解释。我发现它高估了样本的95％CI中包含某个比例的真实总体值的时间比例。差异不大-大约是96％和95％，但这仍然令我感兴趣。

我的函数samp_n从伯努利分布中随机抽取了一个样本pop_p，然后prop.test()使用连续性校正或更精确地使用来计算95％的置信区间binom.test()。如果真实人口比例pop_p包含在95％CI中，则返回1 。我编写了两个函数，一个使用prop.test()，一个使用binom.test()并具有相似的结果：

in_conf_int_normal <- function(pop_p = 0.3, samp_n = 1000, correct = T){
    ## uses normal approximation to calculate confidence interval
    ## returns 1 if the CI contain the pop proportion
    ## returns 0 otherwise
    samp <- rbinom(samp_n, 1, pop_p)
    pt_result <- prop.test(length(which(samp == 1)), samp_n)
    lb <- pt_result$conf.int[1]
        ub <- pt_result$conf.int[2]
    if(pop_p < ub & pop_p > lb){
        return(1)
    } else {
    return(0)
    }
}
in_conf_int_binom <- function(pop_p = 0.3, samp_n = 1000, correct = T){
    ## uses Clopper and Pearson method
    ## returns 1 if the CI contain the pop proportion
    ## returns 0 otherwise
    samp <- rbinom(samp_n, 1, pop_p)
    pt_result <- binom.test(length(which(samp == 1)), samp_n)
    lb <- pt_result$conf.int[1]
        ub <- pt_result$conf.int[2] 
    if(pop_p < ub & pop_p > lb){
        return(1)
    } else {
    return(0)
    }
 }

我发现，当您重复进行数千次实验时，pop_pσ在样本的95％置信区间内的比例接近0.96，而不是0.95。

set.seed(1234)
times = 10000
results <- replicate(times, in_conf_int_binom())
sum(results) / times
[1] 0.9562

到目前为止，我对为什么会这样的想法是

• 我的代码是错误的（但是我已经检查了很多）
• 我最初以为这是由于正常的近似问题，但后来发现 binom.test()

有什么建议么？

你没错。这简直是不可能构建一个二项式比例的置信区间，其始终具有的覆盖面正好 95％，原因是结果的离散性。Clopper-Pearson（“精确”）间隔保证覆盖率至少为 95％。当平均间隔超过真实比例时，其他间隔的平均覆盖率接近95％。

我倾向于偏爱Jeffreys区间，因为它的平均覆盖率接近95％（与Wilson得分区间不同），两条尾巴的覆盖率大致相等。

只需在问题代码中进行很小的更改，我们就可以计算出精确的覆盖范围，而无需进行仿真。

p <- 0.3
n <- 1000

# Normal test
CI <- sapply(0:n, function(m) prop.test(m,n)$conf.int[1:2])
caught.you <- which(CI[1,] <= p & p <= CI[2,])
coverage.pr <- sum(dbinom(caught.you - 1, n, p))

# Clopper-Pearson
CI <- sapply(0:n, function(m) binom.test(m,n)$conf.int[1:2])
caught.you.again <- which(CI[1,] <= p & p <= CI[2,])
coverage.cp <- sum(dbinom(caught.you.again - 1, n, p))

这将产生以下输出。

> coverage.pr
[1] 0.9508569

> coverage.cp
[1] 0.9546087