二项式置信区间估计-为什么不对称？

30

我已经使用以下r代码来估计二项式比例的置信区间，因为我知道在设计着眼于人群疾病检测的接收器工作特性曲线设计时，它可以替代“功效计算”。

n为150，我们相信这种疾病在人群中的流行率为25％。我已经计算出75％的敏感性和90％的特异性的值（因为这似乎是人们所做的）。

    binom.test(c(29,9), p=0.75, alternative=c("t"), conf.level=0.95)

    binom.test(c(100, 12), p=0.90, alternative=c("t"), conf.level=0.95)

我还访问了该站点：

http://statpages.org/confint.html

这是一个计算二项式置信区间的Java页面，并且给出相同的答案。

无论如何，经过漫长的设置之后，我想问一下为什么置信区间不是对称的，例如灵敏度是

   95 percent confidence interval:
   0.5975876 0.8855583 

   sample estimate probability: 0.7631579

抱歉，如果这是一个愚蠢的问题，但我看起来似乎到处都暗示它们将是对称的，而我的一位同事似乎也认为它们也会如此。

confidence-interval binomial

— 克里斯·比利
source

20

人们认为它们是对称的，因为经常使用法线近似。如果p处于0.5左右，则此效果很好。binom.test另一方面，报告的“精确” Clopper-Pearson间隔基于F分布（有关这两种方法的确切公式，请参见此处）。如果我们要在R中实现Clopper-Pearson间隔，则将类似于（参见注释）：

Clopper.Pearson <- function(x, n, conf.level){
    alpha <- (1 - conf.level) / 2
    QF.l <- qf(1 - alpha, 2*n - 2*x + 2, 2*x)
    QF.u <- qf(1 - alpha, 2*x + 2, 2*n - 2*x)

    ll <- if (x == 0){
          0
    } else { x / ( x + (n-x+1)*QF.l ) }

    uu <- if (x == 0){
          0
    } else { (x+1)*QF.u / ( n - x + (x+1)*QF.u ) }

    return(c(ll, uu))
}

您可以在链接和实现中看到上限和下限的公式完全不同。对称置信区间的唯一情况是p = 0.5时。使用链接中的公式，并考虑到在这种情况下，，很容易得出自己的来历。 $n = 2\times x$

我个人认为，最好是基于逻辑方法来研究置信区间。通常使用logit链接函数对二项式数据进行建模，定义为：

l o g i t (x) = \log (\frac{x}{1 - x})

${\rm logit}(x) = \log\! \bigg( \frac{x}{1-x} \bigg)$

此链接函数将逻辑回归中的错误项“映射”到正态分布。结果，逻辑框架中的置信区间围绕logit值对称，这与经典线性回归框架中的情形非常相似。logit转换正好用于围绕线性回归使用整个基于正态性的理论。

经过逆变换后：

{l o g i t}^{- 1} (x) = \frac{e^{x}}{1 + e^{x}}

${\rm logit}^{-1}(x) = \frac{e^x}{1+e^{x}}$

您再次得到一个不对称的间隔。现在，这些置信区间实际上是有偏差的。它们的覆盖范围不是您期望的，特别是在二项式分布的边界。然而，作为说明，他们向您展示了为什么二项式分布具有不对称置信区间是逻辑的。

R中的一个例子：

logit <- function(x){ log(x/(1-x)) }
inv.logit <- function(x){ exp(x)/(1+exp(x)) }
x <- c(0.2, 0.5, 0.8)
lx <- logit(x)
upper <- lx + 2
lower <- lx - 2

logxtab <- cbind(lx, upper, lower)
logxtab # the confidence intervals are symmetric by construction
xtab <- inv.logit(logxtab)
xtab # back transformation gives asymmetric confidence intervals

注意：实际上，R使用beta分布，但这是完全等效的，并且计算效率更高。因此，R中的实现与我在此处所示的实现不同，但是它给出的结果完全相同。

— 乔里斯·梅斯（Joris Meys）
source

2

您真的是说logit“将二项式分布转换为正态分布”吗？

— ub

@whuber：公式的妙用，公式的妙用。几乎没有。它可以确保逻辑回归中的误差遵循正态分布。Thx进行更正。

— Joris Meys

只是简要的技术说明，“ arcsine”转换是一种比对数转换更快地收敛于正态性的转换。设置（其中是“成功”数，是试验数），可以显示所谓的“德尔塔法”，其中的方差近似恒定（并且独立于，因为它应该在正态分布中）。

Y = \frac{2}{π} \arcsin \sqrt{\frac{X}{N}}

$Y=\frac{2}{\pi}\arcsin{\sqrt{\frac{X}{N}}}$

X

$X$

N

$N$

Y

$Y$

Y

$Y$

— 概率

您提供的“确切概率”链接已断开。你还有另一个吗？

— S. Kolassa-恢复莫妮卡2015年

：@StephanKolassa您可以找到Clopper皮尔森公式在这里也en.wikipedia.org/wiki/...

— 里斯Meys

24

要了解为什么它不应该是对称的，请考虑的情况，您在10次试验中获得9次成功。然后和用于95％CI是[0.554，0.997]。上限显然不能大于1，因此大多数不确定性必须落在的左侧。 $p=0.9$ $\hat{p}=0.9$ $p$ $\hat{p}$

— 罗伯·海德曼
source

9

@Joris提到了对称或“渐近”间隔，这很可能是您所期望的间隔。@Joris还提到了“精确”的Clopper-Pearson间隔，并给了您一个很好的参考。您可能会遇到的比例还有另一个置信区间（请注意，它也不是对称的），“ Wilson”区间是一种基于倒分测试的渐近区间。区间的端点求解（在）方程 $p$

(\hat{p} - p) / \sqrt{p (1 - p)} = \pm z_{α / 2}

$(\hat{p} - p)/\sqrt{p(1-p)}=\pm z_{\alpha/2}$

无论如何，您可以使用以下命令获得R中的所有三个：

library(Hmisc)
binconf(29, 38, method = "asymptotic")
binconf(29, 38, method = "exact")
binconf(29, 38, method = "wilson")

请注意，方法“ wilson”与prop.test使用的置信区间相同，而没有Yates的连续性校正：

prop.test(29, 38, correct = FALSE)

见这里的伴随Agresti的分类数据分析劳拉·汤普森的免费SPLUS + R手册中的这些问题进行了非常详细的讨论。

1

（+1）很高兴您引用了Laura的教科书，并添加了有关Wilson的CI的补充信息。

— chl 2010年

2

谢谢。我想指出的是，@ Joris引用的文章中讨论了Wilson间隔。

9

这里是对称的置信区间二项分布：不对称是不是强加给我们的，尽管已经提到的所有原因。通常认为对称间隔较差

尽管它们在数值上是对称的，但概率上却不是对称的：也就是说，它们的单尾覆盖率彼此不同。这是二项分布可能不对称的必然结果，是问题的症结所在。
正如@Rob Hyndman指出的那样，通常一个端点必须是不现实的（小于0或大于1）。

话虽如此，我怀疑数值对称CI可能具有某些良好的特性，例如在某些情况下倾向于比概率对称CI短。

— ub
source

关于最后一句话：那么为什么不计算最短的置信区间（其具有相等的密度值而不是相等的间隔宽度或两侧相等的尾部面积）？关于2 .：两边具有相同的宽度并不意味着必须使用（正常）近似值。我要说的是，如果需要将限制扩展到[0，1]之外，则不存在此特定间隔。

\hat{p} = k / n

$\hat p = k/n$

— cbeleites支持Monica

@cb我不遵循。首先，最短的CI不一定在两端具有相同的密度。其次，对“不存在”的评论对我来说毫无意义：“不存在”是什么意思？

— ub

1

最短CI。为了计算给定覆盖范围的最短CI，我将从最大密度开始，然后向密度较高的那一侧扩大一小段距离。在那里，我得到了最大程度的信心（这是很短的一步）。我反复放大ci，直到获得所需的区域（覆盖率）。如果我的步长很小（无穷小），则两侧的密度将是（大约）相同。我在这个策略上犯了错误吗？

— cbeleites支持Monica

不存在：例如5次中有4次成功。要求95％ci是有意义的。但是，如果考虑到我在5次试验中观察到4次成功，我是否计算了真实的概率密度，则尾巴仅为0.35。因此，不是接受例如正态近似称95％CI上升至1.15（这不能作为真正正确二项式试验不能超过1的，我会说具有相等宽度的CI对较低和较高的不只存在置信水平。

p

$p$

\hat{p} = 4 / 5 = 0.8

$\hat p = 4/5 = 0.8$

p

$p$

p

$p$

< 70 %

$< 70 \%$

— cbeleites支持莫妮卡

1

我们在谈论不同的事情吗？二项式分布是离散的，ci为“对于，在94％的重复中，我们在测试中观察到成功”。但是我知道我们要为已经观测到的和估计。例如假定选自测试是成功。所以我说的是，。这不是二项分布而是比例

p = 0.8

$p = 0.8$

k \in {3, 4, 5}

$k \in \{3, 4, 5\}$

n = 5

$n = 5$

p

$p$

n

$n$

k

$k$

p

$p$

k = 4

$k = 4$

n = 5

$n = 5$

P r (p | n = 5, k = 4)

$Pr (p | n = 5, k = 4)$

p \in [0, 1]

$p \in [0, 1]$

P r (k | n, p)

$Pr (k | n, p)$

p

$p$ （我不知道它的名字）。请帮助我了解为什么这种分布没有密度？

— cbeleites支持Monica

6

二项式分布仅仅是不对称的，但这一事实出现特别是对于接近或和用于小 ; 大多数人将其用于，所以很困惑。 $p$ $0$ $1$ $n$ $p\approx 0.5$

— hl
source

2

我知道已经有一段时间了，但是我认为我会在这里报时。给定n和p，直接使用二项式分布来计算特定数量成功的概率很简单。然后，可以检查分布是否不对称。对于大np和大n（1-p），它将接近对称。

可以累积尾巴中的概率来计算特定的CI。给定分布的离散性质，在尾巴中找到特定概率（例如，对于95％CI而言为2.5％）将需要在成功次数之间进行插值。使用这种方法，无需近似即可直接计算CI（所需的插值除外）。

— 埃里克博士
source