如何获得百分位数的置信区间？

我有一堆原始数据值，它们是美元金额，我想为该数据的百分位数找到一个置信区间。有这样一个置信区间的公式吗？

confidence-interval quantiles tolerance-interval

— 图
source

Answers:

这个涵盖了一般情况的问题，应该得到一个简单的，非近似的答案。幸运的是，有一个。

假设 $X_1, \ldots, X_n$ 是来自未知分布的独立值，该分布的分位数I将写为。这意味着每个都有（至少）小于或等于。因此，小于或等于的数具有二项式分布。 $F$ $q^\text{th}$ $F^{-1}(q)$ $X_i$ $q$ $F^{-1}(q)$ $X_i$ $F^{-1}(q)$ $(n,q)$

由于这种简单的考虑，Gerald Hahn和William Meeker在他们的统计间隔手册（Wiley 1991）中写道

获得的两面无分布保守置信区间... ... $100(1-\alpha)\%$ $F^{-1}(q)$ $[X_{(l)}, X_{(u)}]$

其中是样本的顺序统计信息。他们继续说 $X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$

可以选择一个整数围绕对称（或几乎对称），并根据的要求尽可能地靠近 $0 \le l \le u \le n$ $q(n+1)$
$\begin{matrix} (1) & B (u - 1; n, q) - B (l - 1; n, q) \geq 1 - α . \end{matrix}$ $B(u-1;n,q) - B(l-1;n,q) \ge 1-\alpha.\tag{1}$

左边的表达式是二项式变量具有值。显然，这是落入分布的较低内的数据值的数量既不会太小（小于）也不会太大（或更大）的机会。 $(n,q)$ $\{l, l+1, \ldots, u-1\}$ $X_i$ $100q\%$ $l$ $u$

汉恩（Hahn）和米克尔（Meeker）在其后发表一些有用的言论，我将引用这些言论。

前面的间隔是保守的，因为等式左侧给出的实际置信度大于指定值。... $(1)$ $1-\alpha$

有时不可能构造至少具有所需置信度的无分布统计间隔。当从小样本估计分布尾部的百分位数时，此问题尤其严重。...在某些情况下，分析人员可以通过非对称选择和解决此问题。另一种选择是使用降低的置信度。 $l$ $u$

让我们来看一个示例（也由Hahn＆Meeker提供）。他们提供了一组有序的 “化学过程中的化合物测量值”，并要求百分位数的置信区间为。他们声称且将起作用。 $n=100$ $100(1-\alpha)=95\%$ $q=0.90$ $l=85$ $u=97$

如图中蓝色条所示，此间隔的总概率为：通过选择两个截止点并消除所有机会，可以尽可能接近。左尾巴和右尾巴超出了这些界限。 $95.3\%$ $95\%$

这是数据，按顺序显示，从中间遗漏了个值： $81$

\begin{matrix} 1.49 & 1.66 & 2.05 & \dots & 24.33 & 24.72 & 25.46 & 25.67 & 25.77 & 26.64 \\ 28.28 & 28.28 & 29.07 & 29.16 & 31.14 & 31.83 & 33.24 & 37.32 & 53.43 & 58.11 \end{matrix}

$\matrix{ 1.49&1.66&2.05&\ldots&\mathbf {24.33}&24.72&25.46&25.67&25.77&26.64\\ 28.28&28.28&29.07&29.16&31.14&31.83&\mathbf{33.24}&37.32&53.43&58.11}$

在最大的是和最大的是。因此，间隔为。 $85^\text{th}$ $24.33$ $97^\text{th}$ $33.24$ $[24.33, 33.24]$

让我们重新解释一下。假定此过程至少有机会覆盖的。如果该百分位数实际上超过了，则意味着我们将在样本中个小于百分位数的值中观察到或更多。 太多了 如果该百分位数小于，则意味着我们将在样本中观察到或更少的低于％值的值。 太少了。 $95\%$ $90^\text{th}$ $33.24$ $97$ $100$ $90^\text{th}$ $24.33$ $84$ $90^\text{th}$ 在这两种情况下（正好如图中的红色条所示），都将证明此间隔内的百分位数是正确的。 $90^\text{th}$

找到和最佳选择的一种方法是根据需要进行搜索。这是一种从对称近似间隔开始，然后通过将和最多变化进行搜索的方法，以找到具有良好覆盖率的间隔（如果可能）。用代码说明。它被设置为检查前面示例中的coverage是否为正态分布。它的输出是 $l$ $u$ $l$ $u$ $2$ R

模拟平均覆盖率为0.9503；预期覆盖率为0.9523

模拟与期望之间的一致性非常好。

#
# Near-symmetric distribution-free confidence interval for a quantile `q`.
# Returns indexes into the order statistics.
#
quantile.CI <- function(n, q, alpha=0.05) {
  #
  # Search over a small range of upper and lower order statistics for the 
  # closest coverage to 1-alpha (but not less than it, if possible).
  #
  u <- qbinom(1-alpha/2, n, q) + (-2:2) + 1
  l <- qbinom(alpha/2, n, q) + (-2:2)
  u[u > n] <- Inf
  l[l < 0] <- -Inf
  coverage <- outer(l, u, function(a,b) pbinom(b-1,n,q) - pbinom(a-1,n,q))
  if (max(coverage) < 1-alpha) i <- which(coverage==max(coverage)) else
    i <- which(coverage == min(coverage[coverage >= 1-alpha]))
  i <- i[1]
  #
  # Return the order statistics and the actual coverage.
  #
  u <- rep(u, each=5)[i]
  l <- rep(l, 5)[i]
  return(list(Interval=c(l,u), Coverage=coverage[i]))
}
#
# Example: test coverage via simulation.
#
n <- 100      # Sample size
q <- 0.90     # Percentile
#
# You only have to compute the order statistics once for any given (n,q).
#
lu <- quantile.CI(n, q)$Interval
#
# Generate many random samples from a known distribution and compute 
# CIs from those samples.
#
set.seed(17)
n.sim <- 1e4
index <- function(x, i) ifelse(i==Inf, Inf, ifelse(i==-Inf, -Inf, x[i]))
sim <- replicate(n.sim, index(sort(rnorm(n)), lu))
#
# Compute the proportion of those intervals that cover the percentile.
#
F.q <- qnorm(q)
covers <- sim[1, ] <= F.q & F.q <= sim[2, ]
#
# Report the result.
#
message("Simulation mean coverage was ", signif(mean(covers), 4), 
        "; expected coverage is ", signif(quantile.CI(n,q)$Coverage, 4))

— ub
source

派生

F_X给出了随机变量的 -quantile（比百分位数更普遍的概念。样本对应物可以写为 -这只是样本分位数。我们对以下产品的分布感兴趣： $\tau$ $q_\tau$ $X$ $F_X^{-1}(\tau)$ $\hat{q}_\tau = \hat{F}^{-1}(\tau)$

$\sqrt{n}(\hat{q}_\tau - q_\tau)$

首先，我们需要经验CDF的渐近分布。

由于，因此可以使用中心极限定理。是一个beronulli随机变量，因此均值是且方差是。 $\hat{F}(x) = \frac{1}{n} \sum 1\{X_i < x\}$ $1\{X_i < x\}$ $P(X_i < x) = F(x)$ $F(x)(1-F(x))$

$\sqrt{n}(\hat{F}(x) - F(x)) \rightarrow N(0, F(x)(1-F(x))) \qquad (1)$

现在，由于逆函数是一个连续函数，因此我们可以使用delta方法。

[** delta方法表示，如果和是连续函数，则 **] $\sqrt{n}(\overline{y} - \mu_y) \rightarrow N(0,\sigma^2)$ $g(\cdot)$ $\sqrt{n}(g(\overline{y}) - g(\mu_y)) \rightarrow N(0, \sigma^2 (g'(\mu_y))^2)$

在（1）的左侧，取，然后 $x=q_\tau$ $g(\cdot) = F^{-1}(\cdot)$

$\sqrt{n}(F^{-1}(\hat{F}(q_\tau)) - F^{-1}(F(q_\tau))) = \sqrt{n}(\hat{q}_\tau - q_\tau)$

[**请注意，由于，但如果要显示**，则它们在渐近性上相等] $F^{-1}(\hat{F}(q_\tau)) \neq \hat{F}^{-1}(\hat{F}(q_\tau)) = \hat{q}_\tau$

现在，应用上面提到的增量方法。

由于（反函数定理） $\frac{\textrm{d}}{\textrm{d}x} F^{-1}(x) = \frac{1}{f(F^{-1}(x))}$

$\sqrt{n}(\hat{q}_\tau - q_\tau) \rightarrow N\left(0, \frac{F(q_\tau)(1-F(q_\tau))}{f(F^{-1}(F(q_\tau)))^2}\right) = N\left(0, \frac{F(q_\tau)(1-F(q_\tau))}{f(q_\tau)^2}\right)$

然后，要构建置信区间，我们需要通过在上述方差中插入每个术语的样本对应项来计算标准误：

结果

因此 $se(\hat{q}_\tau) = \sqrt{\frac{\hat{F}(\hat{q}_\tau)(1-\hat{F}(\hat{q}_\tau))}{n \hat{f}(\hat{q}_\tau)^2}} =$ $\sqrt{\frac{\tau (1 - \tau)}{n \hat{f}(\hat{q}_\tau)^2}}$

并且 $CI_{0.95}(\hat{q}_\tau) = \hat{q}_\tau \pm 1.96 se(\hat{q}_\tau)$

这将需要您估计的密度，但这应该非常简单。另外，您也可以很轻松地引导CI。 $X$

— bmciv
source

您能否使用链接文章中的内容来扩展答案？链接可能永远无法工作，然后此答案将变得不那么有用了

— Andy

与基于二项式分布的自由分布ci相比，基于密度估计的渐近结果有什么优势？

— Michael M

这仍然基于您最初链接的文章吗？

— 尼克·斯汤纳

是的，我应该重新添加该链接吗？我认为这是一个众所周知的结果。我以前在课堂上看过它，通过Google很难找到它。在这种情况下，是链接到它还是键入它，还是两者都更好？

— bmciv 2014年

我会说两遍，如果为了正确的归因而将其完全引出/引用于此，则应该重新编辑它。否则，是否编辑它可能无关紧要，但是总的来说，Stack Exchange策略是不鼓励仅链接的回答，以避免链接腐烂，并且从原则上讲（想法是成为一个独立的存储库，而不是链接索引–我不确定这种情况有多少比想象中的“滑坡”还大。

— 尼克·斯汤纳