计算第95个百分位数：比较正态分布，R Quantile和Excel方法

我试图在以下数据集中计算第95个百分位数。我遇到了一些这样做的在线参考。

方法1：基于样本数据

在第一个告诉我获得TOP 95 Percent的数据集，然后选择MIN或AVG生成的一组。对以下数据集执行此操作即可得到：

AVG: 29162
MIN: 0

方法2：假设正态分布

所述第二个说，第95百分位是平均约两个标准差以上（我明白）和I进行的：

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

方法3：R Quantile

我曾经R获得第95个百分位：

> quantile(data$V1, 0.95)
79515.2

方法4：Excel的方法

最后，我遇到了这个，它解释了Excel是如何做到的。该方法的摘要如下：

给定一组N有序值{v[1], v[2], ...}和要求计算pth百分位数，请执行以下操作：

计算 l = p(N-1) + 1
拆分l成整数和小数成分即l = k + d
将所需值计算为 V = v[k] + d(v[k+1] - v[k])

这种方法给我 79515.2

尽管我相信R的值是正确的值，但没有一个值匹配（我也从ecdf图中观察到了它）。我的目标是从给定的数据集中手动计算第95个百分位数（仅使用AVG和STDEV函数），并且不确定是否会发生什么。有人可以告诉我我要去哪里错吗？

r dataset quantiles sql

— 传说
source

您的第一种方法需要重写：在这种情况下，它可以是“取值的前5％并找到最小值”，在这种情况下为79586，或“取值的下95％并取最大值”。 79535.

— Henry

我认为第一种方法是完全错误的，与第95个百分位数无关。

第二种方法似乎基于这样一个假设：数据是正态分布的，但是它应该比平均值高1.645个标准偏差，而不是2个标准偏差，并且您似乎已经意识到了这一点。如果数据不是正态分布的，那么这种方法是不好的。

如果要自己计算出第95个百分位数，请按从小到大的顺序排列数字，并找到一个值，使95％的数据低于该值。R可能在数据点之间使用某种插值。一个简单的近似值可能是sort(data$V1)[0.95*length(data$V1)]。

在@Macro发表评论后编辑。

— 马克999
source

您的解决方案需要data$V1预先排序。一般而言，，sort(data$V1)[.95*length(data$V1)]将是您想要的近似值。但是，如果.95*length(data$V1)不是整数，则在索引时会将其舍入到最接近的整数sort(data$V1)，因此在这种情况下，这种近似总是会低估。

— 宏

谢谢你的评论。我知道低估的原因，这就是为什么我称其为简单近似，但是却忘记了包括排序在内的原因。我将编辑答案。

— mark999 2011年

以下是补充@ mark999答案的几点。

维基百科上有一篇关于百分位数的文章，其中指出不存在百分位数的标准定义。但是，讨论了几个公式。
克劳福德，J。Garthwaite，P.＆Slick，D.关于神经心理学的百分位数规范：拟议的报告标准和量化测试分数百分位数等级的不确定性的方法临床神经心理学家，心理学出版社，2009年，第23页，1173-1195年（FREE PDF）讨论在心理学规范环境中计算百分位。

以下内容探讨了R中的一些内容：

获取数据并检查R分位数功能

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) 显示R具有九种不同的分位数估计算法。
另一个输出显示9种算法的估计值，以及小于或等于估计值（即所有值均接近95％）的数据比例。

与假设正态分布比较

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

根据样本均值和标准偏差，对于正态分布的第95个百分位数估计出非常不同的值。
估计值约为样本数据的84％。
下图显示数据显然不是正态分布的，因此基于假设正态性的估计将有很长的路要走。

绘图（密度（x））

在此处输入图片说明

— 杰罗米·安格利姆
source

提供了一个很好的答案。我只想补充一点，在我看来，在大多数情况下，这9个估计值之间的差异很小，以至于影响很小。

— 彼得·弗洛姆

在维基百科的文章位数比百分位数的一个更好

— 亨利

这里有些错误，因为R应该给出介于75500和75600之间的数字。1345的某些值是否丢失了吗？

— 亨利

@亨利为此。为了尽量减少问题输入所显示的行数，我仅将c（...）命令放在几行上。结果，我想我遇到了某种形式的命令行长度限制，该限制正在切断某些数据。我以前从未见过此问题，因为通常我会将这些数据放在单独的文件中。我已经更新了脚本和输出，以使c（...）命令现在跨越120行；参见gist gist.github.com/1102127

— Jeromy Anglim

+1感谢您提供其他信息。就在您发布此内容时，出于好奇，我正在使用QQ图查看分布情况，并得出了相同的结论。感谢您的时间。

— 传说