如何通过对数据框中的列进行排序来快速形成组(四分位数,十进制等)


75

我看到很多的问题和答案再ordersort。有什么东西可以将向量或数据帧分类为分组(如四分位数或十分位数)?我有一个“手动”解决方案,但可能有一个经过小组测试的更好的解决方案。

这是我的尝试:

temp <- data.frame(name=letters[1:12], value=rnorm(12), quartile=rep(NA, 12))
temp
#    name       value quartile
# 1     a  2.55118169       NA
# 2     b  0.79755259       NA
# 3     c  0.16918905       NA
# 4     d  1.73359245       NA
# 5     e  0.41027113       NA
# 6     f  0.73012966       NA
# 7     g -1.35901658       NA
# 8     h -0.80591167       NA
# 9     i  0.48966739       NA
# 10    j  0.88856758       NA
# 11    k  0.05146856       NA
# 12    l -0.12310229       NA
temp.sorted <- temp[order(temp$value), ]
temp.sorted$quartile <- rep(1:4, each=12/4)
temp <- temp.sorted[order(as.numeric(rownames(temp.sorted))), ]
temp
#    name       value quartile
# 1     a  2.55118169        4
# 2     b  0.79755259        3
# 3     c  0.16918905        2
# 4     d  1.73359245        4
# 5     e  0.41027113        2
# 6     f  0.73012966        3
# 7     g -1.35901658        1
# 8     h -0.80591167        1
# 9     i  0.48966739        3
# 10    j  0.88856758        4
# 11    k  0.05146856        2
# 12    l -0.12310229        1

是否有更好的(更清洁/更快/单线)方法?谢谢!

Answers:


81

我使用的方法是以下之一Hmisc::cut2(value, g=4)

temp$quartile <- with(temp, cut(value, 
                                breaks=quantile(value, probs=seq(0,1, by=0.25), na.rm=TRUE), 
                                include.lowest=TRUE))

替代方法可能是:

temp$quartile <- with(temp, factor(
                            findInterval( val, c(-Inf,
                               quantile(val, probs=c(0.25, .5, .75)), Inf) , na.rm=TRUE), 
                            labels=c("Q1","Q2","Q3","Q4")
      ))

第一个具有用值标记四分位数的副作用,我认为这是“好事”,但是如果它不“对您有好处”,或者注释中提出的有效问题是您可以考虑的问题,版本2。您可以labels=在中使用cut,也可以在代码中添加以下行:

temp$quartile <- factor(temp$quartile, levels=c("1","2","3","4") )

甚至更快但更模糊的工作方式,尽管它不再是一个因素,而是一个数值向量:

temp$quartile <- as.numeric(temp$quartile)

12
cut()具有labels可以使用的参数,因此您不需要该factor()行-只需添加第一行labels = 1:4cut()调用即可。
加文·辛普森

3
Hmisc程序包还具有一个带有“ m”参数的cut2函数,该函数将切成“ m”个(大致)相等的部分。
IRTFM

1
我想补充一下这个错误:如果您为包含重复项的时间序列计算分位数,可能会发生“断裂”不是唯一的情况,因为例如最低分位数(0%)可能等于下一个较高的分位数(10 %)。findInterval如上所述,在这种情况下似乎更好
user3032689 2015年

@ 42-您能否对NA的十分位数和数据提出相同的建议。
Aquarius

对于十分位数使用probs=c((0:9)/10), Inf)使用findInterval或probs=seq(0,1, by=0.1))进行切割。这两个函数的一个重要区别是,默认情况下,时间间隔在左侧findInterval关闭,在右侧关闭cut。关于NA的好点;像sum或main或max,可能应该为添加na.rm = TRUE quantile
IRTFM

87

ntilepackage中有一个方便的功能dplyr。从某种意义上说,它很灵活,您可以非常轻松地定义要创建的* tile或“ bins”的数量。

加载软件包(如果没有,请先安装)并添加四分位数列:

library(dplyr)
temp$quartile <- ntile(temp$value, 4)  

或者,如果您想使用dplyr语法:

temp <- temp %>% mutate(quartile = ntile(value, 4))

两种情况下的结果均为:

temp
#   name       value quartile
#1     a -0.56047565        1
#2     b -0.23017749        2
#3     c  1.55870831        4
#4     d  0.07050839        2
#5     e  0.12928774        3
#6     f  1.71506499        4
#7     g  0.46091621        3
#8     h -1.26506123        1
#9     i -0.68685285        1
#10    j -0.44566197        2
#11    k  1.22408180        4
#12    l  0.35981383        3

数据:

请注意,您无需预先创建“四分位数”列,set.seed即可用于使随机化可重现:

set.seed(123)
temp <- data.frame(name=letters[1:12], value=rnorm(12))

一个不错的选择,但是您的答案是缺少所用断点的信息ntile(包括最低,最高,平局)
EDC 2015年

2
那应该解决端点的问题,或者? temp <- temp %>% mutate(quartile = cut(x = ntile(value, 100), breaks = seq(25,100,25) , include.lowest = TRUE, right = FALSE , labels = FALSE))
hannes101

20

我将为data.table其他使用谷歌搜索功能的人添加该版本(即,@ BondedDust的解决方案已翻译data.table并削减了一点):

library(data.table)
setDT(temp)
temp[ , quartile := cut(value,
                        breaks = quantile(value, probs = 0:4/4),
                        labels = 1:4, right = FALSE)]

这比我一直做的更好(更干净,更快):

temp[ , quartile := 
        as.factor(ifelse(value < quantile(value, .25), 1,
                         ifelse(value < quantile(value, .5), 2,
                                ifelse(value < quantile(value, .75), 3, 4))]

但是请注意,这种方法要求分位数是不同的,例如,它将失败rep(0:1, c(100, 1));在这种情况下该做什么是开放式的,所以我留给您决定。


2
顺便说一下,data.table版本是最快的方法。谢谢@MichaelChirico。
rafa.pereira 2015年

1
我认为这right = F是不正确的。不仅不对最大值进行分组,而且还说您的数据是1:21,中位数是11,但是分组为.75组。
00schneider

8

您可以使用该quantile()函数,但使用时需要处理舍入/精度cut()。所以

set.seed(123)
temp <- data.frame(name=letters[1:12], value=rnorm(12), quartile=rep(NA, 12))
brks <- with(temp, quantile(value, probs = c(0, 0.25, 0.5, 0.75, 1)))
temp <- within(temp, quartile <- cut(value, breaks = brks, labels = 1:4, 
                                     include.lowest = TRUE))

给予:

> head(temp)
  name       value quartile
1    a -0.56047565        1
2    b -0.23017749        2
3    c  1.55870831        4
4    d  0.07050839        2
5    e  0.12928774        3
6    f  1.71506499        4

5

对不起,晚了一点。我想添加一个衬板,cut2因为我不知道数据的最大/最小值,并且希望组的大小相同。我在一个被标记为重复的问题中阅读了关于cut2的信息(下面的链接)。

library(Hmisc)   #For cut2
set.seed(123)    #To keep answers below identical to my random run

temp <- data.frame(name=letters[1:12], value=rnorm(12), quartile=rep(NA, 12))

temp$quartile <- as.numeric(cut2(temp$value, g=4))   #as.numeric to number the factors
temp$quartileBounds <- cut2(temp$value, g=4)

temp

结果:

> temp
   name       value quartile  quartileBounds
1     a -0.56047565        1 [-1.265,-0.446)
2     b -0.23017749        2 [-0.446, 0.129)
3     c  1.55870831        4 [ 1.224, 1.715]
4     d  0.07050839        2 [-0.446, 0.129)
5     e  0.12928774        3 [ 0.129, 1.224)
6     f  1.71506499        4 [ 1.224, 1.715]
7     g  0.46091621        3 [ 0.129, 1.224)
8     h -1.26506123        1 [-1.265,-0.446)
9     i -0.68685285        1 [-1.265,-0.446)
10    j -0.44566197        2 [-0.446, 0.129)
11    k  1.22408180        4 [ 1.224, 1.715]
12    l  0.35981383        3 [ 0.129, 1.224)

我详细阅读过关于cut2的类似问题


5

适应dplyr::ntile以利用data.table优化可以提供更快的解决方案。

library(data.table)
setDT(temp)
temp[order(value) , quartile := floor( 1 + 4 * (.I-1) / .N)]

可能不符合清洁标准,但速度更快且只有一行。

计时更大的数据集

比较这一解决方案ntile,并cutdata.table所提议的@docendo_discimus和@MichaelChirico。

library(microbenchmark)
library(dplyr)

set.seed(123)

n <- 1e6
temp <- data.frame(name=sample(letters, size=n, replace=TRUE), value=rnorm(n))
setDT(temp)

microbenchmark(
    "ntile" = temp[, quartile_ntile := ntile(value, 4)],
    "cut" = temp[, quartile_cut := cut(value,
                                       breaks = quantile(value, probs = seq(0, 1, by=1/4)),
                                       labels = 1:4, right=FALSE)],
    "dt_ntile" = temp[order(value), quartile_ntile_dt := floor( 1 + 4 * (.I-1)/.N)]
)

给出:

Unit: milliseconds
     expr      min       lq     mean   median       uq      max neval
    ntile 608.1126 647.4994 670.3160 686.5103 691.4846 712.4267   100
      cut 369.5391 373.3457 375.0913 374.3107 376.5512 385.8142   100
 dt_ntile 117.5736 119.5802 124.5397 120.5043 124.5902 145.7894   100

0
temp$quartile <- ceiling(sapply(temp$value,function(x) sum(x-temp$value>=0))/(length(temp$value)/4))

0

我想提出一个似乎更健壮的版本,因为在数据集quantile()的breaks选项中使用时遇到了很多问题cut()。我正在使用的ntile功能plyr,但它也可以ecdf用作输入。

temp[, `:=`(quartile = .bincode(x = ntile(value, 100), breaks = seq(0,100,25), right = TRUE, include.lowest = TRUE)
            decile = .bincode(x = ntile(value, 100), breaks = seq(0,100,10), right = TRUE, include.lowest = TRUE)
)]

temp[, `:=`(quartile = .bincode(x = ecdf(value)(value), breaks = seq(0,1,0.25), right = TRUE, include.lowest = TRUE)
            decile = .bincode(x = ecdf(value)(value), breaks = seq(0,1,0.1), right = TRUE, include.lowest = TRUE)
)]

那是对的吗?


0

试试这个功能

getQuantileGroupNum <- function(vec, group_num, decreasing=FALSE) {
  if(decreasing) {
    abs(cut(vec, quantile(vec, probs=seq(0, 1, 1 / group_num), type=8, na.rm=TRUE), labels=FALSE, include.lowest=T) - group_num - 1)
  } else {
    cut(vec, quantile(vec, probs=seq(0, 1, 1 / group_num), type=8, na.rm=TRUE), labels=FALSE, include.lowest=T)
  }
}
> t1 <- runif(7)
> t1
[1] 0.4336094 0.2842928 0.5578876 0.2678694 0.6495285 0.3706474 0.5976223
> getQuantileGroupNum(t1, 4)
[1] 2 1 3 1 4 2 4
> getQuantileGroupNum(t1, 4, decreasing=T)
[1] 3 4 2 4 1 3 1

-1

可能有一种更快的方法,但我会这样做:

a <- rnorm(100) # Our data
q <- quantile(a) # You can supply your own breaks, see ?quantile

# Define a simple function that checks in which quantile a number falls
getQuant <- function(x)
   {
   for (i in 1:(length(q)-1))
       {
       if (x>=q[i] && x<q[i+1])
          break;
       }
   i
   }

# Apply the function to the data
res <- unlist(lapply(as.matrix(a), getQuant))
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.