R中获取由标识符分组的数据帧的第一行的快速方法

有时，我只需要按标识符将数据集的第一行获取，例如当每个人有多个观察值时检索年龄和性别时。在R中最快（或最快）的方法是什么？我在下面使用了aggregate（），并怀疑还有更好的方法。在发布此问题之前，我在Google上进行了一些搜索，发现并尝试了ddply，但感到惊讶的是它运行速度极慢，并给我数据集上的内存错误（400,000行x 16列，7,000个唯一ID），而aggregate（）版本相当快。

(dx <- data.frame(ID = factor(c(1,1,2,2,3,3)), AGE = c(30,30,40,40,35,35), FEM = factor(c(1,1,0,0,1,1))))
# ID AGE FEM
#  1  30   1
#  1  30   1
#  2  40   0
#  2  40   0
#  3  35   1
#  3  35   1
ag <- data.frame(ID=levels(dx$ID))
ag <- merge(ag, aggregate(AGE ~ ID, data=dx, function(x) x[1]), "ID")
ag <- merge(ag, aggregate(FEM ~ ID, data=dx, function(x) x[1]), "ID")
ag
# ID AGE FEM
#  1  30   1
#  2  40   0
#  3  35   1
#same result:
library(plyr)
ddply(.data = dx, .var = c("ID"), .fun = function(x) x[1,])

更新：请参阅Chase的回答和Matt Parker的评论，以获取我认为是最优雅的方法。有关使用该data.table软件包的最快解决方案，请参见@Matthew Dowle的答案。

您的ID列确实是一个因素吗？如果实际上是数字，我认为您可以使用该diff功能以达到自己的优势。您也可以使用将其强制为数字as.numeric()。

dx <- data.frame(
    ID = sort(sample(1:7000, 400000, TRUE))
    , AGE = sample(18:65, 400000, TRUE)
    , FEM = sample(0:1, 400000, TRUE)
)

dx[ diff(c(0,dx$ID)) != 0, ]

跟着Steve的回复，data.table中有一种更快的方法：

> # Preamble
> dx <- data.frame(
+     ID = sort(sample(1:7000, 400000, TRUE))
+     , AGE = sample(18:65, 400000, TRUE)
+     , FEM = sample(0:1, 400000, TRUE)
+ )
> dxt <- data.table(dx, key='ID')

> # fast self join
> system.time(ans2<-dxt[J(unique(ID)),mult="first"])
 user  system elapsed 
0.048   0.016   0.064

> # slower using .SD
> system.time(ans1<-dxt[, .SD[1], by=ID])
  user  system elapsed 
14.209   0.012  14.281 

> mapply(identical,ans1,ans2)  # ans1 is keyed but ans2 isn't, otherwise identical
  ID  AGE  FEM 
TRUE TRUE TRUE 

如果只需要每个组的第一行，则直接加入该行的速度要快得多。为什么每次都只使用第一行创建.SD对象？

将data.table的0.064与“ Matt Parker的Chase解决方案的替代方案”进行比较（这似乎是迄今为止最快的）：

> system.time(ans3<-dxt[c(TRUE, dxt$ID[-1] != dxt$ID[-length(dxt$ID)]), ])
 user  system elapsed 
0.284   0.028   0.310 
> identical(ans1,ans3)
[1] TRUE 

因此，速度提高了约5倍，但这是一个很小的表，不足一百万行。随着大小的增加，差异也随之增加。

您不需要多个merge()步骤，只需关注aggregate()两个变量：

> aggregate(dx[, -1], by = list(ID = dx$ID), head, 1)
  ID AGE FEM
1  1  30   1
2  2  40   0
3  3  35   1

> system.time(replicate(1000, aggregate(dx[, -1], by = list(ID = dx$ID), 
+                                       head, 1)))
   user  system elapsed 
  2.531   0.007   2.547 
> system.time(replicate(1000, {ag <- data.frame(ID=levels(dx$ID))
+ ag <- merge(ag, aggregate(AGE ~ ID, data=dx, function(x) x[1]), "ID")
+ ag <- merge(ag, aggregate(FEM ~ ID, data=dx, function(x) x[1]), "ID")
+ }))
   user  system elapsed 
  9.264   0.009   9.301

比较时间：

1）马特的解决方案：

> system.time(replicate(1000, {
+ agg <- by(dx, dx$ID, FUN = function(x) x[1, ])
+ # Which returns a list that you can then convert into a data.frame thusly:
+ do.call(rbind, agg)
+ }))
   user  system elapsed 
  3.759   0.007   3.785

2）Zach的reshape2解决方案：

> system.time(replicate(1000, {
+ dx <- melt(dx,id=c('ID','FEM'))
+ dcast(dx,ID+FEM~variable,fun.aggregate=mean)
+ }))
   user  system elapsed 
 12.804   0.032  13.019

3）史蒂夫的data.table解决方案：

> system.time(replicate(1000, {
+ dxt <- data.table(dx, key='ID')
+ dxt[, .SD[1,], by=ID]
+ }))
   user  system elapsed 
  5.484   0.020   5.608 
> dxt <- data.table(dx, key='ID') ## one time step
> system.time(replicate(1000, {
+ dxt[, .SD[1,], by=ID] ## try this one line on own
+ }))
   user  system elapsed 
  3.743   0.006   3.784

4）Chase使用数字而非因数的快速解决方案ID：

> dx2 <- within(dx, ID <- as.numeric(ID))
> system.time(replicate(1000, {
+ dy <- dx[order(dx$ID),]
+ dy[ diff(c(0,dy$ID)) != 0, ]
+ }))
   user  system elapsed 
  0.663   0.000   0.663

5）Matt Parker替代Chase的解决方案，针对character或factor ID，它比Chase的数字解决方案稍快ID：

> system.time(replicate(1000, {
+ dx[c(TRUE, dx$ID[-1] != dx$ID[-length(dx$ID)]), ]
+ }))
   user  system elapsed 
  0.513   0.000   0.516

您可以尝试使用data.table包。

对于您的特殊情况，好处是（非常快）。第一次向我介绍它时，我正在处理具有成千上万行的data.frame对象。大约1-2分钟采用“正常” aggregate或ddply方法（这是在Hadley将idata.framemojo 引入之前ddply）。使用data.table，该操作实际上只需几秒钟即可完成。

缺点是它是如此之快，因为它将通过“关键列”对您的data.table（就像data.frame）进行重新排序，并使用智能搜索策略来查找数据的子集。这将导致您在收集统计信息之前对数据进行重新排序。

假设您只需要每个组的第一行-也许重新排序会弄乱第一行，这就是为什么它可能不适用于您的情况。

无论如何，您必须data.table在此处判断是否合适，但这是将其与所提供的数据一起使用的方式：

install.packages('data.table') ## if yo udon't have it already
library(data.table)
dxt <- data.table(dx, key='ID')
dxt[, .SD[1,], by=ID]
     ID AGE FEM
[1,]  1  30   1
[2,]  2  40   0
[3,]  3  35   1

更新： Matthew Dowle（data.table程序包的主要开发人员）提供了一种更好/更智能/（极其）更有效的方式来使用data.table来解决此问题，这是这里的答案之一...肯定要检查一下。

尝试重塑2

library(reshape2)
dx <- melt(dx,id=c('ID','FEM'))
dcast(dx,ID+FEM~variable,fun.aggregate=mean)

你可以试试

agg <- by(dx, dx$ID, FUN = function(x) x[1, ])
# Which returns a list that you can then convert into a data.frame thusly:
do.call(rbind, agg)

我不知道这是否会比快plyr。