熊猫在每个组中获得最高的n条记录


161

假设我有这样的pandas DataFrame:

>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
   id  value
0   1      1
1   1      2
2   1      3
3   2      1
4   2      2
5   2      3
6   2      4
7   3      1
8   4      1

我想获得一个新的DataFrame,其中每个ID的前2个记录如下:

   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

我可以对分组依据中的记录进行编号:

>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
   id  level_1  index  value
0   1        0      0      1
1   1        1      1      2
2   1        2      2      3
3   2        0      3      1
4   2        1      4      2
5   2        2      5      3
6   2        3      6      4
7   3        0      7      1
8   4        0      8      1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

但是,有没有更有效/更优雅的方法来做到这一点?还有一种更优雅的方法来对每个组中的数字进行记录(例如SQL窗口函数row_number())。



1
“ top-n”并不意味着“ n个最上面/最前面/最前面的行”,就像您要找的一样!它的意思是“具有最大值的n行”。
smci

Answers:


180

你试过了吗 df.groupby('id').head(2)

Ouput生成:

>>> df.groupby('id').head(2)
       id  value
id             
1  0   1      1
   1   1      2 
2  3   2      1
   4   2      2
3  7   3      1
4  8   4      1

(请记住,根据数据,您可能需要先进行订购/排序)

编辑:如发问者所述,用于df.groupby('id').head(2).reset_index(drop=True)去除多义词并展平结果。

>>> df.groupby('id').head(2).reset_index(drop=True)
    id  value
0   1      1
1   1      2
2   2      1
3   2      2
4   3      1
5   4      1

1
是的,我认为就是这样。以某种方式忽略了这一点。您知道对组内记录进行编号的好方法吗?
Roman Pekar

4
为了获得所需的输出,我还添加了.reset_index(drop=True)
Roman Pekar

1
github.com/pydata/pandas/pull/5510刚刚合并进来;将会在0.13中,新方法可以做到这一点cumcount(对每个组中的记录进行编号)
Jeff

1
@Jeff好消息。我希望我有更多时间为熊猫做贡献:(
Roman Pekar

3
要使@dorvak的答案更完整,如果您想每个设置2个最小值,id请执行df.sort_values(['id', 'value'], axis=0).groupby('id').head(2)。另一个示例,每个的最大值id由给出df.sort_values(['id', 'value'], axis=0).groupby('id').tail(1)
Elmex80s

129

由于0.14.1,你现在可以做的nlargestnsmallest一个上groupby对象:

In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]: 
id   
1   2    3
    1    2
2   6    4
    5    3
3   7    1
4   8    1
dtype: int64

您也可以在其中获得原始索引,这有点奇怪,但这可能真的有用,这取决于原始索引什么。

如果您对它不感兴趣,可以.reset_index(level=1, drop=True)完全摆脱它。

(注意:从0.17.1开始,您也可以在DataFrameGroupBy上执行此操作,但现在它仅适用于SeriesSeriesGroupBy。)


有办法得到unique_limit(n)吗?就像我想要前n个唯一值?如果我要求,nlargest它将对整个df进行排序,这可能会很昂贵
citynorman

2
当您在groupby上进行汇总时,这不起作用?例如,df.groupby([pd.Grouper(freq='M'), 'A'])['B'].count().nlargest(5, 'B') 这仅返回整个系列中的前5名,而不是按每个组
地理

现在也可以在DataFrameGroupBys 上执行的声明似乎是错误的,链接的请求请求似乎仅添加nlargest到了DataFrames上。哪一个比较不幸,因为如果要选择多个列怎么办?
oulenz

7

有时,提前对整个数据进行排序非常耗时。我们可以先分组,然后对每个组进行topk:

g = df.groupby(['id']).apply(lambda x: x.nlargest(topk,['value'])).reset_index(drop=True)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.