熊猫总计数不同


94

假设我有一个用户活动日志,我想生成一个总持续时间和每天唯一身份用户数量的报告。

import numpy as np
import pandas as pd
df = pd.DataFrame({'date': ['2013-04-01','2013-04-01','2013-04-01','2013-04-02', '2013-04-02'],
    'user_id': ['0001', '0001', '0002', '0002', '0002'],
    'duration': [30, 15, 20, 15, 30]})

汇总持续时间非常简单:

group = df.groupby('date')
agg = group.aggregate({'duration': np.sum})
agg
            duration
date
2013-04-01        65
2013-04-02        45

我想做的是同时计算持续时间并计算不重复次数,但我似乎找不到count_distinct的等效项:

agg = group.aggregate({ 'duration': np.sum, 'user_id': count_distinct})

这可行,但是肯定有更好的方法,不是吗?

group = df.groupby('date')
agg = group.aggregate({'duration': np.sum})
agg['uv'] = df.groupby('date').user_id.nunique()
agg
            duration  uv
date
2013-04-01        65   2
2013-04-02        45   1

我在想,我只需要提供一个将Series对象的不同项目的计数返回给聚合函数的函数,但是我对各种库的接触并不多。另外,似乎groupby对象已经知道此信息,所以我不只是重复努力吗?

Answers:


154

如何:

>>> df
         date  duration user_id
0  2013-04-01        30    0001
1  2013-04-01        15    0001
2  2013-04-01        20    0002
3  2013-04-02        15    0002
4  2013-04-02        30    0002
>>> df.groupby("date").agg({"duration": np.sum, "user_id": pd.Series.nunique})
            duration  user_id
date                         
2013-04-01        65        2
2013-04-02        45        1
>>> df.groupby("date").agg({"duration": np.sum, "user_id": lambda x: x.nunique()})
            duration  user_id
date                         
2013-04-01        65        2
2013-04-02        45        1

1
而已。pd.Series.nunique是我找不到的,好吧,无法正常工作。事后看来很明显。谢谢!
dave

5
这个答案已经过时了。您现在可以nunique直接使用。请参阅下面的@Blodwyn Pig解决方案
Ted Petrou

谢谢@TedPetrou,我是编码器,以前称为Blodwyn Pig;)
Ricky McMaster

嘿,您知道如何获取非重复计数吗?
Ambleu

61

自熊猫0.20.0起,'nunique'是.agg()的选项,因此:

df.groupby('date').agg({'duration': 'sum', 'user_id': 'nunique'})

可以合计并获得唯一值吗?像duration: np.unique
家伙

@guy Trydf.groupby('date').agg({'user_id': lambda s: s.unique().reset_index(drop=True)})
BallpointBen

我们如何获得输出?

17

仅添加到已经给出的答案中,使用字符串的解决方案"nunique"似乎要快得多,在〜21M行数据帧上进行了测试,然后分组为〜2M

%time _=g.agg({"id": lambda x: x.nunique()})
CPU times: user 3min 3s, sys: 2.94 s, total: 3min 6s
Wall time: 3min 20s

%time _=g.agg({"id": pd.Series.nunique})
CPU times: user 3min 2s, sys: 2.44 s, total: 3min 4s
Wall time: 3min 18s

%time _=g.agg({"id": "nunique"})
CPU times: user 14 s, sys: 4.76 s, total: 18.8 s
Wall time: 24.4 s

1
好赶上!我猜它是b / c在“ lambda” /“ other function”的情况下被顺序应用,而“已知”函数以矢量化的方式应用于整个列。
Ufos

哪个解决方案来自@Blodwyn Pig?
Chogg

@Chogg,最快的一个!
m-dz

@Chogg-对不起,我更改了用户名。那是我。
瑞奇·麦克马斯特
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.