如何在pandas groupby中将数据框行分组为列表？

Answers:

393

您可以使用以下方法groupby来对感兴趣的列进行分组，然后apply list对每个分组进行分组：

In [1]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6]})
        df

Out[1]: 
   a  b
0  A  1
1  A  2
2  B  5
3  B  5
4  B  4
5  C  6

In [2]: df.groupby('a')['b'].apply(list)
Out[2]: 
a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object

In [3]: df1 = df.groupby('a')['b'].apply(list).reset_index(name='new')
        df1
Out[3]: 
   a        new
0  A     [1, 2]
1  B  [5, 5, 4]
2  C        [6]
— 埃德·楚姆
source
7
如果数据集很大（例如1000万行），这将花费大量时间。有没有更快的方法可以做到这一点？但是，“ a”中的唯一身份数约为50万
— Abhishek Thakur 2014年
6
GROUPBY是出了名的慢，内存饿了，你能做些什么是排序列A，然后找到idxmin和idxmax（可能这些信息存储在一个字典），并用它来切你的数据框会更快，我认为
— EdChum
1
当我尝试解决该问题的解决方案时（对groupBy和group有多个列），它不起作用-熊猫发送了“功能不减少”的信息。然后，我tuple在这里使用了第二个答案：stackoverflow.com/questions/19530568/…。请参阅stackoverflow.com/questions/27439023/…中的第二个答案以 获取解释。
— 安达林
此解决方案很好，但是有一种方法可以存储列表集，这意味着我可以删除重复项然后进行存储吗？
— Sriram Arvind Lakshmanakumar
1
@PoeteMaudit对不起，我不明白您在问什么，而在评论中问问题在SO中是不好的形式。您是否在问如何将多个列连接到一个列表中？
— EdChum
47

如果性能很重要，请降低到numpy级别：

import numpy as np

df = pd.DataFrame({'a': np.random.randint(0, 60, 600), 'b': [1, 2, 5, 5, 4, 6]*100})

def f(df):
         keys, values = df.sort_values('a').values.T
         ukeys, index = np.unique(keys, True)
         arrays = np.split(values, index[1:])
         df2 = pd.DataFrame({'a':ukeys, 'b':[list(a) for a in arrays]})
         return df2

测试：

In [301]: %timeit f(df)
1000 loops, best of 3: 1.64 ms per loop

In [302]: %timeit df.groupby('a')['b'].apply(list)
100 loops, best of 3: 5.26 ms per loop
— BM
source
8
如果我们要按两个或更多键分组，例如使用with .groupby([df.index.month, df.index.day])而不是just，.groupby('a')怎么用呢？
— ru111
25

实现此目的的便捷方法是：

df.groupby('a').agg({'b':lambda x: list(x)})

研究编写自定义聚合：https：//www.kaggle.com/akshaysehgal/how-to-group-by-aggregate-using-py

— Anamika Modi
source
5
lambda args: f(args)等效于f
— BallpointBen
6
实际上，仅此agg(list)而已。另请参阅此处。
— cs95
!! 我只是在搜索一些语法，并且意识到解决方案引用了我自己的笔记本。感谢您的链接。只需添加一下，由于“列表”不是序列函数，因此您必须将它与apply一起df.groupby('a').apply(list)使用，或者与agg一起用作dict的一部分df.groupby('a').agg({'b':list})。您还可以将其与lambda（我推荐）一起使用，因为您可以使用它做更多的事情。示例：df.groupby('a').agg({'c':'first', 'b': lambda x: x.unique().tolist()})您可以将一系列函数应用于col c，将唯一函数然后将list函数应用于col b。
— Akshay Sehgal
21

正如您所说的groupby，pd.DataFrame对象的方法可以完成这项工作。

例

 L = ['A','A','B','B','B','C']
 N = [1,2,5,5,4,6]

 import pandas as pd
 df = pd.DataFrame(zip(L,N),columns = list('LN'))


 groups = df.groupby(df.L)

 groups.groups
      {'A': [0, 1], 'B': [2, 3, 4], 'C': [5]}

给出了各个组的索引说明。

例如，要获取单个组的元素，您可以做

 groups.get_group('A')

     L  N
  0  A  1
  1  A  2

  groups.get_group('B')

     L  N
  2  B  5
  3  B  5
  4  B  4
— Acorbe
source
21

要解决数据框的几列问题：

In [5]: df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6],'c'
   ...: :[3,3,3,4,4,4]})

In [6]: df
Out[6]: 
   a  b  c
0  A  1  3
1  A  2  3
2  B  5  3
3  B  5  4
4  B  4  4
5  C  6  4

In [7]: df.groupby('a').agg(lambda x: list(x))
Out[7]: 
           b          c
a                      
A     [1, 2]     [3, 3]
B  [5, 5, 4]  [3, 4, 4]
C        [6]        [4]

该答案的灵感来自Anamika Modi的答案。谢谢！

— 马库斯·杜奇克（Markus Dutschke）
source
12

使用以下任何一种groupby和agg配方。

# Setup
df = pd.DataFrame({
  'a': ['A', 'A', 'B', 'B', 'B', 'C'],
  'b': [1, 2, 5, 5, 4, 6],
  'c': ['x', 'y', 'z', 'x', 'y', 'z']
})
df

   a  b  c
0  A  1  x
1  A  2  y
2  B  5  z
3  B  5  x
4  B  4  y
5  C  6  z

要将多个列聚合为列表，请使用以下任一方法：

df.groupby('a').agg(list)
df.groupby('a').agg(pd.Series.tolist)

           b          c
a                      
A     [1, 2]     [x, y]
B  [5, 5, 4]  [z, x, y]
C        [6]        [z]

要仅对单个列进行组列出，请将groupby转换为SeriesGroupBy对象，然后调用SeriesGroupBy.agg。用，

df.groupby('a').agg({'b': list})  # 4.42 ms 
df.groupby('a')['b'].agg(list)    # 2.76 ms - faster

a
A       [1, 2]
B    [5, 5, 4]
C          [6]
Name: b, dtype: object
— cs95
source
上面的方法可以保证保持秩序吗？意味着来自同一行（但上面的代码中的b和c不同的列）中的元素将在结果列表中具有相同的索引？
— Kai
@凯哦，好问题。是的，没有。GroupBy按分组键值对输出进行排序。但是，排序通常是稳定的，因此可以保留每个组的相对排序。要完全禁用排序行为，请使用groupby(..., sort=False)。在这里，这没有什么区别，因为我对已经排序的列A进行了分组。
— cs95
对不起，我不明白你的回答。您能详细解释一下吗？我认为这应该是自己的问题
— 凯
1
这是一个很好的答案！还有没有办法使列表的值唯一？像.agg（pd.Series.tolist.unique）之类的东西？
— Federico Gentile
1
@FedericoGentile，您可以使用lambda。这是一种方法：df.groupby('a')['b'].agg(lambda x: list(set(x)))
— cs95
7

如果在对多个列进行分组时查找唯一 列表，则可能会有所帮助：

df.groupby('a').agg(lambda x: list(set(x))).reset_index()
— 万希卡
source
2

让我们df.groupby与列表和Series构造函数一起使用

pd.Series({x : y.b.tolist() for x , y in df.groupby('a')})
Out[664]: 
A       [1, 2]
B    [5, 5, 4]
C          [6]
dtype: object
— YOBEN_S
source
2

是时候使用agg而不是了apply。

什么时候

df = pd.DataFrame( {'a':['A','A','B','B','B','C'], 'b':[1,2,5,5,4,6], 'c': [1,2,5,5,4,6]})

如果要将多个列堆叠到list中，将导致 pd.DataFrame

df.groupby('a')[['b', 'c']].agg(list)
# or 
df.groupby('a').agg(list)

如果您想要列表中的单列，则结果为 ps.Series

df.groupby('a')['b'].agg(list)
#or
df.groupby('a')['b'].apply(list)

请注意，结果仅比汇总单个列（在多列情况下使用）pd.DataFrame要慢10倍ps.Series。

— 秘银
source
0

在这里，我将元素与“ |”分组 作为分隔符

    import pandas as pd

    df = pd.read_csv('input.csv')

    df
    Out[1]:
      Area  Keywords
    0  A  1
    1  A  2
    2  B  5
    3  B  5
    4  B  4
    5  C  6

    df.dropna(inplace =  True)
    df['Area']=df['Area'].apply(lambda x:x.lower().strip())
    print df.columns
    df_op = df.groupby('Area').agg({"Keywords":lambda x : "|".join(x)})

    df_op.to_csv('output.csv')
    Out[2]:
    df_op
    Area  Keywords

    A       [1| 2]
    B    [5| 5| 4]
    C          [6]
— 加内什·哈拉德（Ganesh Kharad）
source
0

我没有看到的最简单方法是至少对于一列都无法实现大多数相同的事情，这与Anamika的答案类似，只是聚合函数的元组语法。

df.groupby('a').agg(b=('b','unique'), c=('c','unique'))
— 方法
source
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.