在熊猫数据框中自定义排序


89

我有python pandas dataframe,其中一列包含月份名称。

如何使用字典进行自定义排序,例如:

custom_dict = {'March':0, 'April':1, 'Dec':3}  

1
包含月份名称的列是否意味着存在包含月份名称的列(作为我的答案),或者包含以列名称作为月份名称的许多列(如eumiro的列)?
安迪·海登

1
接受的答案已过时,并且在技术上pd.Categorical也不正确,因为默认情况下不会按解释顺序解释类别。看到这个答案
cs95

Answers:


141

熊猫0.15引入了“分类系列”,该分类系列提供了一种更清晰的方法:

首先,将月份列设为分类,然后指定要使用的顺序。

In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"])

In [22]: df  # looks the same!
Out[22]:
   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

现在,当您对月份列进行排序时,它将相对于该列表进行排序:

In [23]: df.sort_values("m")
Out[23]:
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

注意:如果值不在列表中,它将被转换为NaN。


对于那些有兴趣的人来说,是一个较旧的答案。

您可以创建一个中间系列,并set_index在此基础上:

df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m'])
s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x])
s.sort_values()

In [4]: df.set_index(s.index).sort()
Out[4]: 
   a  b      m
0  1  2  March
1  3  4  April
2  5  6    Dec

如前所述,在较新的熊猫中,Series可以replace更优雅地做到这一点:

s = df['m'].replace({'March':0, 'April':1, 'Dec':3})

稍有不同的是,如果字典之外没有值,则不会增加该值(它将保持不变)。


s = df['m'].replace({'March':0, 'April':1, 'Dec':3})同样适用于2号线-只是为了任何人像我一样学习熊猫
kdauria 2014年

@kdauria好地方!(自从我写这篇文章以来已经有一段时间了!)替换绝对最好的选项,另一个是使用.apply({'March':0, 'April':1, 'Dec':3}.get):)在0.15中,我们将使用分类系列/列,因此最好的方法是使用它,然后排序就可以了。
安迪·海登

@AndyHayden我采取了用'replace'方法替换第二行的自由。我希望可以。
Faheem Mitha 2015年

@AndyHayden编辑被拒绝,但我仍然认为这是一个合理的更改。
Faheem Mitha 2015年

7
只要确保您使用的df.sort_values("m")是较新的熊猫(而不是df.sort("m")),否则就会得到AttributeError: 'DataFrame' object has no attribute 'sort';)
头脑风暴

17

大熊猫> = 1.1

您将很快可以使用sort_valueswithkey参数:

pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'

custom_dict = {'March': 0, 'April': 1, 'Dec': 3} 
df

   a  b      m
0  1  2  March
1  5  6    Dec
2  3  4  April

df.sort_values(by=['m'], key=lambda x: x.map(custom_dict))

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

key参数将Series作为输入并返回Series。该系列在内部进行argsorted,并且使用排序后的索引对输入DataFrame进行重新排序。如果有多个列要排序,则键功能将依次应用于每个列。请参阅按键排序


熊猫<= 1.0.X

一个简单的方法是使用输出Series.mapSeries.argsort索引到df使用DataFrame.iloc(因为argsort产生已排序的整数位置); 因为你有一本字典;这变得容易。

df.iloc[df['m'].map(custom_dict).argsort()]

   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

如果需要按降序排序,请反转映射。

df.iloc[(-df['m'].map(custom_dict)).argsort()]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

请注意,这仅适用于数字项目。否则,您将需要使用sort_values并访问索引来解决此问题:

df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index]

   a  b      m
1  5  6    Dec
2  3  4  April
0  1  2  March

更多的选择与astype(这是现在不建议使用),或者pd.Categorical,但你需要指定ordered=True为它工作正常

# Older version,
# df['m'].astype('category', 
#                categories=sorted(custom_dict, key=custom_dict.get), 
#                ordered=True)
df['m'] = pd.Categorical(df['m'], 
                         categories=sorted(custom_dict, key=custom_dict.get), 
                         ordered=True)

现在,一个简单的sort_values调用即可解决问题:

df.sort_values('m')
 
   a  b      m
0  1  2  March
2  3  4  April
1  5  6    Dec

groupby对输出进行排序时,也将遵守分类顺序。


2
您已经强调了这一点,但是我想重申一下,以防其他人浏览并错过它:ordered=None默认情况下,Pandas分类集。如果未设置,则订购将是错误的,或在V23上中断。Max函数特别给出TypeError(对于最大操作,未分类分类)。
Dave Liu

16

游戏有些晚了,但是这是一种创建函数的方法,该函数使用任意函数对pandas Series,DataFrame和multiindex DataFrame对象进行排序。

我利用了该df.iloc[index]方法,该方法按位置引用Series / DataFrame中的一行(与相比df.loc,按值引用该行)。使用这个,我们只需要有一个返回一系列位置参数的函数:

def sort_pd(key=None,reverse=False,cmp=None):
    def sorter(series):
        series_list = list(series)
        return [series_list.index(i) 
           for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)]
    return sorter

您可以使用它来创建自定义排序功能。这适用于Andy Hayden的答案中使用的数据框:

df = pd.DataFrame([
    [1, 2, 'March'],
    [5, 6, 'Dec'],
    [3, 4, 'April']], 
  columns=['a','b','m'])

custom_dict = {'March':0, 'April':1, 'Dec':3}
sort_by_custom_dict = sort_pd(key=custom_dict.get)

In [6]: df.iloc[sort_by_custom_dict(df['m'])]
Out[6]:
   a  b  m
0  1  2  March
2  3  4  April
1  5  6  Dec

这也适用于多索引DataFrames和Series对象:

months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec']

df = pd.DataFrame([
    ['New York','Mar',12714],
    ['New York','Apr',89238],
    ['Atlanta','Jan',8161],
    ['Atlanta','Sep',5885],
  ],columns=['location','month','sales']).set_index(['location','month'])

sort_by_month = sort_pd(key=months.index)

In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))]
Out[10]:
                 sales
location  month  
Atlanta   Jan    8161
New York  Mar    12714
          Apr    89238
Atlanta   Sep    5885

sort_by_last_digit = sort_pd(key=lambda x: x%10)

In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])]
Out[12]:
2    8161
0   12714
3    5885
1   89238

在我看来,这很干净,但是它大量使用python操作,而不是依赖于优化的pandas操作。我没有做任何压力测试,但是我想这在非常大的DataFrame上可能会变慢。不知道与添加,排序和删除列相比,性能如何。加快代码的任何提示将不胜感激!


这样可以对多个列/索引进行排序吗?
科南

是的,但是选择的答案是一种更好的方法。如果您有多个索引,只需按照您喜欢的排序顺序排列它们,然后用于df.sort_index()对所有索引级别进行排序。
Michael Delgado

9
import pandas as pd
custom_dict = {'March':0,'April':1,'Dec':3}

df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically)

df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))

返回带有三月,四月,十二月列的DataFrame


这样对实际的列进行排序,而不是根据列上的自定义谓词对行进行排序?
cs95
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.