熊猫:使用运算符链接过滤DataFrame的行


329

在大部分操作pandas可以与运营商链接(来完成groupbyaggregateapply,等),但我发现过滤行唯一方法是通过正常的托架索引

df_filtered = df[df['column'] == value]

这没有吸引力,因为它要求我先分配df一个变量,然后才能根据其值进行过滤。还有以下内容吗?

df_filtered = df.mask(lambda x: x['column'] == value)

df.query并且pd.eval看起来很好拟合这个用例。有关pd.eval()功能系列,其功能和使用案例的信息,请访问使用pd.eval()在熊猫中进行动态表达评估
cs95

Answers:


384

我不确定您想要什么,您的最后一行代码也无济于事,但是无论如何:

通过“链接”布尔索引中的条件来完成“链式”过滤。

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
   A  B  C  D
d  1  3  9  6

如果要链接方法,可以添加自己的mask方法并使用该方法。

In [90]: def mask(df, key, value):
   ....:     return df[df[key] == value]
   ....:

In [92]: pandas.DataFrame.mask = mask

In [93]: df = pandas.DataFrame(np.random.randint(0, 10, (4,4)), index=list('abcd'), columns=list('ABCD'))

In [95]: df.ix['d','A'] = df.ix['a', 'A']

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [97]: df.mask('A', 1)
Out[97]:
   A  B  C  D
a  1  4  9  1
d  1  3  9  6

In [98]: df.mask('A', 1).mask('D', 6)
Out[98]:
   A  B  C  D
d  1  3  9  6

2
好答案!那么在中(df.A == 1) & (df.D == 6),“&”是否在Pandas中是重载运算符?
肖恩


那是一个非常不错的解决方案-我什至没有意识到您可以在python中使用类似方法进行评审。像这样的函数在Pandas本身中真的很不错。
naught101 '03

我对此唯一的问题是使用pandas.。你应该import pandas as pd
大辅(Daisuke Aramaki)

3
确实import pandas as pd现在已经是惯例。我怀疑那是我回答问题的时间。
Wouter Overmeire

108

可以使用Pandas 查询链接过滤器:

df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')

过滤器也可以组合在一个查询中:

df_filtered = df.query('a > 0 and 0 < b < 2')

3
如果需要在查询中引用python变量,文档会说:“您可以在环境中通过在变量前加上'@'字符(如@a + b)来引用变量。请注意,以下内容是有效的:df.query('a in list([1,2])')s = set([1,2]); df.query('a in @s')
user3780389

2
另一方面,如果您的列名具有某些特殊字符,例如,“ Place.Name”,则查询评估似乎将失败。
user3780389

2
链接是查询的目的。
piRSquared'Apr 10'18

66

@lodagro的答案很好。我可以通过将mask函数概括为:

def mask(df, f):
  return df[f(df)]

然后,您可以执行以下操作:

df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)

8
有用的概括!我希望它已经直接集成到DataFrames中了!
2013年

24

0.18.1版开始,.loc方法接受可调用的选择。与lambda函数一起,您可以创建非常灵活的可链接过滤器:

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df.loc[lambda df: df.A == 80]  # equivalent to df[df.A == 80] but chainable

df.sort_values('A').loc[lambda df: df.A > 80].loc[lambda df: df.B > df.A]

如果您所做的只是过滤,也可以省略.loc


16

我提供了其他示例。这是与https://stackoverflow.com/a/28159296/相同的答案

我将添加其他修改,以使该帖子更有用。

pandas.DataFrame.query
query正是出于这个目的。考虑数据框df

import pandas as pd
import numpy as np

np.random.seed([3,1415])
df = pd.DataFrame(
    np.random.randint(10, size=(10, 5)),
    columns=list('ABCDE')
)

df

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
6  8  7  6  4  7
7  6  2  6  6  5
8  2  8  7  5  8
9  4  7  6  1  5

让我们使用query过滤所有行D > B

df.query('D > B')

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

我们连锁

df.query('D > B').query('C > B')
# equivalent to
# df.query('D > B and C > B')
# but defeats the purpose of demonstrating chaining

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

这与stackoverflow.com/a/28159296的答案基本上不是相同的 ,您认为应该澄清该答案中缺少的内容吗?
bscan

9

除了要将条件合并为OR条件外,我有相同的问题。Wouter Overmeire给出的格式将条件合并为AND条件,因此必须同时满足两个条件:

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
   A  B  C  D
d  1  3  9  6

但是我发现,如果将每个条件包装起来(... == True)并用管道将这些条件连接起来,则这些条件将以OR条件组合,只要它们中的任何一个为true都将满足:

df[((df.A==1) == True) | ((df.D==6) == True)]

12
会不会df[(df.A==1) | (df.D==6)]是足够的,你要完成什么?
eenblam '16

不,这不是因为它给出了完全结果(True vs False),而不是像上面那样过滤所有满足条件的数据。希望我说清楚。
MGB.py

8

熊猫提供了Wouter Overmeire答案的两种替代方法,不需要任何替代。一个是.loc[.]可调用的,例如

df_filtered = df.loc[lambda x: x['column'] == value]

另一个是.pipe(),如

df_filtered = df.pipe(lambda x: x['column'] == value)

7

我的答案与其他人相似。如果您不想创建新功能,则可以使用已经为您定义的pandas。使用管道方法。

df.pipe(lambda d: d[d['column'] == value])

如果您要链接命令,例如a.join(b).pipe(lambda df: df[df.column_to_filter == 'VALUE'])
displayname

4

如果您想应用所有通用布尔掩码以及通用掩码,则可以将以下内容放在文件中,然后按如下所示简单地分配它们:

pd.DataFrame = apply_masks()

用法:

A = pd.DataFrame(np.random.randn(4, 4), columns=["A", "B", "C", "D"])
A.le_mask("A", 0.7).ge_mask("B", 0.2)... (May be repeated as necessary

这有点骇人听闻,但是如果您不断根据过滤器来分割和更改数据集,则可以使事情变得更清晰。gen_mask函数中还有一个上面丹尼尔·韦尔科夫(Daniel Velkov)改编的通用过滤器,您可以将其与lambda函数或其他需要的函数一起使用。

要保存的文件(我使用masks.py):

import pandas as pd

def eq_mask(df, key, value):
    return df[df[key] == value]

def ge_mask(df, key, value):
    return df[df[key] >= value]

def gt_mask(df, key, value):
    return df[df[key] > value]

def le_mask(df, key, value):
    return df[df[key] <= value]

def lt_mask(df, key, value):
    return df[df[key] < value]

def ne_mask(df, key, value):
    return df[df[key] != value]

def gen_mask(df, f):
    return df[f(df)]

def apply_masks():

    pd.DataFrame.eq_mask = eq_mask
    pd.DataFrame.ge_mask = ge_mask
    pd.DataFrame.gt_mask = gt_mask
    pd.DataFrame.le_mask = le_mask
    pd.DataFrame.lt_mask = lt_mask
    pd.DataFrame.ne_mask = ne_mask
    pd.DataFrame.gen_mask = gen_mask

    return pd.DataFrame

if __name__ == '__main__':
    pass

3

该解决方案在实现方面更缺乏技巧,但我发现它的用法更加简洁,并且肯定比其他建议的方案更通用。

https://github.com/toobaz/generic_utils/blob/master/generic_utils/pandas/where.py

您无需下载整个存储库:保存文件并执行

from where import where as W

应该足够了。然后像这样使用它:

df = pd.DataFrame([[1, 2, True],
                   [3, 4, False], 
                   [5, 7, True]],
                  index=range(3), columns=['a', 'b', 'c'])
# On specific column:
print(df.loc[W['a'] > 2])
print(df.loc[-W['a'] == W['b']])
print(df.loc[~W['c']])
# On entire - or subset of a - DataFrame:
print(df.loc[W.sum(axis=1) > 3])
print(df.loc[W[['a', 'b']].diff(axis=1)['b'] > 1])

一个不太愚蠢的用法示例:

data = pd.read_csv('ugly_db.csv').loc[~(W == '$null$').any(axis=1)]

顺便说一句:即使在您仅使用布尔cols的情况下,

df.loc[W['cond1']].loc[W['cond2']]

可以比

df.loc[W['cond1'] & W['cond2']]

因为它的计算结果cond2只在cond1True

免责声明:我首先在其他地方给出了此答案,因为我还没有看到。


2

只想使用添加演示 loc不仅用于按行过滤,还可以按列过滤,并对链式操作有一些优点。

下面的代码可以按值过滤行。

df_filtered = df.loc[df['column'] == value]

通过稍作修改,您也可以过滤列。

df_filtered = df.loc[df['column'] == value, ['year', 'column']]

那么为什么我们要使用链式方法呢?答案是,如果您有很多操作,它很容易阅读。例如,

res =  df\
    .loc[df['station']=='USA', ['TEMP', 'RF']]\
    .groupby('year')\
    .agg(np.nanmean)

2

这没有吸引力,因为它要求我先分配df一个变量,然后才能根据其值进行过滤。

df[df["column_name"] != 5].groupby("other_column_name")

似乎有效:您也可以嵌套[]运算符。也许他们是在您提出问题后才添加的。


1
这在一条链中几乎没有意义,因为df现在不必引用te链上一部分的输出。
达安·路蒂克

@DaanLuttik:同意,它不是链接,而是嵌套。对你更好?
serv-inc

1

如果将列设置为作为索引搜索,则可以使用DataFrame.xs()横截面。这没有query答案的通用性,但在某些情况下可能有用。

import pandas as pd
import numpy as np

np.random.seed([3,1415])
df = pd.DataFrame(
    np.random.randint(3, size=(10, 5)),
    columns=list('ABCDE')
)

df
# Out[55]: 
#    A  B  C  D  E
# 0  0  2  2  2  2
# 1  1  1  2  0  2
# 2  0  2  0  0  2
# 3  0  2  2  0  1
# 4  0  1  1  2  0
# 5  0  0  0  1  2
# 6  1  0  1  1  1
# 7  0  0  2  0  2
# 8  2  2  2  2  2
# 9  1  2  0  2  1

df.set_index(['A', 'D']).xs([0, 2]).reset_index()
# Out[57]: 
#    A  D  B  C  E
# 0  0  2  2  2  2
# 1  0  2  1  1  0

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.