Answers:
我不确定您想要什么,您的最后一行代码也无济于事,但是无论如何:
通过“链接”布尔索引中的条件来完成“链式”过滤。
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
A B C D
d 1 3 9 6
如果要链接方法,可以添加自己的mask方法并使用该方法。
In [90]: def mask(df, key, value):
....: return df[df[key] == value]
....:
In [92]: pandas.DataFrame.mask = mask
In [93]: df = pandas.DataFrame(np.random.randint(0, 10, (4,4)), index=list('abcd'), columns=list('ABCD'))
In [95]: df.ix['d','A'] = df.ix['a', 'A']
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [97]: df.mask('A', 1)
Out[97]:
A B C D
a 1 4 9 1
d 1 3 9 6
In [98]: df.mask('A', 1).mask('D', 6)
Out[98]:
A B C D
d 1 3 9 6
(df.A == 1) & (df.D == 6)
,“&”是否在Pandas中是重载运算符?
pandas.
。你应该import pandas as pd
。
import pandas as pd
现在已经是惯例。我怀疑那是我回答问题的时间。
可以使用Pandas 查询链接过滤器:
df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')
过滤器也可以组合在一个查询中:
df_filtered = df.query('a > 0 and 0 < b < 2')
df.query('a in list([1,2])')
,s = set([1,2]); df.query('a in @s')
。
从0.18.1版开始,该.loc
方法接受可调用的选择。与lambda函数一起,您可以创建非常灵活的可链接过滤器:
import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df.loc[lambda df: df.A == 80] # equivalent to df[df.A == 80] but chainable
df.sort_values('A').loc[lambda df: df.A > 80].loc[lambda df: df.B > df.A]
如果您所做的只是过滤,也可以省略.loc
。
我提供了其他示例。这是与https://stackoverflow.com/a/28159296/相同的答案
我将添加其他修改,以使该帖子更有用。
pandas.DataFrame.query
query
正是出于这个目的。考虑数据框df
import pandas as pd
import numpy as np
np.random.seed([3,1415])
df = pd.DataFrame(
np.random.randint(10, size=(10, 5)),
columns=list('ABCDE')
)
df
A B C D E
0 0 2 7 3 8
1 7 0 6 8 6
2 0 2 0 4 9
3 7 3 2 4 3
4 3 6 7 7 4
5 5 3 7 5 9
6 8 7 6 4 7
7 6 2 6 6 5
8 2 8 7 5 8
9 4 7 6 1 5
让我们使用query
过滤所有行D > B
df.query('D > B')
A B C D E
0 0 2 7 3 8
1 7 0 6 8 6
2 0 2 0 4 9
3 7 3 2 4 3
4 3 6 7 7 4
5 5 3 7 5 9
7 6 2 6 6 5
我们连锁
df.query('D > B').query('C > B')
# equivalent to
# df.query('D > B and C > B')
# but defeats the purpose of demonstrating chaining
A B C D E
0 0 2 7 3 8
1 7 0 6 8 6
4 3 6 7 7 4
5 5 3 7 5 9
7 6 2 6 6 5
除了要将条件合并为OR条件外,我有相同的问题。Wouter Overmeire给出的格式将条件合并为AND条件,因此必须同时满足两个条件:
In [96]: df
Out[96]:
A B C D
a 1 4 9 1
b 4 5 0 2
c 5 5 1 0
d 1 3 9 6
In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
A B C D
d 1 3 9 6
但是我发现,如果将每个条件包装起来(... == True)
并用管道将这些条件连接起来,则这些条件将以OR条件组合,只要它们中的任何一个为true都将满足:
df[((df.A==1) == True) | ((df.D==6) == True)]
df[(df.A==1) | (df.D==6)]
是足够的,你要完成什么?
熊猫提供了Wouter Overmeire答案的两种替代方法,不需要任何替代。一个是.loc[.]
可调用的,例如
df_filtered = df.loc[lambda x: x['column'] == value]
另一个是.pipe()
,如
df_filtered = df.pipe(lambda x: x['column'] == value)
我的答案与其他人相似。如果您不想创建新功能,则可以使用已经为您定义的pandas。使用管道方法。
df.pipe(lambda d: d[d['column'] == value])
a.join(b).pipe(lambda df: df[df.column_to_filter == 'VALUE'])
如果您想应用所有通用布尔掩码以及通用掩码,则可以将以下内容放在文件中,然后按如下所示简单地分配它们:
pd.DataFrame = apply_masks()
用法:
A = pd.DataFrame(np.random.randn(4, 4), columns=["A", "B", "C", "D"])
A.le_mask("A", 0.7).ge_mask("B", 0.2)... (May be repeated as necessary
这有点骇人听闻,但是如果您不断根据过滤器来分割和更改数据集,则可以使事情变得更清晰。gen_mask函数中还有一个上面丹尼尔·韦尔科夫(Daniel Velkov)改编的通用过滤器,您可以将其与lambda函数或其他需要的函数一起使用。
要保存的文件(我使用masks.py):
import pandas as pd
def eq_mask(df, key, value):
return df[df[key] == value]
def ge_mask(df, key, value):
return df[df[key] >= value]
def gt_mask(df, key, value):
return df[df[key] > value]
def le_mask(df, key, value):
return df[df[key] <= value]
def lt_mask(df, key, value):
return df[df[key] < value]
def ne_mask(df, key, value):
return df[df[key] != value]
def gen_mask(df, f):
return df[f(df)]
def apply_masks():
pd.DataFrame.eq_mask = eq_mask
pd.DataFrame.ge_mask = ge_mask
pd.DataFrame.gt_mask = gt_mask
pd.DataFrame.le_mask = le_mask
pd.DataFrame.lt_mask = lt_mask
pd.DataFrame.ne_mask = ne_mask
pd.DataFrame.gen_mask = gen_mask
return pd.DataFrame
if __name__ == '__main__':
pass
该解决方案在实现方面更缺乏技巧,但我发现它的用法更加简洁,并且肯定比其他建议的方案更通用。
https://github.com/toobaz/generic_utils/blob/master/generic_utils/pandas/where.py
您无需下载整个存储库:保存文件并执行
from where import where as W
应该足够了。然后像这样使用它:
df = pd.DataFrame([[1, 2, True],
[3, 4, False],
[5, 7, True]],
index=range(3), columns=['a', 'b', 'c'])
# On specific column:
print(df.loc[W['a'] > 2])
print(df.loc[-W['a'] == W['b']])
print(df.loc[~W['c']])
# On entire - or subset of a - DataFrame:
print(df.loc[W.sum(axis=1) > 3])
print(df.loc[W[['a', 'b']].diff(axis=1)['b'] > 1])
一个不太愚蠢的用法示例:
data = pd.read_csv('ugly_db.csv').loc[~(W == '$null$').any(axis=1)]
顺便说一句:即使在您仅使用布尔cols的情况下,
df.loc[W['cond1']].loc[W['cond2']]
可以比
df.loc[W['cond1'] & W['cond2']]
因为它的计算结果cond2
只在cond1
是True
。
免责声明:我首先在其他地方给出了此答案,因为我还没有看到。
只想使用添加演示 loc
不仅用于按行过滤,还可以按列过滤,并对链式操作有一些优点。
下面的代码可以按值过滤行。
df_filtered = df.loc[df['column'] == value]
通过稍作修改,您也可以过滤列。
df_filtered = df.loc[df['column'] == value, ['year', 'column']]
那么为什么我们要使用链式方法呢?答案是,如果您有很多操作,它很容易阅读。例如,
res = df\
.loc[df['station']=='USA', ['TEMP', 'RF']]\
.groupby('year')\
.agg(np.nanmean)
如果将列设置为作为索引搜索,则可以使用DataFrame.xs()
横截面。这没有query
答案的通用性,但在某些情况下可能有用。
import pandas as pd
import numpy as np
np.random.seed([3,1415])
df = pd.DataFrame(
np.random.randint(3, size=(10, 5)),
columns=list('ABCDE')
)
df
# Out[55]:
# A B C D E
# 0 0 2 2 2 2
# 1 1 1 2 0 2
# 2 0 2 0 0 2
# 3 0 2 2 0 1
# 4 0 1 1 2 0
# 5 0 0 0 1 2
# 6 1 0 1 1 1
# 7 0 0 2 0 2
# 8 2 2 2 2 2
# 9 1 2 0 2 1
df.set_index(['A', 'D']).xs([0, 2]).reset_index()
# Out[57]:
# A D B C E
# 0 0 2 2 2 2
# 1 0 2 1 1 0
您还可以将numpy库用于逻辑操作。它非常快。
df[np.logical_and(df['A'] == 1 ,df['B'] == 6)]
df.query
并且pd.eval
看起来很好拟合这个用例。有关pd.eval()
功能系列,其功能和使用案例的信息,请访问使用pd.eval()在熊猫中进行动态表达评估。