从pandas DataFrame中删除名称包含特定字符串的列


106

我有一个带有以下列名称的pandas数据框:

Result1,Test1,Result2,Test2,Result3,Test3等...

我想删除名称包含单词“ Test”的所有列。这样的列数不是静态的,而是取决于先前的功能。

我怎样才能做到这一点?

Answers:


74
import pandas as pd

import numpy as np

array=np.random.random((2,4))

df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))

print df

      Test1      toto     test2      riri
0  0.923249  0.572528  0.845464  0.144891
1  0.020438  0.332540  0.144455  0.741412

cols = [c for c in df.columns if c.lower()[:4] != 'test']

df=df[cols]

print df
       toto      riri
0  0.572528  0.144891
1  0.332540  0.741412

2
OP没有指定删除内容不区分大小写。
菲利普·乌云

163

这是一个很好的方法:

df = df[df.columns.drop(list(df.filter(regex='Test')))]

47
或直接就位:df.drop(list(df.filter(regex = 'Test')), axis = 1, inplace = True)
Axel

7
这是一个比公认的答案更优雅的解决方案。我将进一步分解以说明原因,主要是提取list(df.filter(regex='Test'))以更好地显示该行的功能。我还会选择df.filter(regex='Test').columns列表转换
查尔斯·

2
这比公认的答案更优雅。
深度元素

4
我真的很想知道说这个答案“优雅”的评论是什么意思。我本人在应该首先阅读python代码时就感到很困惑。它也比第一个答案慢两倍。regexlike关键字似乎更合适时,它将使用关键字。
杰科特(Jacquot)

2
实际上,这并不像人们声称的那样好。问题filter在于它返回所有数据的副本作为要删除的。如果仅将此结果传递给drop(这将再次返回一个副本),那是浪费的……一种更好的解决方案是str.startswith(我在此处添加了答案)。
cs95

40

便宜,快捷和惯用语: str.contains

在最新版本的熊猫中,可以在索引和列上使用字符串方法。在这里,str.startswith似乎很合适。

要删除以给定子字符串开头的所有列:

df.columns.str.startswith('Test')
# array([ True, False, False, False])

df.loc[:,~df.columns.str.startswith('Test')]

  toto test2 riri
0    x     x    x
1    x     x    x

对于不区分大小写的匹配,可以将基于正则表达式的匹配与str.containsSOL锚一起使用:

df.columns.str.contains('^test', case=False)
# array([ True, False,  True, False])

df.loc[:,~df.columns.str.contains('^test', case=False)] 

  toto riri
0    x    x
1    x    x

如果可能使用混合类型,则也要指定na=False


15

您可以使用“过滤器”过滤出您想要的列

import pandas as pd
import numpy as np

data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]

df = pd.DataFrame(data2)

df

    c   result1     result34    test    test2
0   NaN     2.0     NaN     NaN     1.0
1   20.0    NaN     10.0    5.0     NaN

现在过滤

df.filter(like='result',axis=1)

得到..

   result1  result34
0   2.0     NaN
1   NaN     10.0

4
最佳答案!谢谢。你如何过滤相反的东西?not like='result'
失速

2
然后执行以下操作:df = df.drop(df.filter(like ='result',axis = 1).columns,axis = 1)
阿米尔

14

可以整齐地用以下一行完成此操作:

df = df.drop(df.filter(regex='Test').columns, axis=1)

1
同样(且更快):df.drop(df.filter(regex='Test').columns, axis=1, inplace=True)
Max Ghenis

9

使用DataFrame.select方法:

In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})

In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
   awesome
0    1.215
1    1.247
2    0.142
3    0.169
4    0.137
5   -0.971
6    0.736
7    0.214
8    0.111
9   -0.214

并且op没有指定必须在'Test'之后加上数字:我想删除名称包含单词“ Test”的所有列
2013年

数字遵循Test的假设是完全合理的。重读问题。
菲利普·

2
现在看到:FutureWarning: 'select' is deprecated and will be removed in a future release. You can use .loc[labels.map(crit)] as a replacement
flutefreak19年

记住要import re事先。
ijoseph '19

5

此方法可以完成所有事情。其他许多答案也会创建副本,但效率不高:

df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)




0

删除包含正则表达式的列名称列表时的解决方案。我更喜欢这种方法,因为我经常编辑下拉列表。对下拉列表使用负过滤器正则表达式。

drop_column_names = ['A','B.+','C.*']
drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
df = df.filter(regex=drop_columns_regex,axis=1)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.