我正在寻找一种有效的方法来从DataFrame列的字符串中删除不需要的部分。
数据如下：
time result
1 09:00 +52A
2 10:00 +62B
3 11:00 +44a
4 12:00 +30b
5 13:00 -110a我需要将这些数据修剪为：
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110我试过了.str.lstrip('+-')。str.rstrip('aAbBcC')，但出现错误：
TypeError: wrapper() takes exactly 1 argument (2 given)任何指针将不胜感激！
Answers:
如何从列的字符串中删除不需要的部分？
在最初提出问题的6年后，pandas现在具有大量的“向量化”字符串函数，可以简洁地执行这些字符串操作操作。
该答案将探索其中的一些字符串函数，提出更快的替代方法，最后进行时序比较。
.str.replace指定要匹配的子字符串/样式，以及要替换为的子字符串。
pd.__version__
# '0.24.1'
df
time result
1 09:00 +52A
2 10:00 +62B
3 11:00 +44a
4 12:00 +30b
5 13:00 -110adf['result'] = df['result'].str.replace(r'\D', '')
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110如果您需要将结果转换为整数，则可以使用Series.astype，
df['result'] = df['result'].str.replace(r'\D', '').astype(int)
df.dtypes
time object
result int64
dtype: object如果您不想df就地修改，请使用DataFrame.assign：
df2 = df.assign(result=df['result'].str.replace(r'\D', ''))
df
# Unchanged.str.extract对于提取要保留的子字符串很有用。
df['result'] = df['result'].str.extract(r'(\d+)', expand=False)
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110使用extract，必须指定至少一个捕获组。expand=False将返回带有第一个捕获组中捕获项目的系列。
.str.split 和 .str.get假设您所有的字符串都遵循这种一致的结构，则拆分工作有效。
# df['result'] = df['result'].str.split(r'\D').str[1]
df['result'] = df['result'].str.split(r'\D').str.get(1)
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110如果您正在寻找一般的解决方案，则不建议这样做。
如果您对
str上述基于简洁和可读的访问器的解决方案感到满意，则可以在此处停止。但是，如果您对更快，性能更高的替代产品感兴趣，请继续阅读。
在某些情况下，列表理解应优于熊猫字符串函数。原因是因为字符串函数本来就很难向量化（从字面意义上来说），所以大多数字符串和正则表达式函数只是循环包装，开销更大。
我写的文章，熊猫中的for循环真的不好吗？我什么时候应该在意？，详细介绍。
该str.replace选项可以使用重写re.sub
import re
# Pre-compile your regex pattern for more performance.
p = re.compile(r'\D')
df['result'] = [p.sub('', x) for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110该str.extract示例可以使用列表理解用来重写re.search，
p = re.compile(r'\d+')
df['result'] = [p.search(x)[0] for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110如果可能出现NaN或不匹配的情况，则您需要重新编写上面的内容以包含一些错误检查。我使用一个函数来做到这一点。
def try_extract(pattern, string):
try:
m = pattern.search(string)
return m.group(0)
except (TypeError, ValueError, AttributeError):
return np.nan
p = re.compile(r'\d+')
df['result'] = [try_extract(p, x) for x in df['result']]
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110我们还可以使用列表推导来重写@eumiro和@MonkeyButter的答案：
df['result'] = [x.lstrip('+-').rstrip('aAbBcC') for x in df['result']]和，
df['result'] = [x[1:-1] for x in df['result']]适用于处理NaN等的相同规则。
使用perfplot生成的图。完整的代码清单，供您参考。相关功能在下面列出。
这些比较中的一些比较不公平，因为它们利用了OP数据的结构，但从中得到了好处。需要注意的一件事是，每个列表理解功能都比其等效的pandas变体更快或更可比。
功能
def eumiro(df): return df.assign( result=df['result'].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))) def coder375(df): return df.assign( result=df['result'].replace(r'\D', r'', regex=True)) def monkeybutter(df): return df.assign(result=df['result'].map(lambda x: x[1:-1])) def wes(df): return df.assign(result=df['result'].str.lstrip('+-').str.rstrip('aAbBcC')) def cs1(df): return df.assign(result=df['result'].str.replace(r'\D', '')) def cs2_ted(df): # `str.extract` based solution, similar to @Ted Petrou's. so timing together. return df.assign(result=df['result'].str.extract(r'(\d+)', expand=False)) def cs1_listcomp(df): return df.assign(result=[p1.sub('', x) for x in df['result']]) def cs2_listcomp(df): return df.assign(result=[p2.search(x)[0] for x in df['result']]) def cs_eumiro_listcomp(df): return df.assign( result=[x.lstrip('+-').rstrip('aAbBcC') for x in df['result']]) def cs_mb_listcomp(df): return df.assign(result=[x[1:-1] for x in df['result']])
Try using .loc[row_indexer,col_indexer] = value instead
我会使用熊猫替换功能，因为您可以使用正则表达式，所以它非常简单而强大。在下面，我使用正则表达式\ D删除所有非数字字符，但显然，使用正则表达式可以变得很有创意。
data['result'].replace(regex=True,inplace=True,to_replace=r'\D',value=r'')df.loc[:, 'column_a'].replace(regex=True, to_replace="my_prefix", value="new_prefix")。这会将“ my_prefixaaa”之类的字符串转换为“ new_prefixaaa”。
在特定情况下，如果您知道要从数据框列中删除的位置数，则可以在lambda函数内使用字符串索引来摆脱这些部分：
最后一个字符：
data['result'] = data['result'].map(lambda x: str(x)[:-1])前两个字符：
data['result'] = data['result'].map(lambda x: str(x)[2:])这里有一个错误：目前无法将参数传递给str.lstrip和str.rstrip：
http://github.com/pydata/pandas/issues/2411
编辑：2012-12-07这现在可以在dev分支上工作：
In [8]: df['result'].str.lstrip('+-').str.rstrip('aAbBcC')
Out[8]:
1 52
2 62
3 44
4 30
5 110
Name: result一种非常简单的方法是使用该extract方法选择所有数字。只需为其提供'\d+'可提取任意数字的正则表达式即可。
df['result'] = df.result.str.extract(r'(\d+)', expand=True).astype(int)
df
time result
1 09:00 52
2 10:00 62
3 11:00 44
4 12:00 30
5 13:00 110对于这些类型的任务，我经常使用列表推导，因为它们通常更快。
进行这种操作的各种方法（例如，修改DataFrame中序列的每个元素）的性能可能存在很大差异。通常，列表理解可能是最快的-有关此任务，请参见下面的代码竞赛：
import pandas as pd
#Map
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = data['result'].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))
10000 loops, best of 3: 187 µs per loop
#List comprehension
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = [x.lstrip('+-').rstrip('aAbBcC') for x in data['result']]
10000 loops, best of 3: 117 µs per loop
#.str
data = pd.DataFrame({'time':['09:00','10:00','11:00','12:00','13:00'], 'result':['+52A','+62B','+44a','+30b','-110a']})
%timeit data['result'] = data['result'].str.lstrip('+-').str.rstrip('aAbBcC')
1000 loops, best of 3: 336 µs per loop假设您的DF在数字之间也有那些多余的字符。
result time
0 +52A 09:00
1 +62B 10:00
2 +44a 11:00
3 +30b 12:00
4 -110a 13:00
5 3+b0 14:00您可以尝试str.replace删除字符，不仅从开头和结尾，而且从中间删除。
DF['result'] = DF['result'].str.replace('\+|a|b|\-|A|B', '')输出：
result time
0 52 09:00
1 62 10:00
2 44 11:00
3 30 12:00
4 110 13:00
5 30 14:00