Python，从字符串中删除所有非字母字符

我正在编写python MapReduce字数统计程序。问题是数据中散布着许多非字母字符，我发现这篇文章从Python的字符串中剥离了除了字母数字字符之外的所有内容，这显示了使用正则表达式的一个很好的解决方案，但是我不确定如何实现它

def mapfn(k, v):
    print v
    import re, string 
    pattern = re.compile('[\W_]+')
    v = pattern.match(v)
    print v
    for w in v.split():
        yield w, 1

恐怕我不确定该如何使用该库re甚至正则表达式。我不确定如何将正则表达式模式v正确地应用于传入的字符串（书的一行）以检索没有任何非字母数字字符的新行。

有什么建议吗？

使用 re.sub

import re

regex = re.compile('[^a-zA-Z]')
#First parameter is the replacement, second parameter is your input string
regex.sub('', 'ab3d*E')
#Out: 'abdE'

或者，如果您只想删除一组特定的字符（因为输入中可以使用撇号...）

regex = re.compile('[,\.!?]') #etc.

如果您不想使用正则表达式，可以尝试

''.join([i for i in s if i.isalpha()])

您可以使用re.sub（）函数删除以下字符：

>>> import re
>>> re.sub("[^a-zA-Z]+", "", "ABC12abc345def")
'ABCabcdef'

re.sub（匹配模式，替换字符串，搜索字符串）

• "[^a-zA-Z]+" -查找不是a-zA-z的任何字符组。
• "" -将匹配的字符替换为“”

尝试：

s = ''.join(filter(str.isalnum, s))

这将从字符串中获取每个字符，仅保留字母数字字符，并从中返回一个字符串。

最快的方法是正则表达式

#Try with regex first
t0 = timeit.timeit("""
s = r2.sub('', st)

""", setup = """
import re
r2 = re.compile(r'[^a-zA-Z0-9]', re.MULTILINE)
st = 'abcdefghijklmnopqrstuvwxyz123456789!@#$%^&*()-=_+'
""", number = 1000000)
print(t0)

#Try with join method on filter
t0 = timeit.timeit("""
s = ''.join(filter(str.isalnum, st))

""", setup = """
st = 'abcdefghijklmnopqrstuvwxyz123456789!@#$%^&*()-=_+'
""",
number = 1000000)
print(t0)

#Try with only join
t0 = timeit.timeit("""
s = ''.join(c for c in st if c.isalnum())

""", setup = """
st = 'abcdefghijklmnopqrstuvwxyz123456789!@#$%^&*()-=_+'
""", number = 1000000)
print(t0)


2.6002226710006653 Method 1 Regex
5.739747313000407 Method 2 Filter + Join
6.540099570000166 Method 3 Join

如果您计划匹配特定的Unicode属性类，建议使用PyPiregex模块。该库还被证明更稳定，尤其是处理大文本时，并且在各种Python版本中都能产生一致的结果。您需要做的就是保持它为最新。

如果安装（使用pip intall regex或pip3 install regex），则可以使用

import regex
print ( regex.sub(r'\P{L}+', '', 'ABCŁąć1-2!Абв3§4“5def”') )
// => ABCŁąćАбвdef

从中删除Unicode字母以外的所有1个或更多字符的块text。参见在线Python演示。您也可以使用"".join(regex.findall(r'\p{L}+', 'ABCŁąć1-2!Абв3§4“5def”'))来获得相同的结果。

在Python中re，为了匹配任何Unicode字母，可以使用该[^\W\d_]结构（匹配任何unicode字母？）。

因此，要删除所有非字母字符，可以匹配所有字母并加入结果：

result = "".join(re.findall(r'[^\W\d_]', text))

或者，删除与[^\W\d_]以下字符不匹配的所有字符：

result = re.sub(r'([^\W\d_])|.', r'\1', text, re.DOTALL)

在线观看正则表达式演示。但是，由于Unicode标准正在发展，并且在不同的Python版本上可能会产生不一致的结果，并且与之匹配的字符集\w将取决于Python版本。regex强烈建议使用PyPi库以获得一致的结果。