将Unicode字符串转换为Python中的字符串（包含多余的符号）

如何将Unicode字符串（包含额外的字符，如£$等）转换为Python字符串？

title = u"Klüft skräms inför på fédéral électoral große"
import unicodedata
unicodedata.normalize('NFKD', title).encode('ascii','ignore')
'Kluft skrams infor pa federal electoral groe'

如果不需要翻译非ASCII字符，则可以使用编码为ASCII：

>>> a=u"aaaàçççñññ"
>>> type(a)
<type 'unicode'>
>>> a.encode('ascii','ignore')
'aaa'
>>> a.encode('ascii','replace')
'aaa???????'
>>>

>>> text=u'abcd'
>>> str(text)
'abcd'

如果字符串仅包含ascii字符。

如果您有Unicode字符串，并且想要将其写入文件或其他序列化形式，则必须首先将其编码为可以存储的特定表示形式。有几种常见的Unicode编码，例如UTF-16（大多数Unicode字符使用两个字节）或UTF-8（1-4个字节/代码点，取决于字符）等。要将该字符串转换为特定的编码，您可以可以使用：

>>> s= u'£10'
>>> s.encode('utf8')
'\xc2\x9c10'
>>> s.encode('utf16')
'\xff\xfe\x9c\x001\x000\x00'

可以将此原始字节字符串写入文件。但是，请注意，当读回它时，您必须知道它所使用的编码并使用相同的编码对其进行解码。

写入文件时，您可以使用编解码器模块摆脱此手动编码/解码过程。因此，要打开将所有Unicode字符串编码为UTF-8的文件，请使用：

import codecs
f = codecs.open('path/to/file.txt','w','utf8')
f.write(my_unicode_string)  # Stored on disk as UTF-8

请注意，正在使用这些文件的其他任何文件，如果要读取它们，都必须了解文件的编码格式。如果您是唯一一个进行读/写的人，那么这不是问题，否则请确保以一种其他任何使用文件都可以理解的形式书写。

在Python 3中，这种形式的文件访问是默认的，并且内置open函数将采用编码参数，并始终与以文本模式打开的文件在Unicode字符串（Python 3中的默认字符串对象）之间进行转换。

这是一个例子：

>>> u = u'€€€'
>>> s = u.encode('utf8')
>>> s
'\xe2\x82\xac\xe2\x82\xac\xe2\x82\xac'

好吧，如果您愿意/准备切换到Python 3（可能不是由于与某些Python 2代码的向后不兼容），则不必进行任何转换。Python 3中的所有文本均以Unicode字符串表示，这也意味着不再使用该u'<text>'语法。实际上，您还有字节字符串，用于表示数据（可以是编码字符串）。

http://docs.python.org/3.1/whatsnew/3.0.html#text-vs-data-instead-of-unicode-vs-8位

（当然，如果您当前使用的是Python 3，则问题可能与您尝试将文本保存到文件中有关。）

这是一个示例代码

import unicodedata    
raw_text = u"here $%6757 dfgdfg"
convert_text = unicodedata.normalize('NFKD', raw_text).encode('ascii','ignore')

文件包含Unicode字符串

\"message\": \"\\u0410\\u0432\\u0442\\u043e\\u0437\\u0430\\u0446\\u0438\\u044f .....\",

为了我

 f = open("56ad62-json.log", encoding="utf-8")
 qq=f.readline() 

 print(qq)                          
 {"log":\"message\": \"\\u0410\\u0432\\u0442\\u043e\\u0440\\u0438\\u0437\\u0430\\u0446\\u0438\\u044f \\u043f\\u043e\\u043b\\u044c\\u0437\\u043e\\u0432\\u0430\\u0442\\u0435\\u043b\\u044f\"}

(qq.encode().decode("unicode-escape").encode().decode("unicode-escape")) 
# '{"log":"message": "Авторизация пользователя"}\n'

对于我的情况，没有答案可用。在这里，我有一个包含unichar字符的字符串变量，在此没有解释的encoding-decode起作用。

如果我在航站楼里

echo "no me llama mucho la atenci\u00f3n"

要么

python3
>>> print("no me llama mucho la atenci\u00f3n")

输出正确：

output: no me llama mucho la atención

但是使用脚本加载此字符串变量无法正常工作。

这是对我的案例起作用的，以防万一：

string_to_convert = "no me llama mucho la atenci\u00f3n"
print(json.dumps(json.loads(r'"%s"' % string_to_convert), ensure_ascii=False))
output: no me llama mucho la atención