将字节转换为字符串

我正在使用以下代码从外部程序获取标准输出：

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]

communication（）方法返回一个字节数组：

>>> command_stdout
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

但是，我想将输出作为普通的Python字符串使用。这样我就可以像这样打印它：

>>> print(command_stdout)
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

我认为这就是binascii.b2a_qp（）方法的用途，但是当我尝试使用它时，我又得到了相同的字节数组：

>>> binascii.b2a_qp(command_stdout)
b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n'

如何将字节值转换回字符串？我的意思是，使用“电池”而不是手动进行操作。我希望它与Python 3兼容。

您需要解码bytes对象以产生一个字符串：

>>> b"abcde"
b'abcde'

# utf-8 is used here because it is a very common encoding, but you
# need to use the encoding your data is actually in.
>>> b"abcde".decode("utf-8") 
'abcde'

您需要解码该字节字符串，然后将其转换为字符（Unicode）字符串。

在Python 2上

encoding = 'utf-8'
'hello'.decode(encoding)

要么

unicode('hello', encoding)

在Python 3上

encoding = 'utf-8'
b'hello'.decode(encoding)

要么

str(b'hello', encoding)

我认为这种方式很简单：

>>> bytes_data = [112, 52, 52]
>>> "".join(map(chr, bytes_data))
'p44'

如果您不知道编码，则要以Python 3和Python 2兼容的方式将二进制输入读取为字符串，请使用古老的MS-DOS CP437编码：

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('cp437'))

因为编码是未知的，所以希望将非英语符号转换为字符cp437（不会翻译英语字符，因为它们在大多数单字节编码和UTF-8中都匹配）。

将任意二进制输入解码为UTF-8是不安全的，因为您可能会得到以下信息：

>>> b'\x00\x01\xffsd'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 2: invalid
start byte

同样适用于latin-1，这在Python 2中很流行（默认？）。请参见“ 代码页布局”中的遗漏之处-这是Python臭名昭著的地方ordinal not in range。

UPDATE 20150604：有传言称Python 3具有surrogateescape错误策略，可将内容编码为二进制数据而不会导致数据丢失和崩溃，但它需要进行转换测试[binary] -> [str] -> [binary]，以验证性能和可靠性。

更新20170116：感谢评论-还可以使用backslashreplace错误处理程序对所有未知字节进行斜线转义。这仅适用于Python 3，因此即使采用这种解决方法，您仍然会从不同的Python版本获得不一致的输出：

PY3K = sys.version_info >= (3, 0)

lines = []
for line in stream:
    if not PY3K:
        lines.append(line)
    else:
        lines.append(line.decode('utf-8', 'backslashreplace'))

看到 详细信息， Python的Unicode支持。

更新20170119：我决定实现适用于Python 2和Python 3的斜线转义解码。它应该比cp437解决方案要慢，但是在每个Python版本上都应产生相同的结果。

# --- preparation

import codecs

def slashescape(err):
    """ codecs error handler. err is UnicodeDecode instance. return
    a tuple with a replacement for the unencodable part of the input
    and a position where encoding should continue"""
    #print err, dir(err), err.start, err.end, err.object[:err.start]
    thebyte = err.object[err.start:err.end]
    repl = u'\\x'+hex(ord(thebyte))[2:]
    return (repl, err.end)

codecs.register_error('slashescape', slashescape)

# --- processing

stream = [b'\x80abc']

lines = []
for line in stream:
    lines.append(line.decode('utf-8', 'slashescape'))

在Python 3中，默认编码为"utf-8"，因此您可以直接使用：

b'hello'.decode()

相当于

b'hello'.decode(encoding="utf-8")

另一方面，在Python 2中，编码默认为默认的字符串编码。因此，您应该使用：

b'hello'.decode(encoding)

encoding您想要的编码在哪里。

注意：在Python 2.7中添加了对关键字参数的支持。

我认为您实际上想要这样：

>>> from subprocess import *
>>> command_stdout = Popen(['ls', '-l'], stdout=PIPE).communicate()[0]
>>> command_text = command_stdout.decode(encoding='windows-1252')

亚伦的答案是正确的，除了您需要知道哪个要使用编码。而且我相信Windows使用的是“ windows-1252”。仅当您的内容中包含一些不寻常的（非ASCII）字符时，这才有意义，但这将有所作为。

顺便说一句，它事实上做事情的原因了Python转移到使用两种不同类型的二进制和文本数据：它不能神奇地将它们转换之间，因为它不知道编码，除非你告诉它！您唯一知道的方法是阅读Windows文档（或在此处阅读）。

将Universal_newlines设置为True，即

command_stdout = Popen(['ls', '-l'], stdout=PIPE, universal_newlines=True).communicate()[0]

虽然@Aaron Maenpaa的答案有效，但最近有用户问：

有没有更简单的方法？'fhand.read（）。decode（“ ASCII”）'[...]太长了！

您可以使用：

command_stdout.decode()

decode()有一个标准参数：

codecs.decode(obj, encoding='utf-8', errors='strict')

要将字节序列解释为文本，您必须知道相应的字符编码：

unicode_text = bytestring.decode(character_encoding)

例：

>>> b'\xc2\xb5'.decode('utf-8')
'µ'

ls命令可能会产生无法解释为文本的输出。Unix上的文件名可以是任何字节序列，但斜杠b'/'和零 除外b'\0'：

>>> open(bytes(range(0x100)).translate(None, b'\0/'), 'w').close()

尝试使用utf-8编码对此类字节汤进行解码将引发UnicodeDecodeError。

可能会更糟。 如果使用错误的不兼容编码，解码可能会默默失败并产生mojibake：

>>> '—'.encode('utf-8').decode('cp1252')
'—'

数据已损坏，但是您的程序仍然不知道发生了故障。

通常，要使用的字符编码不会嵌入字节序列本身。您必须带外传达此信息。一些结果比其他结果更有可能，因此chardet存在可以猜测字符编码的模块。单个Python脚本可能在不同位置使用多种字符编码。

ls可以使用os.fsdecode() 即使对于无法解码的文件名也成功的函数将输出转换为Python字符串（在Unix上使用 sys.getfilesystemencoding()和surrogateescape错误处理程序）：

import os
import subprocess

output = os.fsdecode(subprocess.check_output('ls'))

要获取原始字节，可以使用os.fsencode()。

如果传递universal_newlines=True参数，则subprocess用于 locale.getpreferredencoding(False)解码字节，例如，它可以 cp1252在Windows上使用。

要实时解码字节流， io.TextIOWrapper() 可以使用：example。

不同的命令可能对其输出使用不同的字符编码，例如，dir内部命令（cmd）可能使用cp437。要解码其输出，可以显式传递编码（Python 3.6+）：

output = subprocess.check_output('dir', shell=True, encoding='cp437')

文件名可能与os.listdir()（使用Windows Unicode API）不同（例如，'\xb6'可以用'\x14'—Python的cp437编解码器映射b'\x14'代替）来控制字符U + 0014而不是U + 00B6（¶）。要支持带有任意Unicode字符的文件名，请参阅将 PowerShell输出可能包含非ASCII Unicode字符解码为Python字符串。

由于这个问题实际上是在询问subprocess输出，因此您可以使用更直接的方法，因为它Popen接受了encoding关键字（在Python 3.6+中）：

>>> from subprocess import Popen, PIPE
>>> text = Popen(['ls', '-l'], stdout=PIPE, encoding='utf-8').communicate()[0]
>>> type(text)
str
>>> print(text)
total 0
-rw-r--r-- 1 wim badger 0 May 31 12:45 some_file.txt

其他用户的一般答案是将字节解码为文本：

>>> b'abcde'.decode()
'abcde'

没有参数，sys.getdefaultencoding()将被使用。如果您的数据不是sys.getdefaultencoding()，那么您必须在decode调用中显式指定编码：

>>> b'caf\xe9'.decode('cp1250')
'café'

如果您应该尝试以下操作decode()：

AttributeError：“ str”对象没有属性“ decode”

您还可以直接在转换中指定编码类型：

>>> my_byte_str
b'Hello World'

>>> str(my_byte_str, 'utf-8')
'Hello World'

当使用Windows系统中的数据（以\r\n行结尾）时，我的答案是

String = Bytes.decode("utf-8").replace("\r\n", "\n")

为什么？尝试使用多行Input.txt：

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8")
open("Output.txt", "w").write(String)

您所有的行尾都将加倍（以 \r\r\n），从而导致多余的空行。Python的文本读取函数通常会规范行尾，因此字符串只能使用\n。如果您从Windows系统接收二进制数据，Python将没有机会这样做。从而，

Bytes = open("Input.txt", "rb").read()
String = Bytes.decode("utf-8").replace("\r\n", "\n")
open("Output.txt", "w").write(String)

将复制您的原始文件。

我做了一个清理清单的功能

def cleanLists(self, lista):
    lista = [x.strip() for x in lista]
    lista = [x.replace('\n', '') for x in lista]
    lista = [x.replace('\b', '') for x in lista]
    lista = [x.encode('utf8') for x in lista]
    lista = [x.decode('utf8') for x in lista]

    return lista

对于Python 3，这是一个更安全和Python的方法来从转换byte到string：

def byte_to_str(bytes_or_str):
    if isinstance(bytes_or_str, bytes): # Check if it's in bytes
        print(bytes_or_str.decode('utf-8'))
    else:
        print("Object not of byte type")

byte_to_str(b'total 0\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1\n-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2\n')

输出：

total 0
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file1
-rw-rw-r-- 1 thomas thomas 0 Mar  3 07:03 file2

从sys —系统特定的参数和功能：

要从标准流写入二进制数据或从标准流读取二进制数据，请使用基础二进制缓冲区。例如，要将字节写入stdout，请使用sys.stdout.buffer.write(b'abc')。

def toString(string):    
    try:
        return v.decode("utf-8")
    except ValueError:
        return string

b = b'97.080.500'
s = '97.080.500'
print(toString(b))
print(toString(s))

对于“运行shell命令并以文本而不是字节形式获取其输出” 的特定情况，在Python 3.7上，您应该使用subprocess.run并传入text=True（以及capture_output=True捕获输出）

command_result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
command_result.stdout  # is a `str` containing your program's stdout

text过去称为universal_newlines，并在Python 3.7中进行了更改（很好，为别名）。如果要支持3.7之前的Python版本，请传入universal_newlines=True而不是text=True

如果要转换任何字节，而不仅仅是将字符串转换为字节：

with open("bytesfile", "rb") as infile:
    str = base64.b85encode(imageFile.read())

with open("bytesfile", "rb") as infile:
    str2 = json.dumps(list(infile.read()))

但是，这不是很有效。它将2 MB的图片变成9 MB。

尝试这个

bytes.fromhex('c3a9').decode('utf-8')