在Python中将没有BOM的UTF-8转换为带有BOM的UTF-8


81

这里有两个问题。我有一组文件,这些文件通常是带有BOM的UTF-8。我想将它们(理想情况下)转换为没有BOM的UTF-8。似乎codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)可以解决这个问题。但是我真的看不到任何有关用法的好例子。这将是处理此问题的最佳方法吗?

source files:
Tue Jan 17$ file brh-m-157.json 
brh-m-157.json: UTF-8 Unicode (with BOM) text

同样,如果我们能够处理清楚知道的不同输入编码(看到的ASCII和UTF-16),那将是理想的。看来这一切都是可行的。是否有一种解决方案可以采用任何已知的Python编码并以UTF-8格式输出而无需BOM?

从下面编辑1个建议的sol'n(谢谢!)

fp = open('brh-m-157.json','rw')
s = fp.read()
u = s.decode('utf-8-sig')
s = u.encode('utf-8')
print fp.encoding  
fp.write(s)

这给了我以下错误:

IOError: [Errno 9] Bad file descriptor

新闻快讯

有人在评论中告诉我,错误是我以'rw'模式而不是'r +'/'r + b'模式打开文件,因此我最终应重新编辑问题并删除已解决的部分。


2
您需要打开文件以进行读取和更新,即使用r+模式。b还要添加内容,以便它也可以在Windows上运行,而不会终止任何有趣的事情。最后,您需要返回文件的开头并在结尾处截断-请参阅我的最新答案。
马丁·盖斯勒

Answers:


123

只需使用“ utf-8-sig”编解码器

fp = open("file.txt")
s = fp.read()
u = s.decode("utf-8-sig")

这样就可以得到一个unicode没有BOM的字符串。然后,您可以使用

s = u.encode("utf-8")

以便在中获取普通UTF-8编码的字符串s。如果文件很大,则应避免将它们全部读入内存。BOM只是文件开头的三个字节,因此您可以使用以下代码将其从文件中删除:

import os, sys, codecs

BUFSIZE = 4096
BOMLEN = len(codecs.BOM_UTF8)

path = sys.argv[1]
with open(path, "r+b") as fp:
    chunk = fp.read(BUFSIZE)
    if chunk.startswith(codecs.BOM_UTF8):
        i = 0
        chunk = chunk[BOMLEN:]
        while chunk:
            fp.seek(i)
            fp.write(chunk)
            i += len(chunk)
            fp.seek(BOMLEN, os.SEEK_CUR)
            chunk = fp.read(BUFSIZE)
        fp.seek(-BOMLEN, os.SEEK_CUR)
        fp.truncate()

它打开文件,读取一个块,并将其比读取它的位置早3个字节写入文件。该文件被原位重写。较简单的解决方案是将较短的文件写入新文件,例如newtover的answer。那会更简单,但是在短时间内使用两倍的磁盘空间。

至于猜测编码,则可以从最具体到最不具体遍历整个编码:

def decode(s):
    for encoding in "utf-8-sig", "utf-16":
        try:
            return s.decode(encoding)
        except UnicodeDecodeError:
            continue
    return s.decode("latin-1") # will always work

UTF-16编码的文件不会解码为UTF-8,因此我们首先尝试使用UTF-8。如果失败,那么我们尝试使用UTF-16。最后,我们使用Latin-1-这将始终有效,因为所有256个字节在Latin-1中都是合法值。None在这种情况下,您可能想要返回,因为这实际上是一个后备,并且您的代码可能想要更仔细地处理(如果可以)。


嗯,我用示例代码更新了编辑#1中的问题,但得到了错误的文件描述符。谢谢。试图弄清楚这一点。
timpone 2012年

60

在Python 3中,这非常简单:读取文件并使用utf-8编码重写:

s = open(bom_file, mode='r', encoding='utf-8-sig').read()
open(bom_file, mode='w', encoding='utf-8').write(s)

1
网络上有关此主题的最佳答案。只需使用utf-8-sig。
QtRoS

6
import codecs
import shutil
import sys

s = sys.stdin.read(3)
if s != codecs.BOM_UTF8:
    sys.stdout.write(s)

shutil.copyfileobj(sys.stdin, sys.stdout)

您能解释一下这段代码是如何工作的吗?$ remove_bom.py <input.txt> output.txt我正确吗?
guneysus

@guneysus,是的,完全是
newtover 2013年

1
我刚刚添加了header = header[3:] if header[0:3] == codecs.BOM_UTF8 else header
chinmayv 2014年

5

这是我的实现,可以在不使用BOM的情况下将任何类型的编码转换为UTF-8,并用通用格式替换Windows Enline:

def utf8_converter(file_path, universal_endline=True):
    '''
    Convert any type of file to UTF-8 without BOM
    and using universal endline by default.

    Parameters
    ----------
    file_path : string, file path.
    universal_endline : boolean (True),
                        by default convert endlines to universal format.
    '''

    # Fix file path
    file_path = os.path.realpath(os.path.expanduser(file_path))

    # Read from file
    file_open = open(file_path)
    raw = file_open.read()
    file_open.close()

    # Decode
    raw = raw.decode(chardet.detect(raw)['encoding'])
    # Remove windows end line
    if universal_endline:
        raw = raw.replace('\r\n', '\n')
    # Encode to UTF-8
    raw = raw.encode('utf8')
    # Remove BOM
    if raw.startswith(codecs.BOM_UTF8):
        raw = raw.replace(codecs.BOM_UTF8, '', 1)

    # Write to file
    file_open = open(file_path, 'w')
    file_open.write(raw)
    file_open.close()
    return 0

2

您可以使用编解码器。

import codecs
with open("test.txt",'r') as filehandle:
    content = filehandle.read()
if content[:3] == codecs.BOM_UTF8:
    content = content[3:]
print content.decode("utf-8")

在所有不可用snipplet(文件句柄也codecs.BOM_UTF8返回语法错误?)
马克斯

2

我发现了这个问题,因为configparser.ConfigParser().read(fp)在打开带有UTF8 BOM头文件时遇到了麻烦。

对于那些正在寻找一种解决方案来删除标头,以便ConfigPhaser可以打开配置文件而不是报告错误:的用户 File contains no section headers,请按以下方式打开文件:

configparser.ConfigParser().read(config_file_path, encoding="utf-8-sig")

通过不必删除文件的BOM表头,可以节省大量的工作量。

(我知道这听起来无关紧要,但是希望这可以帮助像我一样挣扎的人们。)


1
正如我第一次尝试使用-除外->这也可以毫无问题地打开UTF-8“非BOM”编码的文件
flipSTAR
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.