CSV阅读器（Python）中的“行包含NULL字节”

我正在尝试编写一个程序，该程序查看.CSV文件（input.csv）并仅重写以某个元素（corrected.csv）开头的行，如文本文件（output.txt）中所列。

这是我的程序现在的样子：

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

不幸的是，我一直收到此错误，而且我不知道它是什么。

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

感谢这里的所有人，甚至使我明白这一点。

我已经通过更简单的解决方案解决了类似的问题：

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

关键是使用编解码器模块以UTF-16编码打开文件，还有很多编码，请查看文档。

我猜你在input.csv中有一个NUL字节。你可以用

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

如果你这样做

reader = csv.reader(x.replace('\0', '') for x in mycsv)

可能会帮助您解决。否则可能表明您在.csv文件中有utf16或“有趣”的内容。

如果您要用某些内容替换空值，可以执行以下操作：

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

如果要假装不存在空值，则可以内联生成器以过滤掉空值。当然，这是假定空字节实际上不是编码的一部分，而是某种错误的工件或错误。

参见(line.replace('\0','') for line in f)下文，您可能还想使用mode打开该文件rb。

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

这将告诉您问题所在。

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

或许，这从daniweb将是有益的：

从csv文件读取时出现此错误：“运行时错误！行包含NULL字节”。关于此错误的根本原因有什么想法吗？

...

好的，我明白了，以为我会发布解决方案。只是让我感到悲痛...使用过的文件以.xls格式而不是.csv格式保存没有捕获到此文件，因为文件名本身仍具有.csv扩展名，而类型仍为.xls

一个棘手的方法：

如果您在Lunux下开发，则可以使用sed的所有功能：

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)    

大型文件的最有效解决方案。

检查Python3，Kubuntu

我最近解决了这个问题，在我的情况下，这是我尝试读取的压缩文件。首先检查文件格式。然后检查内容是否为扩展名所指。

将我的linux环境变成一个干净的完整UTF-8环境对我来说是个诀窍。在命令行中尝试以下操作：

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

这个问题早就解决了，但是我遇到了这个答案，因为在读取CSV以在Keras和TensorFlow中作为训练数据进行处理时遇到了意外错误。

就我而言，这个问题要简单得多，值得我们注意。生成到CSV中的数据不一致，导致某些列完全丢失，这似乎最终也会引发此错误。

课程：如果您看到此错误，请验证数据是否按照您认为的样子进行！

pandas.read_csv现在在读取/写入时处理不同的UTF编码，因此可以直接处理空字节

data = pd.read_csv(file, encoding='utf-16')

参见https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html