python：从压缩的文本文件中读取行

使用python从gz压缩的文本文件中读取一行很容易，而无需完全提取该文件？我有一个大约200mb的text.gz文件。当我提取它时，它变成7.4gb。这不是我必须阅读的唯一文件。对于整个过程，我必须读取10个文件。尽管这将是一个顺序的工作，但我认为在不影响全部信息的情况下做到这一点将是明智之举。我什至不知道有可能。如何使用python完成？我需要逐行阅读文本文件。

您是否尝试过使用gzip.GzipFile？参数类似于open。

使用gzip.GzipFile：

import gzip

with gzip.open('input.gz','rt') as f:
    for line in f:
        print('got line', line)

注意：gzip.open(filename, mode)是的别名gzip.GzipFile(filename, mode)。我喜欢前者，因为它看起来与with open(...) as f:用于打开未压缩文件的相似。

您可以在python中使用标准的gzip模块。只需使用：

gzip.open('myfile.gz')

与其他文件一样打开文件并读取其行。

此处的更多信息：Python gzip模块

gzip库（显然）使用gzip，这可能会有点慢。您可以通过系统调用Pigz（并行化的版本）来加快处理速度gzip。缺点是您必须安装pigz，运行期间将占用更多的内核，但速度更快，而且不会占用更多内存。然后，对该文件的调用变为os.popen('pigz -dc ' + filename)而不是gzip.open(filename,'rt')。Pigz标志-d用于解压缩和-cstdout输出，然后可以使用捕获os.popen。

以下代码接收一个文件和一个数字（1或2），并在测量代码花费的时间时，对具有不同调用的文件中的行数进行计数。在中定义以下代码unzip-file.py：

#!/usr/bin/python
import os
import sys
import time
import gzip

def local_unzip(obj):
    t0 = time.time()
    count = 0
    with obj as f:
        for line in f:
            count += 1
    print(time.time() - t0, count)

r = sys.argv[1]
if sys.argv[2] == "1":
    local_unzip(gzip.open(r,'rt'))
else:
    local_unzip(os.popen('pigz -dc ' + r))

调用这些/usr/bin/time -f %M用于测量28G文件上进程的最大内存使用量，我们得到：

$ /usr/bin/time -f %M ./unzip-file.py $file 1
(3037.2604110240936, 1223422024)
5116

$ /usr/bin/time -f %M ./unzip-file.py $file 2
(598.771901845932, 1223422024)
4996

表明使用基本相同的最大内存，系统调用速度快了大约五倍（10分钟比50分钟）。还值得注意的是，取决于文件中每行读取的内容，这可能不是限制因素，在这种情况下，您采取的选择并不重要。