Questions tagged «gzip»

是否可以使用gzip压缩非常大的文件（约30 GB）？如果是这样，我应该使用哪些命令，开关和选项？ 还是有另一个程序（最好是Ubuntu发行版中普遍可用的程序）可用于压缩/压缩非常大的文件？您对此有任何经验吗？

17 filesystems  files  compression  gzip 

我正在尝试对7.6 GB gzip文件进行记录计数。我发现使用该zcat命令的方法很少。 $ zcat T.csv.gz | wc -l 423668947 这可以工作，但是需要太多时间（超过10分钟才能获得计数）。我尝试了更多类似的方法 $ sed -n '$=' T.csv.gz 28173811 $ perl -lne 'END { print $. }' < T.csv.gz 28173811 $ awk 'END {print NR}' T.csv.gz 28173811 这三个命令的执行速度都非常快，但计数错误28173811。 如何在最短时间内执行记录计数？

16 shell  gzip 

是否可以加快gzip流程？ 我在用着 mysqldump "$database_name" | gzip > $BACKUP_DIR/$database_name.sql.gz 将数据库备份到目录中$BACKUP_DIR。 联机帮助页上说： -＃--fast --best 使用指定的数字＃调节压缩速度，其中-1或--fast表示最快的压缩方法（较少压缩），而-9或--best表示最慢的压缩方法（最佳压缩）。默认压缩级别为-6（即，偏向于高压缩，而牺牲了速度）。 使用效果如何--fast？ 这是否有效降低了现代计算机上的CPU使用率？ 我的测试结果 我没有注意到任何加速： 7分47秒（默认比率-6） 8分36秒（比率--fast（= 9）） 因此，使用快速压缩似乎需要更长的时间？ 只有更高的压缩率才能真正减慢速度： 11分57秒（比率--best（= 1）） 获得创意之后，lzop我也进行了测试，它确实更快： 6分钟14秒 lzop -1 -f -o $BACKUP_DIR/$database_name.sql.lzo

15 backup  compression  gzip 

假设我有一个gzip压缩的tar-ball compressionArchive.tgz（+100个文件，总计+ 5gb）。 删除与给定文件名模式匹配的所有条目（例如prefix * .jpg），然后将其再次存储在gzip：ed tar球中的最快方法是什么？ 替换旧存档或创建新存档并不重要，以最快的速度为准。

14 tar  gzip 

我想创建一个保留原始文件名的压缩文件。例如，将“ example.txt”压缩为gzip文件应输出名为“ example.txt”而不是“ example.txt.gz”的压缩文件。是否可以用一个命令优雅地执行此操作（而不执行后续命令mv）？

14 gzip 

当我做： # gzip -c foo > foo1.gz # gzip < foo > foo2.gz 为什么foo2.gz最终会比缩小foo1.gz？

13 gzip 

我需要创建一个给定目录的压缩包。但是，我需要确保也包含隐藏文件（例如以开头的文件.）。 以下命令会自动考虑隐藏文件吗？ tar -cvzf packed.tar.gz mydir 如果没有，如何确保我包含隐藏文件？

13 directory  tar  gzip 

如何检查gz文件的有效性，我没有该文件的哈希值，我正在使用gzip -t但它不返回任何输出。 谢谢

13 gzip 

我正在使用wget下载静态html页面。W3C验证程序告诉我该页面以UTF-8编码。然而，当我下载完文件后，我得到了一堆二进制废话。我在Ubuntu上，我认为默认编码为UTF-8？这就是我的语言环境文件所说的。为什么会发生这种情况，我该如何纠正？ 另外，看起来像Content-Encoding: gzip。也许这有所不同？ 这是简单的请求： wget https://www.example.com/page.html 我也尝试过这个： wget https://www.example.com/page.html -q -O - | iconv -f utf-16 -t utf-8 > output.html 哪个返回： iconv: illegal input sequence at position 40 处理文件将返回类似于以下内容的二进制文件： l�?חu�`�q"�:)s��dġ__��~i��6n)T�$H�#���QJ 结果xxd output.html | head -20： 00000000: 1f8b 0800 0000 0000 0003 bd56 518f db44 ...........VQ..D 00000010: 107e a6bf 62d4 8a1e …

12 wget  character-encoding  gzip  http 

我正在使用rsync备份包含很多gz文件的存储库，其中包括每天很多新文件。rsync备份的进行速度比预期的要慢，因为这些gz文件不是使用gzip的--rsyncable选项构建的（这会使gz文件更加“ rsync友好”，而不会显着增加其大小或影响其兼容性）。而且我无法在创建时解决问题，因为文件是由使用python的gzip模块的python脚本（rdiff-backup）生成的，并且不支持与gzip的--rsyncable等效的文件。 因此，在运行rsync之前，我可以识别源数据中的任何新gz文件（即自上次运行rsync以来的新文件）。现在，我想“重新gzip”这些文件，以便将它们以rsyncable-format格式压缩。然后，我可以从优化源运行rsync。 我认为这意味着先通过gunzip然后再通过gzip --rsyncable运行每个文件，但是我不太确定如何以不会冒丢失数据或元数据风险的方式来执行此操作。收到的建议不胜感激。

12 rsync  gzip 

我运行命令： tar -cf myArchive.tar myDirectory/ gzip myArchive.tar 然后我将文件复制到许多不可靠的介质上，然后使用以下命令将其解压缩： tar -xzf myArchive.tar.gz 我压缩了tar球这一事实，是否可以以任何方式保证未包装内容的完整性或至少是CRC？

12 tar  gzip  checksum  integrity 

我必须使用命令gzip（不是tar，这是必要的）创建一个档案，该档案应包含另一个目录中的文件，例如/ etc。我尝试使用命令 gzip myetc.gz /etc 但这没有用。

12 gzip  archive 

是gzip原子的吗？ 如果gzip在gzip压缩文件的过程中停止该过程，会发生什么情况？ 如果它不是原子的，并且已经在gzip *.txt进程中按了Ctrl + C ，如何安全地恢复？ （我不仅对如何恢复感到好奇，而且还对是否gzip特别是原子性感到好奇。）

11 command-line  gzip 

我突然需要恢复一个旧tar.gz文件，但是一旦执行，就应该恢复： tar -zxvf filename.tar.gz 我得到这个： gzip: stdin: invalid compressed data--format violated tar: Child returned status 1 tar: Error is not recoverable: exiting now

11 tar  data-recovery  gzip  corruption 

我试图通过简单地将数据转储到文本文件中来进行“哑”备份时节省空间。我的备份脚本每天执行一次，如下所示： 创建一个以备份日期命名的目录。 将一些数据转储到文本文件中"$name"。 如果文件有效，则将其gzip压缩：gzip "$name"。否则，rm "$name"。 现在，如果前一天还提供了相同的数据，我想添加一个附加步骤以删除文件（并创建符号链接或硬链接）。 起初我想到使用md5sum "$name"，但这是行不通的，因为我还存储了文件名和创建日期。 是否gzip可以比较两个压缩文件并告诉我它们是否相等？如果gzip没有这样的选择，还有其他方法可以实现我的目标吗？

11 gzip  file-comparison