是时候压缩非常大的(100G)文件了
我发现自己不得不压缩许多非常大的文件(80-ish GB),并且我对我的系统表现出的(缺乏)速度感到惊讶。我得到大约500 MB / min的转换速度;使用top,我似乎正在以大约100%使用单个CPU。 我非常确定这不是(只是)磁盘访问速度,因为创建tar文件(这就是80G文件的创建方式)仅花费了几分钟(也许5或10),但是经过2个小时多之后,我仍然使用了简单的gzip命令未完成。 综上所述: tar -cvf myStuff.tar myDir/* 用了不到5分钟的时间创建了87 G tar文件 gzip myStuff.tar 花了两个小时又十分钟,创建了一个55G的zip文件。 我的问题:这正常吗?有某些选择gzip可以加快速度吗?串联命令并使用会更快tar -cvfz吗?只见参考pigz- GZip压缩的并行实现 -但不幸的是我不能安装我使用的机器上的软件,所以这不是我的选择。例如,参见前面的问题。 我打算自己尝试其中一些选项并为它们计时-但是,我很可能不会碰到选项的“魔术组合”。我希望这个网站上的某人知道加快速度的正确方法。 当我获得其他试验的结果时,我将更新此问题-但如果有人有特别好的技巧,我将非常感激。也许gzip只是花费了比我意识到更多的处理时间... 更新 按照承诺,我尝试了以下建议的技巧:更改压缩量,并更改文件的目标。对于大约4.1GB的tar,我得到以下结果: flag user system size sameDisk -1 189.77s 13.64s 2.786G +7.2s -2 197.20s 12.88s 2.776G +3.4s -3 207.03s 10.49s 2.739G +1.2s -4 223.28s 13.73s 2.735G +0.9s …