Questions tagged «gzip»

gzip(或GNU zip)是一种文件格式,是用于使用DEFLATE算法压缩文件的相应实用程序。通常的扩展名是.gz。

7
为什么Gzip压缩不能消除重复的数据块?
我只是做了一个小实验,我用重复的文件创建了一个tar存档,看看它是否会被压缩,令我敬畏,事实并非如此!详细信息如下(为使阅读更愉悦,其结果): $ dd if=/dev/urandom bs=1M count=1 of=a 1+0 records in 1+0 records out 1048576 bytes (1.0 MB) copied, 0.114354 s, 9.2 MB/s $ cp a b $ ln a c $ ll total 3072 -rw-r--r-- 2 guido guido 1048576 Sep 24 15:51 a -rw-r--r-- 1 guido guido 1048576 Sep 24 …



4
是时候压缩非常大的(100G)文件了
我发现自己不得不压缩许多非常大的文件(80-ish GB),并且我对我的系统表现出的(缺乏)速度感到惊讶。我得到大约500 MB / min的转换速度;使用top,我似乎正在以大约100%使用单个CPU。 我非常确定这不是(只是)磁盘访问速度,因为创建tar文件(这就是80G文件的创建方式)仅花费了几分钟(也许5或10),但是经过2个小时多之后,我仍然使用了简单的gzip命令未完成。 综上所述: tar -cvf myStuff.tar myDir/* 用了不到5分钟的时间创建了87 G tar文件 gzip myStuff.tar 花了两个小时又十分钟,创建了一个55G的zip文件。 我的问题:这正常吗?有某些选择gzip可以加快速度吗?串联命令并使用会更快tar -cvfz吗?只见参考pigz- GZip压缩的并行实现 -但不幸的是我不能安装我使用的机器上的软件,所以这不是我的选择。例如,参见前面的问题。 我打算自己尝试其中一些选项并为它们计时-但是,我很可能不会碰到选项的“魔术组合”。我希望这个网站上的某人知道加快速度的正确方法。 当我获得其他试验的结果时,我将更新此问题-但如果有人有特别好的技巧,我将非常感激。也许gzip只是花费了比我意识到更多的处理时间... 更新 按照承诺,我尝试了以下建议的技巧:更改压缩量,并更改文件的目标。对于大约4.1GB的tar,我得到以下结果: flag user system size sameDisk -1 189.77s 13.64s 2.786G +7.2s -2 197.20s 12.88s 2.776G +3.4s -3 207.03s 10.49s 2.739G +1.2s -4 223.28s 13.73s 2.735G +0.9s …
27 linux  gzip 

5
Rsync友好的gzip
此问题是从Stack Overflow 迁移而来的,因为可以在Super User上回答。 迁移 7年前。 我一定不是唯一的一个-我正在同步.tar.gz文件,请注意,每次完整文件都进行rsync而不是差异时。读到它似乎可以回溯到1999年,有人创造了一种算法来解决问题http://svana.org/kleptog/rgzip.html(仅需要传输的数据的5%) 自那以来,该问题已经消失了,如何创建对rsync友好的.tar.gz文件?
26 linux  gzip  rsync 

4
如何在不实际解压缩的情况下获得gzip文件的未压缩大小?
请找到我的操作系统详细信息: $ uname -a AIX xxyy 1 6 000145364C00 我尝试了以下命令来获取gzip存档中文件的大小: $ gzip -l mycontent.DAT.Gz compressed uncompr. ratio uncompressed_name -1223644243 1751372002 -75.3% mycontent.DAT.Gz 不确定如何从中解压缩大小。压缩文件大小接近4 GB。 因此,我尝试了此选项以捕获正确的数据: $ zcat mycontent.DAT.Gz | wc -c 它给了我这个错误: mycontent.DAT.Gz.Z:A file or directory in the path name does not exist. 0 您能告诉我如何在不解压缩源文件的情况下从shell脚本中捕获此值吗?
25 unix  shell  gzip  gz 

6
如何评估压缩文件的最佳存档格式?
通常,我观察到以下内容: Linux-y文件或工具使用bzip2或gzip分发存档 Windows-y文件或工具使用ZIP分发存档 许多人使用7-Zip创建和分发自己的档案 问题: 这些格式(似乎都是开放格式)的优缺点是什么?我何时/为什么应该选择一个(例如7-Zip)而不是另一个(例如ZIP)? 即使所有这些都是便携式格式,为什么上述趋势似乎仍然存在?在特定平台上使用特定存档格式有什么特殊优势?

6
如何将vmlinuz解压缩为vmlinux?
我已经尝试过解压缩,gzip和所有其他作为谷歌搜索结果出现的解决方案,但这些解决方案对我没有用。 要仅获取图像,请搜索GZ签名- 1f 8b 08 00。 > od -A d -t x1 vmlinuz | grep '1f 8b 08 00' 0024576 24 26 27 00 ae 21 16 00 1f 8b 08 00 7f 2f 6b 45 因此图片开始于24576+8 => 24584。然后只需从该点复制图像并解压缩- > dd if=vmlinuz bs=1 skip=24584 | zcat > vmlinux 1450414+0 records …

5
最快的GZIP实用程序
我正在寻找最快的gzip(或zip)实用程序。我有一个LVM卷,其中95%的空白不存在0,因此压缩非常容易。我正在寻找最快的解决方案,除了之外,实际上并不关心压缩0。 我知道gzip -1(与相同gzip --fast),但想知道是否有更快的方法。 谢谢。 编辑: 经过一些测试,我与和进行了比较gzip -1,得出以下结果:lzop -1pigz -1 PIGZ: time dd if=/dev/VPS/snap | pigz -1 | ssh backup-server "dd of=/home/backupvps/snap.pigz" 104857600+0 records in 104857600+0 records out 53687091200 bytes (54 GB) copied, 2086.87 seconds, 25.7 MB/s 7093985+266013 records in 7163950+1 records out 3667942715 bytes (3.7 GB) copied, 2085.75 seconds, …

2
有没有办法强制gzip不要覆盖冲突文件?
我正在写一个脚本,我正在抓取文件。 我可能会压缩文件,创建一个同名的文件,并尝试gzip这个,例如 $ ls -l archive/ total 4 -rw-r--r-- 1 xyzzy xyzzy 0 Apr 16 11:29 foo -rw-r--r-- 1 xyzzy xyzzy 24 Apr 16 11:29 foo.gz $ gzip archive/foo gzip: archive/foo.gz already exists; do you wish to overwrite (y or n)? n not overwritten 通过使用gzip --force,我可以强制gzip覆盖foo.gz,但在这种情况下,我认为如果我覆盖,我很可能会丢失数据foo.gz。似乎没有命令行开关强制gzip .gz单独保留文件...在提示符下按'n'的非交互式版本。 我尝试过,gzip --noforce并gzip --no-force希望这些可能遵循GNU选项标准,但这些都不起作用。 …


3
用gzip压缩时具有相同内容但具有不同md5sum的文件?
我不知道为什么会这样,但是我上载了一些文件,Amazon S3然后删除已发送的文件md5sum,并同时检查了它们在Amazon和本地的文件。但是最近我发现关于同一内容的这个问题正在产生两种不同的md5sum [valter.silva@alog ~]$ ls renew.log s3 [valter.silva@alog ~]$ ls s3/ renew.log [valter.silva@alog ~]$ md5sum renew.log d41d8cd98f00b204e9800998ecf8427e renew.log [valter.silva@alog ~]$ md5sum s3/renew.log d41d8cd98f00b204e9800998ecf8427e s3/renew.log [valter.silva@alog ~]$ gzip renew.log [valter.silva@alog ~]$ gzip s3/renew.log [valter.silva@alog ~]$ md5sum renew.log.gz aa1f0ae9a61aac5bcd32b917fbd9324b renew.log.gz [valter.silva@alog ~]$ md5sum s3/renew.log.gz 6ae0e48edb68e9ed938fdfc3894f6c94 s3/renew.log.gz 有人知道为什么会这样吗?还是应该检查我的文件是否一致,可靠? 更新 Answering Tiago Cruz答案: [valter.silva@alog …
16 linux  gzip  md5 

6
文件意外结束。Gzip压缩文件
我对gzip文件发疯了。 我可以使用WinRAR在Windows中解压缩该文件,但是在任何UNIX操作系统上都不可能。 该文件似乎还可以。如果我做 file the_name_of_the_file.gz 我得到: the_name_of_the_file.gz: gzip compressed data, from Unix, last modified: Sun Jan 30 14:10:21 2011 但是如果我这样做 gunzip -f the_name_of_the_file.gz 我总是得到: gzip: the_name_of_the_file.gz: unexpected end of file 当我尝试在Ubuntu或MacOSX中使用GUI工具提取文件时,也会发生相同的问题, 有任何想法吗?
16 linux  bash  gzip 



By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.