为什么Zip能够压缩单个文件比具有相同内容的多个文件小？

假设我有10,000个XML文件。现在假设我想将它们发送给朋友。在发送它们之前，我想对其进行压缩。

方法1：不要压缩它们

结果：

Resulting Size: 62 MB
Percent of initial size: 100%

方法2：压缩每个文件并将其发送给他10,000个xml文件

命令：

for x in $(ls -1) ;  do   echo $x ; zip "$x.zip" $x ; done

结果：

Resulting Size: 13 MB
Percent of initial size: 20%

方法3：创建一个包含10,000个xml文件的单个zip

命令：

zip all.zip $(ls -1)

结果：

Resulting Size: 12 MB
Percent of initial size: 19%

方法4：将文件串联成单个文件并压缩

命令：

cat *.xml > oneFile.txt ; zip oneFile.zip oneFile.txt

结果：

Resulting Size: 2 MB
Percent of initial size: 3%

问题：

• 当我仅压缩单个文件时，为什么会得到如此显着更好的结果？
• 我期望使用方法3会比使用方法2获得更好的结果，但事实并非如此。为什么？
• 此行为特定于zip吗？如果尝试使用，gzip会得到不同的结果吗？

附加信息：

$ zip --version
Copyright (c) 1990-2008 Info-ZIP - Type 'zip "-L"' for software license.
This is Zip 3.0 (July 5th 2008), by Info-ZIP.
Currently maintained by E. Gordon.  Please send bug reports to
the authors using the web page at www.info-zip.org; see README for details.

Latest sources and executables are at ftp://ftp.info-zip.org/pub/infozip,
as of above date; see http://www.info-zip.org/ for other sites.

Compiled with gcc 4.4.4 20100525 (Red Hat 4.4.4-5) for Unix (Linux ELF) on Nov 11 2010.

Zip special compilation options:
    USE_EF_UT_TIME       (store Universal Time)
    SYMLINK_SUPPORT      (symbolic links supported)
    LARGE_FILE_SUPPORT   (can read and write large files on file system)
    ZIP64_SUPPORT        (use Zip64 to store large files in archives)
    UNICODE_SUPPORT      (store and read UTF-8 Unicode paths)
    STORE_UNIX_UIDs_GIDs (store UID/GID sizes/values using new extra field)
    UIDGID_NOT_16BIT     (old Unix 16-bit UID/GID extra field not used)
    [encryption, version 2.91 of 05 Jan 2007] (modified for Zip 3)

编辑：元数据

一个答案表明区别在于存储在zip中的系统元数据。我认为情况并非如此。为了测试，我做了以下工作：

for x in $(seq 10000) ; do touch $x ; done
zip allZip $(ls -1)

生成的zip文件为1.4MB。这意味着仍有约10 MB的无法解释的空间。

压缩时，Zip分别处理每个文件的内容。每个文件将具有其自己的压缩流。压缩算法（通常为DEFLATE）内支持识别重复部分。但是，Zip中不支持在文件之间查找冗余。

这就是为什么当内容位于多个文件中时会有太多额外空间的原因：它将相同的压缩流多次放入文件中。

ZIP压缩基于要压缩的数据中的重复模式，文件越长，压缩效果越好，因为可以找到并使用越来越多的模式。

简化后，如果压缩一个文件，则在每个结果zip文件中都必须包含将（短）代码映射到（较长）模式的字典。如果您压缩一个长文件，字典将被“重用”，并且在所有内容上都将变得更加有效。

如果您的文件甚至有点相似（就像文本一样），则对“字典”的重用将非常有效，结果总zip会小得多。

在Zip中，每个文件分别压缩。相反的是“固体压缩”，即文件被压缩在一起。默认情况下，7-zip和Rar使用实体压缩。Gzip和Bzip2无法压缩多个文件，因此首先使用Tar，其效果与实体压缩相同。

由于xml文件具有相似的结构，并且如果将文件压缩在一起，则内容可能也相似，因此压缩率会更高。

例如，如果一个文件包含字符串"<content><element name="，并且压缩程序已经在另一个文件中找到该字符串，它将用一个指向先前匹配项的小指针替换该字符串，如果压缩程序不使用“固体压缩”，则字符串中的第一个出现文件将被记录为较大的文字。

Zip不仅存储文件的内容，还存储文件元数据，例如拥有的用户ID，权限，创建和修改时间等。如果您有一个文件，则有一组元数据；如果您有10,000个文件，则有10,000套元数据。

OP遗漏的一个选项是将所有文件压缩在一起，同时关闭压缩功能，然后将压缩结果设置为最大的压缩结果文件压缩。通过允许压缩利用跨文件边界的冗余，粗略地模拟了* nix .tar.Z，.tar.gz，.tar.bz等压缩档案的行为（ZIP算法在一次运行时无法做到）通过）。这样可以在以后提取单个XML文件，但可以最大程度地提高压缩率。缺点是提取过程需要额外的步骤，暂时占用了比普通.zip所需更多的磁盘空间。

借助7-Zip这样的免费工具将tar系列扩展到Windows，实际上没有理由不使用.tar.gz或.tar.bz等，因为Linux，OS X和BSD都具有操纵它们的本机工具。

zip压缩格式分别存储和压缩每个文件。它不利用文件之间的重复，而仅利用文件内的重复。

串联文件可以使zip利用所有文件的重复功能，从而大大提高压缩率。

例如，假设每个XML文件都有一个特定的头。该标头在每个文件中仅出现一次，但在许多其他文件中几乎相同地重复。在方法2和3中，zip无法为此压缩，但在方法4中，它可以压缩。

在Mike Scott提到的元数据旁边，压缩算法也有开销。

压缩一堆单独的小文件时，您必须非常幸运地能够压缩它们，因为恰好会填满一个压缩块。当压缩单个整体块时，系统可以继续将数据流式传输到其算法，而忽略单个文件的“边界”（由于缺少更好的单词）。

还已知ASCII具有高压缩系数。plus xml通常非常重复，使元数据成为数据的一大块，无法像xml内容那样容易地进行压缩。

最后，如果内存使用得当，则zip使用类似于字典编码的内容，由于重复性，它在ascii文件上尤其有效，在XML上尤其有效

数据压缩说明：http : //mattmahoney.net/dc/dce.html

考虑以下XML：

<root>
  <element id="1" />
  <element id="2" /> 
  <other id="3" />
  ...
</root>

XML具有非常重复的结构，Zip利用这些重复来构建其模式更多出现的字典，然后在压缩时使用较少的位来存储更多的重复模式，而使用更多的位来存储更少的重复模式。

当你串连这些文件，源文件（来源ZIP）是很大的，但包含了许多重复的模式，因为XML的无聊结构德分布摊销在大整个文件，给人以ZIP来存储这些机会模式使用更少的位。

现在，如果将不同的XML组合到一个文件中，即使这些文件具有完全不同的标记名，压缩算法也将在所有文件中找到最佳的模式分布，而不是逐个文件。

最终，压缩算法找到了最佳的重复模式分布。

除了7-Zip答案之外，还有另一种方法不那么好，但是如果出于某种原因您不想使用7-Zip，则值得进行测试：

压缩zip文件。现在，通常一个zip文件是不可压缩的，但是当它包含许多相同的文件时，压缩程序可以找到此冗余并将其压缩。请注意，在处理大量没有冗余的文件时，我也看到了很小的收获。如果您真的很在意大小，那么如果您的zip文件过多，则值得尝试。