为什么不是所有文件都被压缩以及如何改善解决方案

我有一个约有2万个文件的文件夹。文件根据模式命名xy_{\d1,5}_{\d4}\.abc，例如xy_12345_1234.abc。我想使用以下命令压缩其中的前10K：

ls | sort -n -k1.4,1.9 | head -n10000 | xargs tar -czf xy_0_10000.tar.gz

但是，生成的文件中只有大约2K个文件。

ls | sort -n -k1.4,1.9 | head -n10000 | wc -l 但是返回10000，如预期的那样。

在我看来，我对这里的一些基本知识误解了。

我在Linux Mint 17.1和GNU tar 1.27.1上使用zsh 5.0.2

编辑：

@Archemar建议的分支听起来很合理，最新的fork覆盖了结果文件-该文件包含文件的“尾部” -7773到9999。

的结果xargs --show-limit： Your environment variables take up 3973 bytes POSIX upper limit on argument length (this system): 2091131 POSIX smallest allowable upper limit on argument length (all systems): 4096 Maximum length of command we could actually use: 2087158 Size of command buffer we are actually using: 131072

在我的情况下替换-c为-r或-u不起作用。错误消息是tar: Cannot update compressed archives

同时使用-r和-u是无效的，并且失败tar: You may not specify more than one '-Acdtrux', '--delete' or '--test-label' option

替换-c为-a似乎也是无效的，并且以相同的方式失败，tar: You must specify one of the '-Acdtrux', '--delete' or '--test-label' options尽管我不认识这个问题azf，但对我而言Acdtrux似乎是分离的。

编辑2：

-T看起来是个好方法，我也在这里找到了一个例子。

但是当我尝试

ls | sort -n -k1.4,1.9 | head -n10000 | tar -czf xy_0_10000.tar.gz -T - 我得到 tar: option requires an argument -- 'T'

好吧，也许文件名没有达到tar？但是看起来像他们，是因为当我执行时

ls | sort -n -k1.4,1.9 | head -n10000 | tar --null -czf xy_0_10000.tar.gz -T - 我得到 tar: xy_0_.ab\nxy_1_...<the rest of filenames separated by literal \n>...998.ab Cannot stat: File name too long

那么，为什么tar无法看到文件名呢？

您达到了xargs的限制？

xargs --show-limit

尝试：

• 创建一个虚拟.tgz文件tar czf xy_0_10000.tar.gz /hello/world
• 替换-czf为 -Azf

当xarg达到其极限时，它将分叉命令，因此您最终运行的命令是

  tar czf xy_0_10000.tar.gz file1 file2 .... file666
  tar czf xy_0_10000.tar.gz file667 file668 ... file1203
  tar czf xy_0_10000.tar.gz file1024 ... file2000

当每个tar覆盖上一个tar时，您只会得到最后一个tar c运行。

编辑：

1）根据man taron unbuntu，-a并且-r似乎等效的附加操作是由（任一）完成的 -A, --catenate, --concatenate

2）zip（不是gzip）可以用来添加文件，也许gzip选项可以解决问题。（使用 | xargs zip -qr xy_0_0000.zip，这将生成一个zip文件，而不是.tar.gz）

3）使用@rsanchez的解决方案
以正确的方式向tar添加选项很重要，请尝试

ls | sort -n -k1.4,1.9 | head -n10000 |tar -czf xy_0_10000.tar.gz -T -

其中- -T -表示使用选项-T并-用作参数-T（您可能已经在中生成文件列表/tmp/foo.lst，然后使用-T /tmp/foo.lst）

不需要xargs。如果直接给出tar该-T -选项，它将从标准输入中读取文件名。

例如：

... | tar -T - -czf xy_0_10000.tar.gz

我想用zsh解决方案来补充其他两个答案，该解决方案既不解析ls也不需要xargs。但是，我现在不确定，它是否也受到命令行长度的限制。

1. 定义一个函数，通过修改生成所需的排序键$REPLY。

   sortkey() { REPLY=${REPLY[4,9]} }

   这相当于你的 sort -n -k1.4,1.9

2. 生成一个数组$files，文件名使用上述函数排序：

   files=(*(o+sortkey))

   这相当于 ls | sort -n -k1.4,1.9

3. 返回前10000个文件

   ${files[0,9999]}

   这相当于 ls | sort -n -k1.4,1.9 | head -n10000

因此，所有这些都应该可以解决问题：

sortkey() { REPLY=${REPLY[4,9]} }
files=(*(o+sortkey))
tar -czf xy_0_10000.tar.gz ${files[0,9999]}