复制大量文件时出现“参数列表过长”错误

我正在使用以下命令：

\cp -uf /home/ftpuser1/public_html/ftparea/*.jpg /home/ftpuser2/public_html/ftparea/

而且我得到了错误：

-bash: /bin/cp: Argument list too long

我也尝试过：

ls /home/ftpuser1/public_html/ftparea/*.jpg | xargs -I {} cp -uf {} /home/ftpuser2/public_html/ftparea/

-bash仍然存在：/ bin / ls：参数列表太长

有任何想法吗？

* .jpg扩展到列表的长度超出外壳程序可以处理的范围。试试这个

find  /home/ftpuser/public_html/ftparea/ -name "*.jpg" -exec cp -uf "{}" /your/destination \;

系统命令的参数列表有一个最大限制-该限制是特定于发行版的，具体取决于MAX_ARG_PAGES编译内核时的值，并且如果不重新编译内核就无法更改。

由于外壳处理团块的方式，当您使用相同的参数（“ * .jpg”）时，这将影响大多数系统命令。由于glob首先由shell处理，然后发送给命令，因此该命令：

cp -uf *.jpg /targetdir/

与您编写的shell基本相同：

cp -uf 1.jpg 2.jpg ... n-1.jpg n.jpg /targetdir/

如果您要处理很多jpeg，那么很快就会变得难以处理。根据命名约定和实际需要处理的文件数，可以一次在目录的另一个子集上运行cp命令：

cp -uf /sourcedir/[a-m]*.jpg /targetdir/
cp -uf /sourcedir/[n-z]*.jpg /targetdir/

这可能行得通，但确切的效果取决于您可以将文件列表分解为方便的，可混淆的块。

易爆 我喜欢那个词。

某些命令（例如find和xargs）可以处理大型文件列表，而无需创建麻烦的参数列表。

find /sourcedir/ -name '*.jpg' -exec cp -uf {} /targetdir/ \;

-exec参数将为find找到的每个文件运行一次命令行的其余部分，将{}替换为找到的每个文件名。由于cp命令一次只能在一个文件上运行，因此参数列表限制不是问题。

由于必须分别处理每个文件，因此速度可能很慢。使用xargs可以提供更有效的解决方案：

find /sourcedir/ -name '*.jpg' -print0 | xargs -0 cp -uf -t /destdir/

xargs可以获取find所提供的完整文件列表，并将其分解为可管理大小的参数列表，然后在每个子列表上运行cp。

当然，也可以重新编译内核，为设置更大的值MAX_ARG_PAGES。但是重新编译内核比我愿意在这个答案中解释的工作还要多。

发生这种情况是因为您的通配符表达式（*.jpg）展开时超出了命令行参数长度限制（可能是因为之下有很多.jpg文件/home/ftpuser/public_html/ftparea）。

有几种方法可以避免这种限制，例如使用find或xargs。请参阅本文，以获取有关如何执行此操作的更多详细信息。

正如GoldPseudo所评论的那样，可以将多少个参数传递给所生成的进程是有限制的。有关该参数的详细说明，请参见他的答案。

您可以通过不向进程传递过多的参数或减少传递的参数数量来避免该问题。

在这种情况下，shell中的for循环，find和ls，grep和while循环都做同样的事情-

for file in /path/to/directory/*.jpg ; 
do
  rm "$file"
done

和

find /path/to/directory/ -name '*.jpg' -exec rm  {} \;

和

ls /path/to/directory/ | 
  grep "\.jpg$" | 
  while
    read file
  do
    rm "$file"
  done

所有的程序都有一个读取目录的程序（shell本身，find和ls），以及一个不同的程序，该程序实际上每次执行都带有一个参数，并遍历整个命令列表。

现在，这将变得很慢，因为需要对与* .jpg模式匹配的每个文件执行rm分叉并执行。

这就是xargs发挥作用的地方。xargs接受标准输入，每N行（对于freebsd默认为5000行），它产生一个带有N个参数的程序。xargs是上述循环的优化，因为您只需要派生1 / N程序即可遍历从命令行读取自变量的整个文件集。

可以为程序指定最大数量的参数，bash将* .jpg扩展为cp的许多参数。您可以使用find，xargs或rsync等解决它。

在这里查看有关xargs的信息并找到

/programming/143171/how-can-i-use-xargs-to-copy-files-that-have-spaces-and-quotes-in-their-names

'*'全局文件扩展到太多文件名。请改用find / home / ftpuser / public_html -name'* .jpg'。

使用+选项find -exec将大大加快操作速度。

find  /home/ftpuser/public_html/ftparea/ -name "*jpg" -exec cp -uf -t /your/destination "{}" +

该+选项必须{}是最后一个参数，因此请使用-t /your/destination（或--target-directory=/your/destination）选项cp使其生效。

来自man find：

-exec命令{} +

          This  variant  of the -exec action runs the specified command on  
          the selected files, but the command line is built  by  appending  
          each  selected file name at the end; the total number of invoca‐  
          tions of the command will  be  much  less  than  the  number  of  
          matched  files.   The command line is built in much the same way  
          that xargs builds its command lines.  Only one instance of  ‘{}’  
          is  allowed  within the command.  The command is executed in the  
          starting directory.

编辑：cp的重新排列的参数

听起来您*.jpg在该目录中的文件太多，无法一次将它们全部放在命令行中。您可以尝试：

find /home/ftpuser/public_html/ftparea1 -name '*.jpg' | xargs -I {} cp -uf {} /home/ftpuser/public_html/ftparea2/

您可能需要检查man xargs实现，以查看该-I开关对于您的系统是否正确。

实际上，您是否真的打算将这些文件复制到它们已经存在的相同位置？

转到文件夹

cd /home/ftpuser1/public_html/

并执行以下命令：

cp -R ftparea/ /home/ftpuser2/public_html/

这样，如果文件夹“ ftparea”具有子文件夹，则如果只希望从其中获得“ * .jpg”文件，则可能会产生负面影响，但是如果没有子文件夹，则此方法肯定比使用该方法快得多。使用find和xargs