同时运行多个scp线程

同时运行多个scp线程：

背景：

我经常发现自己经常镜像一组服务器文件，并且这些服务器文件中包含数千个小的1kb-3kb文件。所有服务器都连接到1Gbps端口，该端口通常分布在各种数据中心中。

问题：

SCP一次又一次地传输这些小文件，这需要花很多时间，我感觉自己是在浪费我拥有的美丽网络资源。

解？：

我有个主意 创建一个脚本，该脚本将文件分成相等的数量，并启动5-6个scp线程，从理论上讲，它将完成5-6倍，不是吗？但是我没有任何Linux脚本编写经验！

问题：

• 对于上述问题是否有更好的解决方案？
• 是否已经存在类似的东西？
• 如果没有，是否有人会帮助我或帮助我？
• 如果不是2或3，那么哪里是开始学习Linux脚本的好地方？像bash或其他。

我会这样做：
tar -cf - /manyfiles | ssh dest.server 'tar -xf - -C /manyfiles'

根据要传输的文件，在tar命令中启用压缩可能很有意义：
tar -czf - /manyfiles | ssh dest.server 'tar -xzf - -C /manyfiles'

您还可以为ssh命令选择一个更友好的CPU密码（例如arcfour）： tar -cf - /manyfiles | ssh -c arcfour dest.server 'tar -xf - -C /manyfiles'

或将两者结合使用，但这实际上取决于您的瓶颈。如果进行增量同步，
显然rsync会更快。

使用rsync代替scp。您可以使用rsync在ssh一样容易scp，它支持“文件传输的流水线，以尽量减少等待时间成本。”

提示：如果数据是可压缩的，请启用压缩。如果不是，请禁用它。

我本来建议使用GNO Parallel（您仍然需要做一些脚本工作），但是随后我发现了pscp（这是pssh的一部分）。那可能恰好满足您的需求。

不能直接使用scp，但辑阵的选择线程传输（即使在单个文件）是bbcp - https://www2.cisl.ucar.edu/resources/storage-and-file-systems/bbcp。

将-s选项用于要传输数据的线程数。非常适合高带宽但连接缓慢，因为滞后限制了每个线程的TCP窗口大小。

可能不相关，但是如果您想获得更实时的信息，可以尝试GlusterFS。效果很好，但是如果您想有效地读取小文件，则需要进行一些调整。