如何在远程计算机上并行运行脚本？

我可以将SSH放入具有64个内核的远程计算机中。可以说我需要在这台机器上并行运行640个Shell脚本。我该怎么做呢？

我可以看到将640个脚本分成10个脚本的64个组。然后，我将如何并行运行这些组中的每个组，即在每个可用核心中的每个上一组。

将脚本的形式

    ./script_A &
    ./script_B &
    ./script_C &
    ...

哪里script_A对应第一组，script_B第二组等就足够了？

在一个内核上运行的一组内的脚本可以顺序运行，但是我希望这些组在所有内核上并行运行。

这看起来像gnu parallel的工作：

parallel bash -c ::: script_*

这样做的好处是您不必按核心对脚本进行分组，而是可以为您parallel完成此操作。

当然，如果您不想在脚本运行时暂挂SSH会话，则应使用nohup或screen

只要您不需要监视输出，并且只要脚本可以运行，就可以将ssh会话保持打开状态就可以了。如果这些都不是真的，我建议您使用screen多个标签。你可以做类似的事情

screen
for script in script_A script_B script_C; do
  screen -t "$script" ./$script
done;

要启动并管理大量脚本作业，您将需要某种管理软件来控制资源使用（CPU，内存，优先级），查看作业状态（等待，挂起，运行，完成）。

为此，构建了Grid Engine，例如，Sun Grid Engine（http://wiki.gridengine.info/wiki/index.php/Main_Page）或Open Grid Scheduler（http://gridscheduler.sourceforge.net/）。在开始之前，您确实需要管理员为您安装适当的软件。管理员可能很乐意这样做，而不是看到计算机上正在运行数百个进程，并且无法对其进行控制。

通常，管理员定义一台计算机可以划分为多少个插槽，然后将作业提交到队列中并指定该作业要消耗多少个插槽，Grid Engine将监视整个系统的使用情况，并根据管理员定义的排队策略。例如，最多可以同时运行x个作业，等等。其余的作业将处于等待状态的队列中，并在较早的作业完成后释放。

您可以尝试使用分布式外壳。从以下位置下载：http： //sourceforge.net/projects/dsh/

我已经做过很多次，通常只是滚动自己的脚本来完成作业控制。通常，如果您具有要在文件中运行的所有脚本的名称，则解决方案如下所示：

#!/bin/bash
scripts=$(cat scriptfiles.txt)
declare -i NUM=0
declare -i MAX_PROCS=30
for script in "$scripts"
do
  NUM=$((NUM+1))
  ssh remote.host.ip "${script}" > ${script}.log 2>&1 &
  if [ $NUM -ge $MAX_PROCS ];then
    echo "Waiting for $NUM processes to finish."
    wait
    NUM=0
  fi
done
echo "Waiting for final $NUM processes to finish."
wait
exit

这是蛮力的，但有效。另外，您不需要在系统中添加任何其他软件，例如parallel。

一个大问题是，wait命令将等待最慢的脚本完成，这会浪费时间。我创建了脚本来解决这种情况，但是您可以想象它们会变得更加复杂。如果所有脚本的运行时间大致相同，则效果很好。

另一个问题是您可能必须调整MAX_PROCS才能确定最佳性能。

当然，ssh连接的数量可能会变得笨拙。在这种情况下，只需将此脚本移至远程主机，然后更改“ ssh ...”行即可直接运行脚本。