两者完成后如何运行并行进程并合并输出

我有一个bash shell脚本，其中通过大约5或6个不同的程序将一些数据通过管道传输，然后将最终结果传输到制表符分隔的文件中。

然后，我对一个单独的相似数据集再次执行相同操作，然后输出到第二个文件。

然后将两个文件输入另一个程序进行比较分析。例如简化

Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv
AnalysisProg -i Data1res.csv Data2res.csv

我的问题是：如何使step1和step2同时运行（例如，使用＆），但在两者均完成时仅启动step3（AnalysisProg）？

谢谢

ps AnalysisProg在流或FIFO上不起作用。

使用wait。例如：

Data1 ... > Data1Res.csv &
Data2 ... > Data2Res.csv &
wait
AnalysisProg

将：

• 将Data1和Data2管道作为后台作业运行
• 等他们俩完成
• 运行AnalysisProg。

参见例如这个问题。

如果您只有2个文件，那么cxw的答案无疑是更好的解决方案。如果这两个文件仅是示例，而实际上您有10000个文件，则'＆'解决方案将不起作用，因为这会使服务器超载。为此，您需要一个类似GNU Parallel的工具：

ls Data* | parallel 'cat {} | this | that |theother | grep |sed | awk |whatever > {}res.csv
AnalysisProg -i *res.csv

要了解有关GNU Parallel的更多信息：

• 观看介绍视频以获取快速介绍：https : //www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• 浏览本教程（man parallel_tutorial）。您的命令行会为此而爱您。

一种执行此方法的方法可能类似于：

AnalysisProg <<PREPROCESS /dev/stdin
$( 
{   process1=$( pipe | line | 1 >&2 & echo $! )
    process2=$( pipe | line | 2 >&2 & echo $! )
    while ps -p $process1 $process2 >/dev/null; do
        sleep 1
    done
} 2>&1
)
#END
PREPROCESS

这样，您可以为两个管道提供背景，但仍要等待它们完成执行，然后再将它们的输出合并到stdin中，该stdin在here文档中进行评估并移交给AnalysisProg。如果可以使用wait它，则它甚至比while ps循环更好，但是，取决于外壳程序，wait如果您指示它等待不是当前外壳程序子进程的进程，则可以反对。

另请注意，上述方法将整理输出-因此两个进程都将被立即写出。如果您希望将它们分开，或将它们附加到另一个，则可以执行以下操作：

AnalysisProg 3<<PREPROCESS /dev/fd/3 /dev/stderr
$(
process1=$(... >&2 ...) 2>/dev/fd/3
...
} 3>/dev/fd/3 2>/dev/stderr
)

我之前已经演示过这些概念。最好的演示可能在这里和这里。

试试这个。

rm -f Data1Res.csv
rm -f Data2Res.csv
Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv &
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv &
while true
do
  ps aux | grep -v grep | grep -i -E 'Data1Res.csv|Data2Res.csv' &> /dev/null
  if [ $? -ne 0 ]
  then
    AnalysisProg -i Data1res.csv Data2res.csv
    exit 0
  fi
done