管道传输到外壳中的多个文件

我有一个应用程序，该应用程序会产生大量不希望存储到磁盘上的数据。该应用程序主要输出我不希望使用的数据，但是输出的一组有用信息必须拆分为单独的文件。例如，给出以下输出：

JUNK
JUNK
JUNK
JUNK
A 1
JUNK
B 5
C 1
JUNK

我可以这样运行应用程序三遍：

./app | grep A > A.out
./app | grep B > B.out
./app | grep C > C.out

这可以让我得到想要的东西，但是会花费太长时间。我也不想将所有输出转储到单个文件中并通过它进行解析。

有什么方法可以将上面显示的三个操作组合在一起，使我只需要运行一次应用程序，仍然可以获得三个单独的输出文件？

如果您有T恤

./app | tee >(grep A > A.out) >(grep B > B.out) >(grep C > C.out) > /dev/null

（从这里）

（关于工序替换）

您可以使用 awk

./app | awk '/A/{ print > "A.out"}; /B/{ print > "B.out"}; /C/{ print > "C.out"}'

您还可以使用shell的模式匹配功能：

./app | while read line; do 
     [[ "$line" =~ A ]] && echo $line >> A.out; 
     [[ "$line" =~ B ]] && echo $line >> B.out; 
     [[ "$line" =~ C ]] && echo $line >> C.out; 
 done

甚至：

./app | while read line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && echo $line >> "$foo".out; 
  done; done

一种更安全的方法，可以处理以反斜杠和反斜杠开头的行-：

./app | while IFS= read -r line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && printf -- "$line\n" >> "$foo".out; 
  done; done

正如@StephaneChazelas在评论中指出的那样，这不是很有效。最好的解决方案可能是@AurélienOoms'。

如果您有多个核心，并且希望进程是并行的，则可以执行以下操作：

parallel -j 3 -- './app | grep A > A.out' './app | grep B > B.out' './app | grep C > C.out'

这将在并行内核中产生三个进程。如果要向控制台或主文件提供一些输出，则它的优点是使输出保持一定顺序，而不是混合输出。

的GNU工具平行从奥莱丹下可以从下名最回购来获得并行或moreutils。来源可从Savannah.gnu.org获得。另外一个介绍教学视频是在这里。

附录

使用更新的并行版本（不一定是您的发行版仓库中的版本），您可以使用更优雅的构造：

./app | parallel -j3 -k --pipe 'grep {1} >> {1}.log' ::: 'A' 'B' 'C'

这样可以达到在单独的内核或线程中运行一个./app和3个并行grep进程的结果（由并行本身确定，也将-j3视为可选的，但在此示例中提供该值是出于指导目的）。

通过执行以下操作可以获得较新版本的parallel：

wget http://ftpmirror.gnu.org/parallel/parallel-20131022.tar.bz2

然后通常的解压缩，cd到parallel- {date}，。/ configure && make，sudo make install。这将安装并行，手册页并行和手册页parallel_tutorial。

这是Perl中的一个：

./app | perl -ne 'BEGIN {open(FDA, ">A.out") and 
                         open(FDB, ">B.out") and 
                         open(FDC, ">C.out") or die("Cannot open files: $!\n")} 
                  print FDA $_ if /A/; print FDB $_ if /B/; print FDC $_ if /C/'

sed -ne/A/w\ A.out -e/B/w\ B.out -e/C/p <in >C.out

...如果<in可读，则在将任何内容写入文件之前，所有三个文件都将被截断。