优化GNU grep

我正在使用grep -E带有PATTERN文件的egrep（）。（-f path/to/file）。

这是在文本流的无限循环中完成的。这意味着我无法立即累积所有输入并将其传递给grep（如*.log）。

有没有一种方法可以使grep从PATTERN文件中“保存”正在构建的NFA，以便下次运行？

我已经搜索过Google并没有运气地阅读文档。

我会尝试多解释一下。我需要使用正则表达式找到固定数量的字符串（这不是问题的一部分，但可以提出其他建议），例如IP地址，域等。搜索是在Internet的feed上完成的。您可以将其视为文本流。grep由于它是流，因此无法使用所有输入。我可以累积大量流并grep在其上使用（因此不在grep每行上使用），但这也很有限（比如说30秒钟）。

我知道grep正在根据其所有模式（从文件中）构建NFA。因此，我的问题是：grep由于它不会改变，我可以告诉它保存该NFA以便下次运行吗？这样可以节省我每次构建NFA的时间。

不，没有这样的东西。通常，启动grep（分叉新进程，加载可执行文件，共享库，动态链接...）的成本要比编译正则表达式大得多，因此这种优化几乎没有意义。

虽然可以看到为什么将1250个字符串与90k模式匹配如此缓慢？有关某些GNU版本中的错误的信息，该错误grep会使大量正则表达式的速度特别慢。

可能在这里，您可以grep通过将大块提供给同一grep实例来避免多次运行，例如，将其用作协同进程并使用标记来检测结束。与zsh和GNU grep以及awk除mawk以下之外的实现：

coproc grep -E -f patterns -e '^@@MARKER@@$' --line-buffered
process_chunk() {
  { cat; echo @@MARKER@@; } >&p & awk '$0 == "@@MARKER@@"{exit};1' <&p
}
process_chunk < chunk1 > chunk1.grepped
process_chunk < chunk2 > chunk2.grepped

尽管使用awk或perl代替进行整个操作可能更简单。

但是，如果不需要将grep输出放入不同块的不同文件中，则可以始终这样做：

{
  cat chunk1
  while wget -qO- ...; done # or whatever you use to fetch those chunks
  ...
} | grep -Ef patterns > output

因为它是流，所以不能在所有输入上使用grep。我可以累积大量流并在其上使用grep ...

您知道管道阻塞了吗？如果您通过管道将某些东西传送到grep而所有输入均不可用，则grep将等待直到可用为止，然后像输入一样一直继续。

$ ( echo a1; echo b1; sleep 5; echo a2 ) | grep 'a.'
a1
a2

编辑：例如，管道的工作方式cmd1 | cmd2是两个程序将同时启动，并且它们之间有65,536字节的“块缓冲区”。当cmd2尝试读取并且该缓冲区为空时，它将等待一个块可用。当cmd1尝试写入并且该缓冲区已满时，它将等待直到cmd2读取它。

据我了解，没有必要将输入切成块并将它们分别传递给grep。这已经自动完成了。

EDIT2：grep也应在流中找到结果后立即打印结果。在获得结果之前，无需完成流。

也许您可以“对所有输入使用grep”？使用nc（netcat），还是通过script，或通过其他类似的工具？尤其是如果您的patternfile具有可管理的大小（例如小于1000个正则表达式）。

第一个示例：您可以进行egrep一些流媒体连接：（此处显示的示例nc，但其他示例也可以适用）

prompt:/some/path $ nc somehost someport | egrep -f patternfile | gzip -c - > results.gz

# and while this is running, you can have a look at the growing results.gz:
prompt:/some/otherpath $ tail -f /some/path/results.gz | gzip -c - | less

（注意：您甚至可以touch /some/path/results.gz在启动nc命令之前进行操作：并且tail -f在该（空）文件上不要丢失任何内容。无论如何，results.gz将包含您要捕获的所有内容）

第二个例子：您甚至可以egrep在当前正在运行的shell会话中（并显示另一种跟踪进度的方式）：

#in 1 terminal:
prompt:/home/userA $ script
Script command is started. The file is typescript.
prompt:/home/userA $ 
 ... doing here whatever you want (start IRC? etc) ...
prompt:/home/userA $ ctrl-d # to end the current script session
Script command is complete. The file is typescript.

#and in another terminal, while you are "doing here whatever you want" :
prompt:/home/somewhere $ tail -f /home/userA/typescript | egrep -f patternfile  | tee /some/place/to/store/results.gz

egrep是grep大多数系统上的的高效版本（请参阅以下有趣的信息：https ://swtch.com/~rsc/regexp/regexp1.html ）