如何使用grep在多行中查找模式？

我想查找具有该顺序的“ abc”和“ efg”的文件，并且这两个字符串在该文件的不同行上。例如：一个包含以下内容的文件：

blah blah..
blah blah..
blah abc blah
blah blah..
blah blah..
blah blah..
blah efg blah blah
blah blah..
blah blah..

应该匹配。

Grep不足以执行此操作。

在大多数现代Linux系统中发现的pcregrep可以用作

pcregrep -M  'abc.*(\n|.)*efg' test.txt

其中-M，--multiline 允许模式匹配多行

也有更新的pcre2grep。两者均由PCRE项目提供。

pcre2grep可通过Mac Ports作为Mac OS X 在port的一部分使用pcre2：

% sudo port install pcre2 

并通过Homebrew作为：

% brew install pcre

或pcre2

% brew install pcre2

pcre2grep是也可以在Linux（Ubuntu的18.04+）

$ sudo apt install pcre2-utils # PCRE2
$ sudo apt install pcregrep    # Older PCRE

我不确定grep是否可能，但是sed使其非常容易：

sed -e '/abc/,/efg/!d' [file-with-content]

这是受此答案启发的解决方案：

• 如果'abc'和'efg'可以在同一行：

  grep -zl 'abc.*efg' <your list of files>

• 如果“ abc”和“ efg”必须位于不同的行：

  grep -Pzl '(?s)abc.*\n.*efg' <your list of files>

参数：

• -z将输入视为一组行，每行以零字节而不是换行符结尾。即grep将输入视为一行。

• -l 每个输入文件的打印名称，通常可以从中打印输出。

• (?s)激活PCRE_DOTALL，这意味着“。” 查找任何字符或换行符。

sed足以满足上述LJ海报的要求，

代替！d，您只需使用p即可打印：

sed -n '/abc/,/efg/p' file

我严重依赖pcregrep，但是使用较新的grep时，无需安装pcregrep的许多功能。只需使用grep -P。

在OP的问题示例中，我认为以下选项可以很好地发挥作用，第二种最匹配我对问题的理解方式：

grep -Pzo "abc(.|\n)*efg" /tmp/tes*
grep -Pzl "abc(.|\n)*efg" /tmp/tes*

我将文本复制为/ tmp / test1并删除了'g'并另存为/ tmp / test2。这是输出，显示第一个显示匹配的字符串，第二个仅显示文件名（典型的-o表示匹配，典型的-l表示仅文件名）。请注意，对于多行，“ z”是必需的，“（。| \ n）”表示要匹配“除换行符以外的任何内容”或“换行符”，即任何内容：

user@host:~$ grep -Pzo "abc(.|\n)*efg" /tmp/tes*
/tmp/test1:abc blah
blah blah..
blah blah..
blah blah..
blah efg
user@host:~$ grep -Pzl "abc(.|\n)*efg" /tmp/tes*
/tmp/test1

要确定您的版本是否足够新，请运行man grep并查看顶部附近是否出现类似的内容：

   -P, --perl-regexp
          Interpret  PATTERN  as a Perl regular expression (PCRE, see
          below).  This is highly experimental and grep -P may warn of
          unimplemented features.

那是来自GNU grep 2.10。

首先使用tr换行符替换其他字符即可轻松完成此操作：

tr '\n' '\a' | grep -o 'abc.*def' | tr '\a' '\n'

在这里，我使用警报字符\a（ASCII 7）代替换行符。几乎不会在您的文本中找到grep它，可以将其与匹配，也可以将其与.专门匹配\a。

awk一线：

awk '/abc/,/efg/' [file-with-content]

如果可以使用Perl，则可以非常轻松地做到这一点。

perl -ne 'if (/abc/) { $abc = 1; next }; print "Found in $ARGV\n" if ($abc && /efg/); }' yourfilename.txt

您也可以使用单个正则表达式来完成此操作，但这涉及将文件的全部内容都放入单个字符串中，这可能最终会占用大文件太多的内存。为了完整起见，以下是该方法：

perl -e '@lines = <>; $content = join("", @lines); print "Found in $ARGV\n" if ($content =~ /abc.*efg/s);' yourfilename.txt

我不知道如何用grep做到这一点，但是我会用awk做这样的事情：

awk '/abc/{ln1=NR} /efg/{ln2=NR} END{if(ln1 && ln2 && ln1 < ln2){print "found"}else{print "not found"}}' foo

不过，您需要注意如何执行此操作。您是否希望正则表达式匹配子字符串或整个单词？适当添加\ w标签。另外，虽然这完全符合您所说的示例，但是当abc在efg之后第二次出现时，它还是不起作用。如果要处理此问题，请在/ abc / case等中添加一个if。

可悲的是，你不能。从grep文档：

grep搜索命名的输入文件（如果没有命名文件，或者如果给定单个连字符减号（-）作为文件名，则为标准输入），以查找包含与给定PATTERN匹配的行。

如果您愿意使用上下文，可以通过键入以下内容来实现

grep -A 500 abc test.txt | grep -B 500 efg

只要它们在500行之内，它将显示“ abc”和“ efg” 之间的所有内容。

如果您需要两个单词彼此靠近，例如不超过3行，则可以执行以下操作：

find . -exec grep -Hn -C 3 "abc" {} \; | grep -C 3 "efg"

相同的示例，但仅过滤* .txt文件：

find . -name *.txt -exec grep -Hn -C 3 "abc" {} \; | grep -C 3 "efg"

如果您还想使用正则表达式查找，也可以用grepcommand 替换command egrep。

我几天前发布了一个grep替代方案，它通过多行匹配或使用条件直接支持此功能-希望它对在此处搜索的某些人有用。该示例的命令如下所示：

多行：

sift -lm 'abc.*efg' testfile

条件：

sift -l 'abc' testfile --followed-by 'efg'

您还可以指定“ efg”必须在一定数量的行后跟随“ abc”：

sift -l 'abc' testfile --followed-within 5:'efg'

您可以在sift-tool.org上找到更多信息。

尽管sed选项是最简单，最简单的方法，但令人遗憾的是，LJ的单衬管并不是最轻便的。那些坚持使用C Shell版本的人将需要摆脱困境：

sed -e '/abc/,/efg/\!d' [file]

不幸的是，这在bash等人中无效。

#!/bin/bash
shopt -s nullglob
for file in *
do
 r=$(awk '/abc/{f=1}/efg/{g=1;exit}END{print g&&f ?1:0}' file)
 if [ "$r" -eq 1 ];then
   echo "Found pattern in $file"
 else
   echo "not found"
 fi
done

如果您不热衷于模式顺序，可以使用grep。

grep -l "pattern1" filepattern*.* | xargs grep "pattern2"

例

grep -l "vector" *.cpp | xargs grep "map"

grep -l将找到与第一个模式匹配的所有文件，而xargs将为第二个模式进行grep。希望这可以帮助。

与银搜索器：

ag 'abc.*(\n|.)*efg'

与无名小卒的答案类似，但用ag代替。银搜索者的速度优势可能会在这里大放异彩。

我使用了grep的-P选项从多个fasta文件中提取出fasta序列：

grep -Pzo ">tig00000034[^>]+"  file.fasta > desired_sequence.fasta

• P用于基于perl的搜索
• z用于以0字节而不是换行符结尾的行
• o仅捕获匹配的内容，因为grep返回整行（在这种情况下，因为您做了-z，所以它是整个文件）。

正则表达式的核心是，[^>]它翻译为“不大于符号”

作为替代巴鲁磨憨的答案，有可能只能使用模式的顺序来执行grep，head并且tail：

for f in FILEGLOB; do tail $f -n +$(grep -n "pattern1" $f | head -n1 | cut -d : -f 1) 2>/dev/null | grep "pattern2" &>/dev/null && echo $f; done

不过，这不是很漂亮。格式更可读：

for f in FILEGLOB; do
    tail $f -n +$(grep -n "pattern1" $f | head -n1 | cut -d : -f 1) 2>/dev/null \
    | grep -q "pattern2" \
    && echo $f
done

这将打印所有文件的名称，这些文件的名称"pattern2"出现在或之后"pattern1"，或者都出现在同一行：

$ echo "abc
def" > a.txt
$ echo "def
abc" > b.txt
$ echo "abcdef" > c.txt; echo "defabc" > d.txt
$ for f in *.txt; do tail $f -n +$(grep -n "abc" $f | head -n1 | cut -d : -f 1) 2>/dev/null | grep -q "def" && echo $f; done
a.txt
c.txt
d.txt

说明

• tail -n +i-在ith之后（包括首尾）打印所有行
• grep -n -在匹配的行之前加上行号
• head -n1 -仅打印第一行
• cut -d : -f 1-使用:分隔符打印第一个剪切列
• 2>/dev/null- tail如果$()表达式返回空，则会出现静音错误输出
• grep -q-沉默grep并在找到匹配项后立即返回，因为我们只对退出代码感兴趣

这也应该工作吗？

perl -lpne 'print $ARGV if /abc.*?efg/s' file_list

$ARGVfile_list /s跨换行符从修饰符搜索中读取时，包含当前文件的名称。

文件*.sh模式对于防止检查目录很重要。当然，有些测试也可以防止这种情况。

for f in *.sh
do
  a=$( grep -n -m1 abc $f )
  test -n "${a}" && z=$( grep -n efg $f | tail -n 1) || continue 
  (( ((${z/:*/}-${a/:*/})) > 0 )) && echo $f
done

的

grep -n -m1 abc $f 

搜索最多1个匹配项，并返回（-n）行号。如果找到匹配项（测试-n ...），则找到efg的最后一个匹配项（查找全部并使用尾号-n 1获取最后一个匹配项）。

z=$( grep -n efg $f | tail -n 1)

否则继续。

由于结果类似，18:foofile.sh String alf="abc";我们需要从“：”开始删除直到行尾。

((${z/:*/}-${a/:*/}))

如果第二个表达式的最后一个匹配项超过第一个表达式的第一个匹配项，则应返回正结果。

然后我们报告文件名echo $f。

为什么不这样简单：

egrep -o 'abc|efg' $file | grep -A1 abc | grep efg | wc -l

返回0或一个正整数。

egrep -o（仅显示匹配项，技巧：同一行上的多个匹配项会产生多行输出，就好像它们在不同行上一样）

• grep -A1 abc （打印abc及其后的行）

• grep efg | wc -l （在abc之后的同一行或后续行中找到的efg行的计数为0-n，结果可用于'if'）

• 如果需要模式匹配，可以将grep更改为egrep等。

如果您对要查找的两个字符串“ abc”和“ efg”之间的距离有一些估计，则可以使用：

grep -r . -e 'abc' -A num1 -B num2 | grep 'efg'

这样，第一个grep将返回其后带有'abc'加＃num1行和其后＃num2行的行，第二个grep将筛选所有这些行以获取'efg'。然后，您将知道它们一起出现在哪些文件中。

随着ugrep在几个月前发布：

ugrep 'abc(\n|.)+?efg'

此工具针对速度进行了高度优化。它还与GNU / BSD / PCRE-grep兼容。

请注意+?，除非您想将所有行匹配efg在一起直到efg文件中的最后一行，否则应使用惰性重复。

这应该工作：

cat FILE | egrep 'abc|efg'

如果有多个匹配项，则可以使用grep -v过滤掉