正则表达式如何从文件中取出多行？

正则表达式如何从文件中取出多行？

我经常想通过正则表达式获得多行/修改多行。一个例子：

我正在尝试读取XML / SGML文件的一部分（它们不一定格式正确或语法可预测，因此正则表达式比适当的解析器更安全。此外，我希望能够完全做到这一点在外壳脚本（在Solaris和Linux上运行）中仅知道一些关键词的非结构化文件。

XML示例：

<tag1>
 <tag2>bar</tag2>
</tag1>
<tag1>
 <tag2>foo</tag2>
</tag1>

从这里，我想阅读<tag1>如果其中包含foo某处。

像一个正则表达式(<tag1>.*?foo.*?</tag1>)应该给予正确的部分，但是等工具grep，并sed只为我的单线条的工作。我怎样才能得到

<tag1>
 <tag2>foo</tag2>
</tag1>

在这个例子中？

如果您安装了GNU的grep你可以做多通过传递搜索-P（Perl的正则表达式）标志和激活PCRE_DOTALL与(?s)

grep -oP '(?s)<tag1>(?:(?!tag1).)*?foo(?:(?!tag1).)*?</tag1>' file.txt
<tag1>
<tag2>foo</tag2>
</tag1>

如果以上内容在您的平台上不起作用，请尝试-z另外传递该标志，这会强制grep将NUL视为行分隔符，从而导致整个文件看起来像一行。

grep -ozP '(?s)<tag1>(?:(?!tag1).)*?foo(?:(?!tag1).)*?</tag1>' file.txt

#begin command block
#append all lines between two addresses to hold space 
    sed -n -f - <<\SCRIPT file.xml
        \|<tag1>|,\|</tag1>|{ H 
#at last line of search block exchange hold and pattern space 
            \|</tag1>|{ x
#if not conditional ;  clear buffer ; branch to script end
                \|<tag2>[^<]*foo[^\n]*</tag2>|!{s/.*//;h;b}
#do work ; print result; clear buffer ; close blocks
    s?*?*?;p;s/.*//;h;b}}
SCRIPT

如果执行上述操作，并根据显示的数据在该行的最后一个清理行之前进行操作，则应使用如下所示的sed模式空间：

 ^\n<tag1>\n<tag2>foo</tag2>\n</tag1>$

您可以随时使用look 打印出模式空间。然后，您可以处理\n字符。

sed l <file

将向您显示每一行在被调用sed的阶段对其进行处理l。

因此，我刚刚对其进行了测试，并且在第一行中的\backslash后面还需要一个,comma，但是其他方法仍然可以正常运行。在这里，我将其放在一个中，_sed_function以便在整个答案中都可以出于演示目的方便地将其称为：（包含注释，但为简洁起见，此处将其删除）

_sed_function() { sed -n -f /dev/fd/3 
} 3<<\SCRIPT <<\FILE 
    \|<tag1>|,\|</tag1>|{ H
        \|</tag1>|{ x
            \|<tag2>[^<]*foo[^\n]*</tag2>|!{s/.*//;h;b}
    s?*?*?;p;s/.*//;h;b}}
#END
SCRIPT
<tag1>
 <tag2>bar</tag2>
</tag1>
<tag1>
 <tag2>foo</tag2>
</tag1>
FILE


_sed_function
#OUTPUT#
<tag1>
 <tag2>foo</tag2>
</tag1>

现在，我们将切换p为，l以便在开发脚本时看到正在使用的内容，并删除非操作演示，s?因此我们的最后一行sed 3<<\SCRIPT如下所示：

l;s/.*//;h;b}}

然后，我将再次运行它：

_sed_function
#OUTPUT#
\n<tag1>\n <tag2>foo</tag2>\n</tag1>$

好！所以我是对的-感觉很好。现在，让我们随机播放l一下，看看它插入但删除的行。我们将删除当前流，l并在其中添加一个，!{block}使其类似于：

!{l;s/.*//;h;b}

_sed_function
#OUTPUT#
\n<tag1>\n <tag2>bar</tag2>\n</tag1>$

这就是我们将其清除之前的样子。

我要向您展示的最后一件事是H我们建立旧空间。我希望可以演示几个关键概念。因此，我l再次删除了最后一个挂钩，并更改了第一行，以在最后添加一个窥视H旧空间的信息：

{ H ; x ; l ; x

_sed_function
#OUTPUT#
\n<tag1>$
\n<tag1>\n <tag2>bar</tag2>$
\n<tag1>\n <tag2>bar</tag2>\n</tag1>$
\n<tag1>$
\n<tag1>\n <tag2>foo</tag2>$
\n<tag1>\n <tag2>foo</tag2>\n</tag1>$

H旧空间可以承受线周期的影响-因此得名。所以人们经常绊倒-好吧，我经常绊倒-是它在使用后需要删除。在这种情况下，我只x更改了一次，因此保持空间变成了模式空间，反之亦然，并且这种变化还可以承受线周期。

结果是我需要删除以前用作模式空间的保留空间。我首先使用以下命令清除当前模式空间：

s/.*//

只需选择每个字符并将其删除。我无法使用，d因为这将结束当前的行周期，并且下一条命令将无法完成，这将严重破坏我的脚本。

h

这的工作方式H与之类似，但是它会覆盖保留空间，因此，我只是将空白模式空间复制到了保留空间的顶部，有效地删除了它。现在我可以：

b

出来。

这就是我编写sed脚本的方式。

如果您的文件像您的示例一样简单，@ jamespfinn的答案将非常有效。如果情况更复杂，<tag1>可能跨越两行，那么您将需要一个稍微复杂的技巧。例如：

$ cat foo.xml
<tag1>
 <tag2>bar</tag2>
 <tag3>baz</tag3>
</tag1>
<tag1>

 <tag2>foo</tag2>
</tag1>

<tag1>
 <tag2>bar</tag2>

 <tag2>foo</tag2>
 <tag3>baz</tag3>
</tag1>
$ perl -ne 'if(/<tag1>/){$a=1;} 
            if($a==1){push @l,$_}
            if(/<\/tag1>/){
              if(grep {/foo/} @l){print "@l";}
               $a=0; @l=()
            }' foo.xml
<tag1>

  <tag2>foo</tag2>
 </tag1>
<tag1>
  <tag2>bar</tag2>

  <tag2>foo</tag2>
  <tag3>baz</tag3>
 </tag1>

perl脚本将处理输入文件的每一行，

• if(/<tag1>/){$a=1;}：如果找到了开始标记（）$a，1则将变量设置为<tag1>。

• if($a==1){push @l,$_}：对于每行，如果$a是1，则将该行添加到array中@l。

• if(/<\/tag1>/) ：如果当前行与结束标记匹配：

  • if(grep {/foo/} @l){print "@l"}：如果数组中保存的任何行@l（<tag1>和之间的行</tag1>）与字符串匹配foo，则输出的内容@l。
  • $a=0; @l=()：清空列表（@l=()）并$a重新设置为0。

这是一个sed替代方案：

sed -n '/<tag1/{:x N;/<\/tag1/!b x};/foo/p' your_file

说明

• -n 表示除非另有指示，否则请勿打印行。
• /<tag1/ 首先匹配开始标签
• :x 是可以稍后跳转到这一点的标签
• N 将下一行添加到模式空间（活动缓冲区）。
• /<\/tag1/!b x表示如果当前模式空间不包含任何结束标记，则跳转到x之前创建的标签。因此，我们一直在模式空间添加行，直到找到结束标记。
• /foo/p表示如果当前模式空间与匹配foo，则应将其打印出来。

我认为您可以使用GNU awk来做到这一点，方法是将结束标签视为记录分隔符，例如用于已知的结束标签</tag1>：

gawk -vRS="\n</tag1>\n" '/foo/ {printf "%s%s", $0, RT}'

或更一般的情况（带有正则表达式的结束标签）

gawk -vRS="\n</[^>]*>\n" '/foo/ {printf "%s%s", $0, RT}'

在@ terdon's上进行测试foo.xml：

$ gawk -vRS="\n</[^>]*>\n" '/foo/ {printf "%s%s", $0, RT}' foo.xml
<tag1>

 <tag2>foo</tag2>
</tag1>

<tag1>
 <tag2>bar</tag2>

 <tag2>foo</tag2>
 <tag3>baz</tag3>
</tag1>

如果文件的结构与上面显示的完全一样，则可以将-A（后面的行）和-B（前面的行）标志用于grep ...，例如：

$ cat yourFile.txt 
<tag1>
 <tag2>bar</tag2>
</tag1>
<tag1>
 <tag2>foo</tag2>
</tag1>
$ grep -A1 -B1 bar yourFile.txt 
<tag1>
 <tag2>bar</tag2>
</tag1>
$ grep -A1 -B1 foo yourFile.txt 
<tag1>
 <tag2>foo</tag2>
</tag1>

如果您的grep支持版本，则还可以使用更简单的-C（针对上下文）选项来打印周围的N行：

$ grep -C 1 bar yourFile.txt 
<tag1>
 <tag2>bar</tag2>
</tag1>