两个标签之间的文字

我想<tr> </tr>从html文档中检索这两个标签之间的任何内容。现在，我没有任何特定的html要求可以保证html解析器。我只是简单地需要一些匹配的东西，<tr>并</tr>在两者之间获取所有内容，并且可能会有多个trs。我尝试了awk，它可以工作，但是由于某种原因，它最终给了我提取的每一行的副本。

awk '
/<TR/{p=1; s=$0}
p && /<\/TR>/{print $0 FS s; s=""; p=0}
p' htmlfile> newfile

怎么办呢？

如果您只想要...全部<tr>...</tr>：

grep -o '<tr>.*</tr>' HTMLFILE | sed 's/\(<tr>\|<\/tr>\)//g' > NEWFILE

对于多行，请执行以下操作：

tr "\n" "|" < HTMLFILE | grep -o '<tr>.*</tr>' | sed 's/\(<tr>\|<\/tr>\)//g;s/|/\n/g' > NEWFILE

检查字符“ |”开头的HTMLFILE （不是通常的，但是可能的），如果存在，请更改为不存在的一种。

您确实需要保证HTML解析器的要求：您需要解析HTML。Perl的HTML :: TreeBuilder，Python的BeautifulSoup等易于使用，比编写复杂而脆弱的正则表达式更容易。

perl -MHTML::TreeBuilder -le '
    $html = HTML::TreeBuilder->new_from_file($ARGV[0]) or die $!;
    foreach ($html->look_down(_tag => "tr")) {
        print map {$_->as_HTML()} $_->content_list();
    }
' input.html

要么

python -c 'if True:
    import sys, BeautifulSoup
    html = BeautifulSoup.BeautifulSoup(open(sys.argv[1]).read())
    for tr in html.findAll("tr"):
        print "".join(tr.contents)
' input.html

sed并且awk不太适合此任务，您应该使用适当的html解析器。例如，hxselect来自w3.org：

<htmlfile hxselect -s '\n' -c 'tr'

如果ruby可用，您可以执行以下操作

ruby -e 'puts readlines.join[/(?<=<tr>).+(?=<\/tr>)/m].gsub(/<\/?tr>/, "")' file

file您输入的html文件在哪里。该命令执行一个Ruby单一代码行。首先，它从中读取所有行file并将它们连接到字符串readlines.join。然后，它从字符串中选择介于（但不包括）之间的任何字符，<tr>并且<\/tr>该字符是一个字符或更长，而与换行符无关[/(?<=<tr>).+(?=<\/tr>)/m]。然后，它从字符串中删除任何字符串<tr>或</tr>字符串gsub(/<\/?tr>/, "")（这对于处理嵌套tr标签是必需的）。最后，它输出字符串puts。

您说过不应该为您使用html解析器，但是将Nokogiri与之一起使用非常容易，ruby并且使命令更简单。

ruby -rnokogiri -e 'puts Nokogiri::HTML(readlines.join).xpath("//tr").map { |e| e.content }' file

-rnokogiri加载Nokogiri。Nokogiri::HTML(readlines.join)读取的所有行file。xpath("//tr")选择每个tr元素并map { |e| e.content }选择每个元素的内容，即<tr>和之间的内容</tr>。

grep

要tr跨多行检索标记中的内容，xargs请先将其传递，例如：

curl -sL https://www.iana.org/ | xargs | egrep -o "<tr>.*?</tr>"

要仅返回内部HTML，请使用：

curl -sL https://www.iana.org/ | xargs | grep -Po "<tr>\K(.*?)</tr>" | sed "s/..tr.//g"

^{检查perlre扩展模式的语法。}

^{注意：为了提高性能，您可以考虑使用ripgrep哪种语法。}

pup

使用示例pup（使用CSS选择器）：

pup -f myfile.html tr

要仅打印不带标签的文本，请使用：pup -f myfile.html tr text{}。

以下是一些示例curl：

curl -sL https://www.iana.org/ | pup tr text{}
pup -f <(curl -sL https://www.iana.org/) tr text{}

xpup

xpup用于HTML / XML解析（支持XPath）的示例：

xpup -f myfile.html "//tr"

如果只是<tr>s 的快速清单，这可能会有所帮助：

perl -ne 'print if /<tr>/../</tr>/' your.html > TRs.log

干杯