在大文件中替换包含换行符的字符串

有谁知道基于非行的工具以某种内存有效的方式“二进制”搜索/替换字符串？也看到这个问题。

我有一个+ 2GB的文本文件，我想对其进行处理，类似于此操作：

sed -e 's/>\n/>/g'

这意味着，我想删除a之后出现的所有换行符>，但不能在其他地方删除，以便排除tr -d。

此命令（我从类似问题的答案中得到）失败，并带有couldn't re-allocate memory：

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

那么，还有其他方法不求助于C吗？我讨厌perl，但愿意在这种情况下例外：-)

我不确定数据中是否会出现任何字符，因此\n，如果可能的话，我想避免用另一个字符临时替换。

有什么好主意吗？

在Perl中，这确实是微不足道的，您不应该讨厌它！

perl -i.bak -pe 's/>\n/>/' file

说明

• -i：在适当位置编辑文件，并创建名为的原始文件的备份file.bak。如果您不想备份，请perl -i -pe改用。
• -pe：逐行读取输入文件，并应用给出的脚本后打印每一行-e。
• s/>\n/>/：替代，就像sed。

这是一种awk方法：

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

一个perl解决方案：

$ perl -pe 's/(?<=>)\n//'

讲解

• s/// 用于字符串替换。
• (?<=>) 是后向模式。
• \n 匹配换行符。

整个模式意味着删除>前面的所有换行符。

这个怎么样：

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

对于GNU sed，您还可以尝试根据问题添加-u（--unbuffered）选项。GNU sed对此也很满意，因为它很简单：

sed ':loop />$/ { N; s/\n//; b loop }' file

您应该可以使用sed该N命令，但是窍门是每次添加另一行时都会从模式空间中删除一行（因此，模式空间始终只包含2条连续的行，而不是尝试整体读取）文件）-试试

sed ':a;$!N;s/>\n/>/;P;D;ba'

编辑：重新阅读彼得·克鲁姆斯的《著名的单线解释》后，我相信更好的sed解决方案是

sed -e :a -e '/>$/N; s/\n//; ta'

仅>在末尾已经匹配的情况下才追加以下行，并且应该有条件地循环回去以处理连续匹配的行（这是Krumin的39。如果末行以反斜杠结尾，则将其追加到下一行）除了将for替换>为\连接字符以及连接字符保留在输出中这一事实外，完全是“ \”。

sed没有提供没有最终换行符的输出方法。您使用的方法N从根本上是可行的，但是会将不完整的行存储在内存中，因此，如果行太长会失败（sed命令通常不是设计来处理非常长的行）。

您可以改用awk。

awk '{if (/<$/) printf "%s", $0; else print}'

一种替代方法是使用tr换行符替换为“无聊的”频繁出现的字符。在这里可以使用空格-选择一个倾向于出现在数据的每一行或至少大部分行中的字符。

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

那使用ed呢？

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

（通过http://wiki.bash-hackers.org/howto/edit-ed）

我最终按照以下答案中的描述使用了gsar：

gsar -F '-s>:x0A' '-r>'

有很多方法可以做到这一点，而且大多数方法确实很棒，但是我认为这是我的最爱：

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

甚至：

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'