如何从文本文件中删除包含特定字符串的所有行？

我将如何使用sed删除文本文件中包含特定字符串的所有行？

要删除行并将输出打印到标准输出，请执行以下操作：

sed '/pattern to match/d' ./infile

要直接修改文件–不适用于BSD sed：

sed -i '/pattern to match/d' ./infile

相同，但是对于BSD sed（Mac OS X和FreeBSD）–不适用于GNU sed：

sed -i '' '/pattern to match/d' ./infile

要直接修改文件（并创建备份）–与BSD和GNU sed一起使用：

sed -i.bak '/pattern to match/d' ./infile

除了删除具有特定字符串的行外，还有许多其他方法sed：

AWK

awk '!/pattern/' file > temp && mv temp file

红宝石（1.9+）

ruby -i.bak -ne 'print if not /test/' file

佩尔

perl -ni.bak -e "print unless /pattern/" file

Shell（bash 3.2及更高版本）

while read -r line
do
  [[ ! $line =~ pattern ]] && echo "$line"
done <file > o
mv o file

GNU grep

grep -v "pattern" file > temp && mv temp file

当然sed（打印反面比实际删除要快）：

sed -n '/pattern/!p' file

您可以使用sed替换文件中的行。但是，这似乎比使用grep取反将其慢进第二个文件，然后将第二个文件移到原始文件上要慢得多。

例如

sed -i '/pattern/d' filename      

要么

grep -v "pattern" filename > filename2; mv filename2 filename

无论如何，第一个命令在我的计算机上花费的时间要长3倍。

使用GNU的简单方法sed：

sed --in-place '/some string here/d' yourfile

您可以考虑使用ex（这是标准的基于Unix命令的编辑器）：

ex +g/match/d -cwq file

哪里：

• +执行给定的Ex命令（man ex），与-c执行wq（写入和退出）相同
• g/match/d-用ex命令删除给定的行match，请参阅：g的幂

上面的示例是一个POSIX兼容方法，用于按此方式就地编辑文件 Unix.SE和POSIX规范上的ex文章。

的不同之sed处在于：

sed是S队 ED，不是文件编辑器。^{Bash常见问题}

除非您喜欢不可移植的代码，否则I / O开销和其他一些不良影响。因此，基本上某些参数（例如in-place / -i）是非标准的FreeBSD扩展，在其他操作系统上可能不可用。

我在Mac上为此苦苦挣扎。另外，我需要使用变量替换来做到这一点。

所以我用了：

sed -i '' "/$pattern/d" $file

这里$file又是需要删除的文件，$pattern要匹配的删除模式。

我''从此评论中选择了。

这里要注意的一点是使用双引号在"/$pattern/d"。当我们使用单引号时，变量将不起作用。

我用一个包含大约345 000行的文件做了一个小的基准测试。的方式grep似乎比速度快15倍sed在这种情况下，方法。

我尝试过在设置LC_ALL = C和不设置LC_ALL = C的情况下，似乎都不会显着改变计时。搜索字符串（CDGA_00004.pdbqt.gz.tar）在文件中间。

以下是命令和时间：

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

您还可以使用以下命令：

 grep -v 'pattern' filename

这里-v仅打印您的图案以外的内容（这意味着反转匹配）。

要获得类似结果的结果，grep可以执行以下操作：

echo "$(grep -v "pattern" filename)" >filename

SED：

• '/James\|John/d'
• -n '/James\|John/!p'

AWK：

• '!/James|John/'
• /James|John/ {next;} {print}

GREP：

• -v 'James\|John'

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

第一个命令就地编辑文件（-i）。

第二个命令执行相同的操作，但是通过在文件名中添加.bk来保留原始文件的副本或备份（.bk可以更改为任何内容）。

echo -e "/thing_to_delete\ndd\033:x\n" | vim file_to_edit.txt

万一有人想为字符串的精确匹配做某事，您可以-w在grep-w中使用整个标志。也就是说，例如，如果要删除编号为11的行，而保留编号为111的行：

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

-f如果您想一次排除几个确切的模式，它也可以与该标志一起使用。如果“黑名单”是您要从“文件”中删除的每一行具有多个模式的文件：

grep -w -v -f blacklist file

cat filename | grep -v "pattern" > filename.1
mv filename.1 filename

在控制台中显示已处理的文本

cat filename | sed '/text to remove/d' 

将已处理的文本保存到文件中

cat filename | sed '/text to remove/d' > newfile

将已处理的文本信息附加到现有文件中

cat filename | sed '/text to remove/d' >> newfile

处理已处理的文本，在这种情况下，请删除更多已删除的行

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

该| more会同时显示在一个页面中的文本块。

你可以用好老ed编辑文件以类似的方式来回答使用ex。在这种情况下，最大的区别是ed它通过标准输入获取命令，而不是像excan 那样作为命令行参数。在脚本中使用它时，通常的适应方法是使用printf管道将命令传递给它：

printf "%s\n" "g/pattern/d" w | ed -s filename

或带有heredoc：

ed -s filename <<EOF
g/pattern/d
w
EOF