我正在使用大致的代码从文本中删除停用词

我有以下

$ cat file
file
types
extensions

$ cat stopwords
i
file
types

grep -vwFf stopwords file

我期待结果： extensions

但我得到了（我认为不正确）

file
extensions

就像file停用词文件中已跳过该词一样。现在，这里的凉爽一下：如果我修改停用字词档案，通过改变单个字/字母i在第一行，其他任何ASCII字母以外f，i，l，e，那么同样grep命令给我的不同，正确的结果extensions。

这是怎么回事，我该如何解决？

我在Mac OSX GNU bash 4.4.12（1）版上使用grep（BSD grep）2.5.1-FreeBSD

这是的错误bsdgrep，与一个变量有关，该变量跟踪当前行仍要扫描的部分，当涉及多个模式时，该变量将被对正则表达式匹配引擎的连续调用覆盖。

本地修复

您可以通过不使用-w选项来解决此问题，该选项依靠此变量进行正确的操作，因此会失败，而是使用与单词的开头和结尾匹配的正则表达式扩展名，从而使stopwords文件看起来像：

\ <i \>
\ <文件\>
\ <类型\>

此解决方法还要求您不要使用该-F选项。

请注意，文件的正则表达式的组件[[:<:]]和[[:>:]]该re_format手册告诉你关于会不会在这里工作。这是因为编译到的正则表达式库bsdgrep启用了GNU正则表达式兼容性支持。这是另一个错误，据说已修复。

服务修复

该错误已于今年年初修复。该修复程序尚未使它成为FreeBSD的STABLE或RELEASE风格，但据报道它是最新的。

要将其放入grep从FreeBSD衍生的MacOS版本中bsdgrep，请咨询Apple。☺

进一步阅读

• 乔纳森·德博因·波拉德（2017-10-15）。如果给定多个模式，bsdgrep的行为将不正确。错误＃223031。FreeBSD Bugzilla。
• 凯尔·埃文斯（2017-04-03）。bsdgrep：修复匹配行为。修订版316477。FreeBSD源。
• 凯尔·埃文斯（Kyle Evans）（2017-05-02）。bsdgrep：修复-w -v与某些模式的匹配不正确的情况 。修订版317665。FreeBSD源。
• 内森·周（2014-06-16）。grep（1）和bsdgrep（1）无法识别[[：<：]]和[[：>：]]。错误＃191086。FreeBSD Bugzilla。

这段代码：

pl " Input data file data1 and stopwords file data2:"
head data1 data2

pl " Expected output:"
cat $E

pl " Results, grep:"
# grep -vwFf stopwords file
grep -vwFf data2 data1

pl " Results, cgrep:"
cgrep -x1 -vFf data2 data1

产生：

-----
 Input data file data1 and stopwords file data2:
==> data1 <==
file
types
extensions

==> data2 <==
i
file
types

-----
 Expected output:
extensions

-----
 Results, grep:
file
extensions

-----
 Results, cgrep:
extensions

在像这样的系统上：

OS, ker|rel, machine: Apple/BSD, Darwin 16.7.0, x86_64
Distribution        : macOS 10.12.6 (16G29), Sierra
bash GNU bash 3.2.57

有关cgrep的更多详细信息，可通过brew和sourceforge获得：

cgrep   shows context of matching patterns found in files (man)
Path    : ~/executable/cgrep
Version : 8.15
Type    : Mach-O64-bitexecutablex86_64 ...)
Home    : http://sourceforge.net/projects/cgrep/ (doc)

干杯