如何计算文件中的单词总数？

我正在寻找一个命令来计算文件中所有单词的数量。例如，如果文件是这样的，

today is a 
good day

然后应该打印5，因为那里有5文字。

命令wc又名。字数统计可以做到：

$ wc -w <file>

例

$ cat sample.txt
today is a 
good day


$ wc -w sample.txt
5 sample.txt


# just the number (thanks to Stephane Chazelas' comment)
$ wc -w < sample.txt
5

我想出这个只是数字：

wc -w [file] | cut -d' ' -f1

5

我也喜欢这种wc -w < [file]方法

最后，仅将单词计数存储在变量中，可以使用以下命令：

myVar=($(wc -w /path/to/file))

这使您可以优雅地跳过文件名。

更好的解决方案是使用Perl：

perl -nle '$word += scalar(split(/\s+/, $_)); END{print $word}' filename

@伯恩哈德

您可以wc在我的机器上测试的coreutils中检查命令的源代码，并subst.c在bash 4.2源文件中进行检查。

time wc -w subst.c

real    0m0.025s
user    0m0.016s
sys     0m0.000s

和

time perl -nle '$word += scalar(split(" ", $_)); END{print $word}' subst.c

real    0m0.021s
user    0m0.016s
sys     0m0.004s

文件越大，Perl的效率就越高wc。

让我们使用AWK！

$ function wordfrequency() { awk 'BEGIN { FS="[^a-zA-Z]+" } { for (i=1; i<=NF; i++) { word = tolower($i) words[word]++ } } END { for (w in words) printf("%3d %s\n", words[w], w) } ' | sort -rn } 
$ cat your_file.txt | wordfrequency

这列出了提供的文件中每个单词出现的频率。我知道这不是您要的，但是更好！如果您想查看单词的出现，可以执行以下操作：

$ cat your_file.txt | wordfrequency | grep yourword

我什至将此功能添加到我的.dotfiles中

资料来源：AWK-ward Ruby

该wc程序会计算“单词”，但是例如，这些单词并不是许多人检查文件时会看到的“单词”。vi例如，该程序使用不同的“单词”量度，根据它们的字符类对它们进行定界，同时wc仅计算由空格分隔的内容。两种措施可能根本不同。考虑以下示例：

first,second

vi看到三个单词（第一个和第二个，以及用逗号隔开），而wc看到一个单词（该行上没有空格）。数词的方法有很多，有些没有其他有用。

虽然Perl的会更适合写一个计数器vi风格的话，这里有一个简单的例子使用sed，tr和wc（适度便携使用文字回车^M）：

#!/bin/sh
in_words="[[:alnum:]_]"
in_punct="[][{}\\|:\"';<>,./?\`~!@#$%^&*()+=-]"
sed     -e "s/\($in_words\)\($in_punct\)/\1^M\2/g" \
        -e "s/\($in_punct\)\($in_words\)/\1^M\2/g" \
        -e "s/[[:space:]]/^M/g" \
        "$@" |
tr '\r' '\n' |
sed     -e '/^$/d' |
wc      -l

比较计数：

• 运行脚本本身，给了我76个单词。
• @cuonglm在Perl中的示例给出31。
• 使用wc给出28。

作为参考，POSIX vi表示：

在POSIX语言环境中，vi将识别五种单词：

1. 字母，数字和下划线的最大序列，两端用以下字符分隔：

   • 字母，数字或下划线以外的字符
     

   • 行的开头或结尾

   • 编辑缓冲区的开始或结束

2. 除字母，数字，下划线或字符外的最大字符序列，两端用以下字符分隔：

   • 字母，数字，下划线
     
   • <blank> 人物
     
   • 行的开头或结尾
     
   • 编辑缓冲区的开始或结束

3. 一或多个连续的空白行

4. 编辑缓冲区中的第一个字符

5. <newline>编辑缓冲区中的最后一个非