在文件中查找重复的行并计算每行重复多少次？

假设我有一个类似于以下文件：

123 
123 
234 
234 
123 
345

我想查找重复的次数“ 123”，重复的次数“ 234”，等等。因此，理想情况下，输出如下：

123  3 
234  2 
345  1

假设每行有一个数字：

sort <file> | uniq -c

您也可以--count在GNU版本中使用更详细的标志，例如在Linux上：

sort <file> | uniq --count

这将仅打印重复的行，计数：

sort FILE | uniq -cd

或者，使用GNU长选项（在Linux上）：

sort FILE | uniq --count --repeated

在BSD和OSX上，您必须使用grep过滤出唯一的行：

sort FILE | uniq -c | grep -v '^ *1 '

对于给定的示例，结果将是：

  3 123
  2 234

如果要打印所有行的计数，包括仅出现一次的行：

sort FILE | uniq -c

或者，使用GNU长选项（在Linux上）：

sort FILE | uniq --count

对于给定的输入，输出为：

  3 123
  2 234
  1 345

为了对最上面的行最频繁的输出进行排序，您可以执行以下操作（获取所有结果）：

sort FILE | uniq -c | sort -nr

或者，仅重复行，最频繁出现

sort FILE | uniq -cd | sort -nr

在OSX和BSD上，最后一个变为：

sort FILE | uniq -c | grep -v '^ *1 ' | sort -nr

要查找和计数多个文件中的重复行，可以尝试以下命令：

sort <files> | uniq -c | sort -nr

要么：

cat <files> | sort | uniq -c | sort -nr

通过 awk：

awk '{dups[$1]++} END{for (num in dups) {print num,dups[num]}}' data

在awk 'dups[$1]++'命令中，变量$1保存column1的全部内容，方括号是数组访问权限。因此，对于文件中每一行的第一列，data命名数组的节点dups都会增加。

最后，我们dups使用numas变量遍历数组，并先打印保存的数字，然后打印重复值的数字dups[num]。

请注意，您的输入文件在某些​​行的末尾有空格，如果您将其清除，则可以$0代替$1上面的in命令使用：)

在使用“ Windows PowerShell”的Windows中，我使用下面提到的命令来实现此目的

Get-Content .\file.txt | Group-Object | Select Name, Count

我们也可以使用where-object Cmdlet过滤结果

Get-Content .\file.txt | Group-Object | Where-Object { $_.Count -gt 1 } | Select Name, Count

假设您可以访问标准的Unix shell和/或cygwin环境：

tr -s ' ' '\n' < yourfile | sort | uniq -d -c
       ^--space char

基本上：将所有空格字符转换为换行符，然后对翻译后的输出进行排序，并将其提供给uniq并计算重复行。