检查文件的所有行是否唯一

我有一个包含以下内容的文本文件：

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

我如何确定每一行的唯一性？

注意：目的是测试文件，如果存在重复的行，则不要修改它。

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

AWK解决方案：

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

使用sort/ uniq：

sort input.txt | uniq

要仅检查重复的行，请使用-duniq选项。这将仅显示重复的行，如果不重复，则不显示任何内容：

sort input.txt | uniq -d

TLDR

最初的问题尚不清楚，并且阅读到OP仅需要文件内容的唯一版本。如下所示。在问题的自更新以来，OP现在声明他/她只是想知道文件内容是否唯一。

测试文件内容是否唯一

您可以简单地sort用来验证文件是否唯一或包含重复项，例如：

$ sort -uC input.txt && echo "unique" || echo "duplicates"

例

说我有这两个文件：

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

现在，当我们分析这些文件时，我们可以判断它们是否唯一或包含重复项：

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

原始问题（文件的唯一内容）

可以通过以下方式完成sort：

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

我通常使用sort该文件，然后使用它uniq来计算重复项的数量，然后再sort一次在列表底部看到重复项。

我在您提供的示例中添加了一个副本：

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

由于我已经有uniq一段时间没有阅读手册页了，因此我快速浏览了所有替代方法。如果您只想查看重复项，则以下内容不再需要第二种：

$ sort thread.file | uniq -d
This is a thread  139737505302272

如果没有重复项，则所有行都是唯一的：

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

说明：对文件行进行排序以使重复的行连续（排序），
提取所有相等的连续行（uniq -d）。
如果（[...]）以上命令的输出，则（&&）打印一条消息。

没有Perl的回答，这将是不完整的！

$ perl -ne 'print if ++$a{$_} == 2' yourfile

这将打印每个非唯一行一次：因此，如果不打印任何内容，则文件具有所有唯一行。

在cmp和sort中使用bash：

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

要么

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

但这将对文件进行两次排序，就像接受的答案一样。