uniq为何还不够独特，以至于也只有uniq --unique？

这是来自pastebin的随机文件上的命令：

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

手册页不清楚该-u标志在做什么。有什么建议吗？

简洁版本：

• uniq，不带-u，将使输出的每一行都是唯一的。
• uniq -u仅打印输入中的每一行。

版本稍长：

uniq仅用于处理行重复的文件，并且仅当这些行在输入中连续出现时。因此，就其目的而言，唯一行是不会立即重复的行。

（uniq短期记忆非常有限；除非它紧接在前一行，否则它将永远不会记住该行是否在输入的前面出现，这就是为什么uniq经常与之配对的原因sort。）

如果遇到一排重复的行，uniq则不带-uarg 的行将打印该行的一个副本。（这使输出的每一行都是唯一的）。

使用该-u参数，它将打印该行的零份副本-重复的运行只会从输出中省略。

uniq与-u跳过任何重复的行。从而：

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

通常，uniq最多打印一次行（假设已排序的输入）。此选项实际上打印真正唯一的行（不再出现）。

uniq POSIX规范清楚地描述了它：

-u
    Suppress the writing of lines that are repeated in the input.

-u选项使uniq不打印重复的行。

大多数uniq实现使用字节比较，而GNU uniq使用排序规则来过滤重复的行。因此，在某些语言环境中可能会产生错误的结果，例如在en_US.UTF-8语言环境中：

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

并-u没有给您任何内容：

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

因此，您应该将locale设置为C以获得字节比较：

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

正常：

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq：后续没有重复的两行

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

已排序

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

-u排序：没有两行重复

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

排序/唯一性：所有不同

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

计算不同的事件

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

仅不重复的行（不首先排序）

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

仅不重复的行（排序后）

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d：仅打印重复的行，每组一行

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

..算了

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c