从UNIX Shell脚本中的列表中选择唯一或不同的值

我有一个ksh脚本，该脚本返回一长串值，用换行符分隔，并且我只想查看唯一/不同的值。有可能这样做吗？

例如，说我的输出是目录中的文件后缀：

tar
gz
java
gz
java
tar
class
class

我想查看类似的列表：

tar
gz
java
class

您可能需要查看uniq和sort应用程序。

./yourscript.ksh | 排序 优衣库

（仅供参考，是的，在此命令行中有必要进行排序，uniq只删除彼此紧接的重复行）

编辑：

与亚伦·迪古拉（Aaron Digulla）关于uniq的命令行选项发布的内容相反：

给出以下输入：

类
罐
罐
罐
箱子
箱子
爪哇

uniq 将只输出一次所有行：

类
罐
箱子
爪哇

uniq -d 将输出所有出现多次的行，并且将它们打印一次：

罐
箱子

uniq -u 将输出所有仅出现一次的行，并将其打印一次：

类
爪哇

./script.sh | sort -u

这与一氧化碳的 答案相同，但更为简洁。

对于可能不希望进行排序的较大数据集，您还可以使用以下perl脚本：

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'

基本上，这只是记住每条线的输出，因此不会再次输出。

与“ sort | uniq”解决方案相比，它的优势在于无需预先排序。

使用zsh，您可以执行以下操作：

% cat infile 
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
class

或者您可以使用AWK：

% awk '!_[$0]++' infile    
tar
more than one word
gz
java
class

将它们通过sort和传送uniq。这将删除所有重复项。

uniq -d仅给出重复项，uniq -u仅给出唯一的重复项（条带重复项）。

使用AWK，您可以做到，我发现它比排序快

 ./yourscript.ksh | awk '!a[$0]++'

根据要求唯一（但不排序）；
使用少于70个元素的较少系统资源（经时间测试）；
编写为从stdin接收输入
（或修改并包含在另一个脚本中）：（重
击）

bag2set () {
    # Reduce a_bag to a_set.
    local -i i j n=${#a_bag[@]}
    for ((i=0; i < n; i++)); do
        if [[ -n ${a_bag[i]} ]]; then
            a_set[i]=${a_bag[i]}
            a_bag[i]=$'\0'
            for ((j=i+1; j < n; j++)); do
                [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
            done
        fi
    done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
    a_bag[i]=$e
    i=$i+1
done
bag2set
echo "${a_set[@]}"

我得到了一个更好的技巧来获取文件中的非重复条目

awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u