如何删除文本文件中的重复行？

我的一个巨大的文本文件（最多2 GiB）包含其中每一行的大约100个精确重复项（对我而言，这是无用的，因为该文件是类似CSV的数据表）。

我需要的是在保持原始序列顺序的同时删除所有重复（最好是牺牲掉，但这可以显着提高性能）。结果，每一行都是唯一的。如果有100条相等的行（通常重复项分布在文件中并且不会成为邻居），则只剩下其中一种。

我已经用Scala编写了一个程序（如果您不了解Scala，请考虑使用Java）来实现此目的。但是，也许有更快的C编写的本机工具能够更快地做到这一点？

更新：awk '!seen[$0]++' filename只要文件接近2 GiB或更小，该解决方案对我来说似乎就很好，但是现在我要清理8 GiB文件就不再起作用了。在配备4 GiB RAM和配备4 GiB RAM和6 GiB交换功能的64位Windows 7 PC的Mac上，似乎占用了无限空间。鉴于这种经验，我并不热衷于在具有4 GiB RAM的Linux上进行尝试。

awk在#bash（Freenode）上看到的解决方案：

awk '!seen[$0]++' filename

有一个使用标准实用程序的简单方法（这并不是显而易见的方法），它不需要大的内存即可运行sort，在大多数实现中，该方法对大型文件进行了特定的优化（一种良好的外部排序算法）。此方法的优点是，它仅在专用实用程序内的所有行上循环，而在解释型语言内不循环。

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

如果所有行都以非空格字符开头，则可以省去一些选项：

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

对于大量重复，仅需要将每行的单个副本存储在内存中的方法将表现更好。通过一些解释开销，有一个非常简洁的awk脚本（已由enzotib发布）：

<input awk '!seen[$0]++'

不太简洁：!seen[$0] {print} {seen[$0] += 1}，即打印当前行（如果尚未看到），然后递增seen该行的计数器（未初始化的变量或数组元素的数值为0）。

对于较长的行，可以通过仅保留每行的不可伪造的校验和（例如，加密摘要）来节省内存。例如，使用SHA-1，您只需要20个字节加上每行恒定的开销。但是计算摘要相当慢。仅当您具有快速的CPU（尤其是使用硬件加速器来计算摘要的CPU）并且相对于文件大小和足够长的行没有足够的内存时，此方法才会获胜。没有基本的实用程序可让您为每一行计算校验和。您将不得不承担Perl / Python / Ruby /…的解释开销，或者编写专用的编译程序。

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

请注意，输出文件将被排序。

假设您有能力在内存中保留尽可能多的已重复数据删除的文件（如果确实确实将数据重复了100倍，那应该大约是20MiB +开销），那么使用Perl可以非常轻松地做到这一点。

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

这也保留了顺序。

%dup如果愿意，您可以从哈希中提取每一行的出现次数，以作为额外的免费奖励。

如果您愿意awk，也应该这样做（与perl版本相同的逻辑，相同的顺序，在dup变量中收集的相同数据）：

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

由于没有其他答案可以就地提供支持，因此这里有一个：

gawk -i inplace '!a[$0]++' file

您可以使用uniq http://www.computerhope.com/unix/uuniq.htm

uniq 报告或过滤掉文件中的重复行。

Python One衬板：

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

在我的Mac上，这里没有答案对我有用，所以我写了一个对我有用的简单python脚本。我忽略了前导/尾随空格，也不在乎内存消耗。

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

将以上内容保存到unique.py并按以下方式运行：

python unique.py inputfile.txt outputfile.txt

对于bash 4，可以使用利用关联数组的纯bash解决方案。这是一个例子

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt