Linux工具查找重复文件？

我有大量且不断增长的文本文件集，这些文件都非常小（少于100个字节）。我想比较每个可能的文件对，并注意重复的文件。我可以编写一个Python脚本来执行此操作，但是我想知道是否有一个现有的Linux命令行工具（或者可能是这些工具的简单组合）可以执行此操作？

更新（响应mfinni注释）：文件全部在一个目录中，因此它们都有不同的文件名。（但是它们都有一个共同的文件扩展名，可以很容易地用通配符选择它们。）

有炸薯条。但是我通常结合使用find . -type f -exec md5sum '{}' \; | sort | uniq -d -w 36

好吧，有FSlint-在这种特殊情况下我没有使用过，但是我应该能够处理它：http : //en.flossmanuals.net/FSlint/Introduction

几乎可以肯定，您不想比较每对文件。您可能想要使用md5sums之类的东西来获取所有文件的所有校验和，并将其通过管道传送到其他工具中，该工具将仅报告重复的校验和。