如何在非常大的数据池（数十到数百演出）中找到重复的照片？

谁能推荐一个好的照片复制检测实用程序，当我处理大约100gb的数据（多年来收集的数据）时，它会很好地工作吗？

我希望可以在Ubuntu上使用的东西。

提前致谢！

编辑：一旦检测到重复项，是否有工具可以帮助我重新组织集合并删除重复项？

Edit2：困难的部分是弄清楚一旦我得到包含数千个重复文件的输出（例如fdupes的输出），该怎么办。

如果我仍然可以安全地删除目录（例如，目录可能包含唯一文件），则该目录并不明显，该目录是其他目录的子集，依此类推。解决此问题的理想工具应该是确定文件重复，然后提供一种强大的手段来重组文件和文件夹。通过硬链接进行合并（如fslint所做的那样）确实释放了磁盘空间，但是并不能解决导致从头开始重复的根本问题，即错误的文件/目录组织。

ImageMagick进行救援。我认为任何解决方案的第一步都是减小集合的大小。如果要按照片内容比较照片，尤其是当某些照片经过稍微修改后，则一个很好的开始是将它们缩小为缩略图，然后比较缩略图。当您想要查找几乎相同的照片并希望在比较期间“忽略”不重要的差异时，这特别有用。

我的建议是，从高层次上来说，您：
1-使用ImageMagick的mogrify工具将照片缩小为缩略图。这将花费一些时间，但它将使实际的比较步骤变得更快，更准确。
2-使用ImageMagick的比较工具，该工具可让您设置比较阈值，即，它使您可以找到85％相似的照片。您可能想做一个对照实验，找出最喜欢的阈值。

开源照片查看器/组织者Geeqie具有强大的“ 查找重复项”功能。它可以使用几种不同的策略来查找重复项：

• 文件名（区分大小写或不区分大小写）
• 文件大小
• 档案日期
• 图片尺寸
• MD5校验和。
• 相似的图像内容（达到几个阈值）

这提供了一个结果列表，其中可能包含缩略图，因此您可以手动进行确认。

这对于成千上万个文件而言可能会很慢，但是我认为仅使用它并让它运行几天，或者总的来说要比查找或为该情况量身定制的内容花费更少的精力-除非您需要校验和匹配。

有一个名为“ fdupes”的小实用程序，可以满足您的需求？

您可能还需要尝试另一个名为“ fslint”的实用程序。（这有一个GUI）。

dupeGuru Picture Edition是适用于Windows，Mac OS X和Linux的可自定义的重复图像查找器。

dupeGuru有几种版本（标准版，音乐版和图片版），图片版使您可以通过位图块比较算法以及其他方法（例如EXIF原始图像时间戳或文件完全相同）来查找视觉上相似的图像。。

它具有多种其他有用的功能，例如排除文件夹，对iPhoto / Aperture库的支持以及对如何检测重复项以及如何处理重复项的自定义功能。

重复的照片是什么意思？您的意思是相同的文件吗，比如说只是复制了一两个额外的时间？还是说“看起来”相同的照片。

如果您指的是相同的文件，则可以在所有文件上使用“ shasum”，然后对结果进行排序，并使用“ uniq”找到唯一的行，然后运行“ diff”以查看已消除的内容。在Ubuntu Shell中一切都很容易。

有一个称为“ bleachbit”的应用程序，它可以通过大小，名称和其他过滤器查找重复的文件。您可以从ubuntu中的synapctic软件包管理器安装它。