如何从图像文件中删除元数据

[ OP的编辑＃1：事实证明，exiftool创建者/维护者Phil Harvey在ExifTool论坛上的重复线程中很好地回答了这个问题]

[ OP的＃2编辑：来自ExifTool常见问题解答：尝试删除所有元数据时，不能保证ExifTool会从文件中完全删除元数据。请参阅“作家限制”。]

我想在旧硬盘上搜索当前备份驱动器上没有的照片。格式包括jpg，png，tif等...，以及各种原始格式（不同的相机型号和制造商）。

我只对图像本身的唯一性感兴趣，而对唯一性不感兴趣，例如由于exif标签的值，给定exif标签本身的存在与否，嵌入的缩略图等的差异而引起的唯一性……

即使我不希望在原本相同的图像的不同副本之间发现任何损坏/数据腐烂，但我还是想检测一下，以及由于调整大小和颜色变化而引起的差异。

[ OP的编辑＃3：为澄清起见：少量的误报是可以容忍的（文件在不存在时被断定是唯一的），而误报是非常不希望的（错误地将文件断定为重复的）。 ]

我的计划是在剥离所有元数据后，根据md5sums识别唯一性。

如何删除元数据？

将exiftool -all= <filename>足够？

jhead能够从JPEG文件中删除非图像元数据。手册页显示：

-dc

从JPEG标头中删除评论字段。请注意，注释不是Exif标头的一部分。

-de

完全删除Exif标头。保留其他元数据部分不变。

-di

删除IPTC部分（如果有）。保留其他元数据部分不变。

-dx

删除XMP部分（如果有）。保留其他元数据部分不变。

-du

删除jpeg的非Exif，非注释或其他对图像无贡献的部分-例如photoshop可能会留在图像中的数据。

-purejpg

删除渲染图像不需要的所有JPEG部分。剥离各种应用程序可能残留在图像中的任何元数据。-de -dc和-du 选项的组合。

对于大多数图像，我都会选择ImageMagick。这是因为不同的库实现将产生不同的压缩结果，因此ImageMagick可以执行压缩统一。

通用类型很容易，因为操作系统具有读取和写入它们的库。所以：

find . -type f -name '*.jp*g' -o -type f -name '*.JP*G' \
       -exec mogrify -strip -taint -compress JPEG {} \;

find . -type f -name '*.png' -o -type f -name '*.PNG' \
       -exec mogrify -strip -taint -compress Lossless {} \;

find . -type f -name '*.gif' -o -type f -name '*.GIF' \
       -exec mogrify -strip -taint -compress LZW {} \;

这将确保您以相同的方式写入图像。然后您可以执行：

find . -type f -regextype posix-extended \
       -regex ".*\.(jpe?g|JPE?G|png|PNG|gif|GIF)" \
       -exec md5sum {} \; > checksums
sort -k 1 checksums |
cut -d ' ' -f 1 |
uniq -d |
while read x; do
    grep $x checksums
done

对于RAW格式，我相信唯一的方法就是按照Phil的说法进行操作，因此：

find . <blah blah> -exec exiftool -all= {} \;

然后校验和将是相同的。您只需要交叉手指，便可以通过单个实现创建更奇特的图像格式（或具有固定的文件格式）。

免责声明：这将用于比较它们之间的校验和。如果存储的校验和，然后重新运行-strip的更新后，zlib或libjpeg可能具有完全不同的校验结束。您需要每次为每个图像构建校验和。考虑到图像质量，明智的做法是只运行一次。

有了imagemagick包，不仅是JPEG，您还可以简单地：

mogrify -strip *.jpg

从手册：

-strip

删除任何配置文件，注释或以下PNG块的图像：bKGD，cHRM，EXIF，gAMA，iCCP，iTXt，sRGB，tEXt，zCCP，zTXt，日期。

这里有更多信息和警告。

注意：这类似于@grochmal，但更加直接和简单。

我想到了一个可能的解决方案。它回避了元数据的问题。它假定文件以图像本身结尾，所有元数据都位于文件的开头。

让我们将当前的备份驱动器称为黄金驱动器。

对于黄金驱动器上的图像：

1. 删除所有嵌入的缩略图。
2. 从尾部开始整理文件，例如，M = 100k字节。将第一个尾部（包含文件的末尾）称为末尾块。
3. 计算每个块的md5sum，并将它们存储在称为goldlist的主列表中。

对于旧驱动器上的图像：

1. 删除所有嵌入的缩略图。
2. 尾部关闭文件的最后M个字节。
3. 计算其md5sum。
4. U类：如果总和不在金牌列表中，则可以得出该文件对于金牌驱动器唯一的结论。将其复制到黄金驱动器。计算剩余块的md5sum，并将它们添加到金牌列表中。转到下一个文件。
5. 否则，倒数第二个M字节。但是，如果剩余字节小于N = 50k，则不要拖尾M个字节。取而代之的是将剩余部分作为稍微大一些的块进行处理。N必须大于标头区域（不包括缩略图）占用的最大空间。
6. 计算块的md5sum。
7. 与金牌列表比较，依此类推。
8. D类：如果所有块的总和都在金牌列表中，则得出结论是重复的。
9. P类：如果除最后一个块外所有块的总和都在金表中，则可以得出结论，这很可能是重复的。

P类将包含黄金驱动器上的图像，但具有不同的exifdata，或在图像的前导字节中具有损坏/数据损坏。

完成后，以交互方式检查CLASS P，并将其与黄金驱动器上的伴侣进行比较。

参见编辑＃3至OP。

分配给CLASS U和D的准确度应为100％。

P类的大小取决于块大小M，因为文件的前M + N个字节几乎可以肯定包含一些图像数据（以及所有元数据）

如果旧驱动器大部分包含重复项（包括元数据），则使用两个步骤来查找OP中定义的唯一性（即使两个文件在元数据上有所不同，OP也会将两个文件视为重复项）：

1. 使用完整的未剥离文件的md5sums来识别旧驱动器上的哪些文件对于当前备份驱动器是唯一的（在这种替代意义上），然后将它们分配给CLASS uU（未剥离的唯一）或CLASS D（upilcate）。D类将是100％准确的。CLASS uU应该很小（通过上述假设），并且包含真实重复项（在OP Sense中）和真实唯一性的混合。

2. 使用CLASS uU中小的文件（即可管理的）文件集，使用md5sums和各种剥离技术来设计文件比较方法，该方法对于OP中列出的目的很有用。

这有点旧，但是可以，exiftool的效果很好。

显示的元数据

exiftool photo.jpg

显示所有* .jpg文件的metedata

注意：扩展名区分大小写。

exiftool -ext jpg

与上述相同，但包括子目录。

exiftool -r -ext jpg .

删除所有元数据

exiftool -all= -overwrite_original photo.jpg

删除当前目录中所有* .jpg文件的所有元数据

exiftool -all= -overwrite_original -ext jpg 

与上述相同，但包括子目录。

exiftool -all= -r -overwrite_original -ext jpg .

删除当前目录中* .jpg文件的所有GPS元数据

exiftool -gps:all= *.jpg