快速维护sha256sums数据库？[关闭]

我有许多不同的磁盘（主要是硬盘）存储各种文件。我想知道它们都是以某种形式备份的。鉴于我以某种方式拥有数TB的文件（显然是备份的备份），我不想再将所有内容再次备份到新介质上。我想维护某种形式的文件数据库，并使用它来快速轻松地标识X上Y到Y上尚不存在的所有文件，理想情况下还可以

1. 列出X上所有未在其他介质上重复/备份的文件
2. X上的重复数据删除文件
3. 列出所有未复制到离线/ WORM /离线存储中的文件
4. 理想情况下，还可以按EXIF日期匹配JPG。

第一步是维护所有硬盘上文件哈希值的数据库。那么，我将如何维护一个具有数十亿字节文件哈希值的数据库？

乍一看似乎hashdeep就足够了，但是它似乎根本无法更新现有数据库，因此更新数据库将需要扫描许多TB的文件。du -ab足够快，并且filename + filesize可以很好地表明两个文件是否重复；但是，具有哈希值显然会更加可靠。

也许没有简单的方法可以做到这一点，并且需要大量的脚本。如果是这样，我将脚本保存在：https : //github.com/gmatht/joshell/blob/master/mass_file_management/

目前，这些功能仅需解析du的输出即可猜测哪些文件是新文件，并计算新的唯一文件需要归档多少MB。更好的解决方案将是首选。