5
同步非常大的文件夹结构
我们的Intranet上有一个文件夹结构，其中包含大约800,000个文件，分为大约4,000个文件夹。我们需要将其同步到DMZ中的小型计算机集群。结构的深度很浅（从不超过两个深度）。 大多数文件永远不会改变，每天都有几千个更新文件和1-2 000个新文件。数据是在已清除源数据的地方维护的历史报告数据（即，这些是最终报告，其源数据足够旧，我们可以将其存档和删除）。鉴于每天同步一次可以在合理的时间范围内进行，因此每天同步一次就足够了。报告是在一夜之间生成的，我们将早晨的第一件事作为计划任务同步。 显然，由于很少有文件定期更改，因此我们可以从增量复制中受益匪浅。我们已经尝试过Rsync，但是仅完成“构建文件列表”操作就可能需要八到十二个小时。显然，我们正在迅速超越rsync的功能（12小时的时间框架太长了）。 我们一直在使用另一个名为RepliWeb的工具来同步结构，它可以在大约45分钟内进行增量传输。但是，似乎我们已经超过了它的极限，它开始看到文件在没有删除时显示为删除（也许某些内部存储器结构已经用完，我们不确定）。 还有其他人遇到过这种大规模的同步项目吗？是否有设计用于处理此类大型文件结构以进行同步的工具？