11
传输15TB的小文件
我正在将数据从一台服务器归档到另一台服务器。最初我开始rsync工作。它只花了2周的时间就建立了仅用于5 TB数据的文件列表,又花了一周的时间来传输1 TB的数据。 然后我不得不取消工作,因为我们需要在新服务器上停机。 我们已经同意将其压缩,因为我们可能不需要再次访问它。我当时正在考虑将其分成500 GB的块。在我完成tar之后,我将复制整个过程ssh。我正在使用tar,pigz但仍然太慢。 有更好的方法吗?我认为两个服务器都在Redhat上。旧服务器是Ext4,新服务器是XFS。 文件大小从几kb到几mb不等,5TB中有2400万个jpeg。因此,我估计15TB大约需要60-80百万。 编辑:与rsync,nc,tar,mbuffer和Pigz玩了几天后。瓶颈将是磁盘IO。由于数据跨500个SAS磁盘和约2.5亿jpeg数据条带化。但是,现在我了解了以后可以使用的所有这些好工具。