Linux到Linux的10 TB传输?


9

我已经看过以前所有类似的问题,但是答案似乎无处不在,没有人在移动很多数据(100 GB与10 TB不同)。

从一个RAID阵列转移到另一个,千兆位以太网,免费的百科全书,XFS文件系统需要大约10 TB 。我最大的担心是传输中断,并且无法轻松恢复。速度会不错,但是确保传输更为重要。

通常,我只是tar和netcat,但是最近要移出的RAID阵列非常脆弱,而且如果它在中间过程中掉线,我需要能够恢复和恢复。我应该看rsync吗?

进一步研究这一点,我认为rsync可能太慢了,我希望避免花费30 或更长时间。因此,现在我正在寻找有关如何使用netcat监视/恢复传输的建议。


有时我需要进行大文件传输(而不是10TB;)rsync有很多标志,其中一些标志可能会影响大文件传输的性能(例如,我认为--checksum和--archive可能会使您变慢。转移10TB时会有很大的不同。)。谁能推荐好的选项来帮助优化如此大文件传输的性能?调整会--block-size=SIZE有所帮助吗?
Stefan Lasiewski 2010年

无论如何有消除ssh开销?
lostincode 2010年

1
在接收端设置rsyncd?无需ssh
cpbills 2010年

3
在接收方和发送方的客户端上运行rsync守护程序。
暂停,直到另行通知。

2
如果您无法在一侧设置rsync守护程序并被SSH所卡住,则可以通过不太好的加密来减少加密开销,例如:rsync -avz -e'ssh -c arcfour'源DEST
David

Answers:


14

是的,rsync

在怪异之外,DRBD的异步功能最近问世了。


1
+1为Rsync。Linux上系统间传输之王。
grufftech 2010年

+ 1,rsync(与Windows相对应的DeltaCopy)结束了服务器到服务器通用文件复制的所有工作。
克里斯S 2010年

1
+1为rsync,但我要补充一点,在NFS挂载上“本地”执行此操作可能会更快,而不是引起rsync或SSH协议开销。
James Sneeringer 2010年

2

永远不要低估装有磁带的旅行车的带宽。 如果您可以将10TB分成(例如2TB)块,则相对便宜的消费级NAS设备将是可行的。如果这是一次性的,那么半手动过程可能是可行的,而2TB NAS只需几百美元。

如果需要正在进行的过程,则可以在完成初始传输后设置RSYNC。


最初的问题提到这已经通过本地网络。
Ladadadada

1
对于OP而言,这似乎太慢和/或不可靠。
ConcernedOfTunbridgeWells 2010年


0

您可以尝试在服务器上设置要复制数据的FTP服务器,并在接收端使用带有“ resume”的FTP客户端。我使用Filezilla服务器和客户端,并且经常使用客户端的“恢复”功能,并且该功能始终运行顺利。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.