Rsync通过ssh挂起从客户端到LAN NAS服务器的文件


1

我正在使用rsync通过SSH对本地网络上的NAS进行备份。但是当运行rsync时,我发现它已经卡在某些文件上。Rsync将完全冻结并拒绝传输任何其他文件。然后,我必须强制使用SIGKILL,这会导致整个rsync作业重新启动并卡在同一个文件上,导致它在上次运行时挂起。

我尝试了各种修复程序,但到目前为止还没有任何修复。我最初认为它的发生是因为我的本地系统之间存在一些非法的字符问题(OS X 10.11.3与OS扩展FS和运行Ubuntu Linux 14.04.1的NAS以及用于备份的ext4驱动器)。我注意到当rsync卡在它通常拥有的文件上时,文件名或路径通常在其中有'&'9/10次。

但是lsofhtop在服务器上和服务器上查看rsync进程之后,看起来rsync(大多数情况下,但不是全部)在客户端的rsync文件挂起的同一点上崩溃。我注意到,即使rsync在客户端挂起,我仍然会看到输出显示lsof正在访问服务器端的文件。

这是我正在使用的rsync命令。

/usr/bin/rsync --bwlimit=1000 --verbose --rsync-path="sudo rsync" --archive --recursive --numeric-ids --human-readable --partial --progress --relative --itemize-changes --stats --files-from=/Users/user/Dropbox/Flex/Scripts/mac/rysnc-backup-to-cp/config/backup_files --exclude-from=/Users/user/Dropbox/Flex/Scripts/mac/rysnc-backup-to-cp/config/exclude -e "ssh -q -p 22 -i /Users/enwhat/.ssh/user" / user@192.168.0.21:/media/Backup/_Backup/Machine/

rsync通常会卡在哪里的示例:

<f+++++++ Volumes/Data/Users/user1/Pictures/2013_12_iPhone_Archive/IMG_6993.m4v 17.33M 63% 994.25kB/s 0:00:10

要么

<f+++++++ Volumes/Data/Users/user1/Documents/docs/Work/_Sort from USB backup drive/Drive/JOB/CD Album/AAA1834__Album&flyer_15_Years/2-Design/1-D-Visuals/stage 05/AAA_album_12_c.psd 96.40M 50% 1.55MB/s 0:01:00

我试过--verbose --rsync-path="sudo rsync” --delete-during单独删除所有。当我删除这些参数标志时,rsync进程将到达给定文件然后挂起。

这里有其他的东西在发挥作用还是文件名中的非法字符很可能导致FS类型之间出现问题?

我确实认为在服务器上运行的Crashplan可能占用了太多资源并导致rsync崩溃。但是当我在服务器上停止CrashPlan服务时,资源会自由释放,但rsync仍会在同一文件上崩溃。这是一个侧面说明,不在问题的范围之内,但我确实想知道是否应该抛弃Crashplan并切换到Amazon Glacier作为备份服务,因为Crashplan吸收了大量的CPU和内存。


我刚看到完全相同的问题。我没有注意到带有&符号的文件会造成特别的麻烦,但我正在尝试将几兆字节的文件从USB驱动器同步到NAS。我在一夜之间运行了rsync,今天早上它完成但是有一些错误,一些文件没有被复制。我检查过,很多人确实失踪了,所以我再试一次,现在它在第一对夫妇文件后一直被卡住了。rsync仍在服务器上运行,但没有做任何事情。
Mitch Lindgren

@MitchLindgren我没有找到解决这个问题的方法。最后我换成了另一个备份系统。我怀疑这个问题可能是针对我的设置的一些问题。即文件名中的无效字符。备份设备上的低功耗CPU和I / O总线。我正在从本地HFS +文件系统复制到远程ext3文件系统。我希望你能找到一个可行的解决方案。
juliushibert

Answers:


0

我不知道为什么rsync可能会挂起。您可以尝试在该目录树中运行常规副本,并查看是否存在某种I / O错误。运行文件系统检查不是一个坏主意。

至于亚马逊冰川,是的你可以使用它。Duplicity支持S3作为备份目标,S3的生命周期规则允许您自动将文件移动到Glacier(通过S3 Web控制台配置)。您需要在S3中保留签名和清单文件(否则duplicity将无法检索它们),但只有在需要提取备份文件时才需要卷文件,因此可以将它们安全地存储在Glacier中。生命周期规则需要一个已知的前缀,这不是双重性的默认行为,因此请务必检查参数设置。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.