Questions tagged «rsync»

我在Ubuntu服务器系统上使用Dirvish将HD备份到外部USB 3.0驱动器。直到几天前，一切工作都很好，但是现在每个备份都失败，并且“设备（28）上没有剩余空间”和“文件系统已满”。不幸的是，事情并非如此简单：设备上有超过500 GB的可用空间。 细节： rsync_error： rsync: write "/mnt/backupsys/shd/gesichert1/20130223_213242/tree/<SomeFilename1>.eDJiD9": No space left on device (28) rsync: writefd_unbuffered failed to write 4 bytes to socket [sender]: Broken pipe (32) rsync: write "/mnt/backupsys/shd/gesichert1/20130223_213242/tree/<SomeFilename2>.RHuUAJ": No space left on device (28) rsync: write "/mnt/backupsys/shd/gesichert1/20130223_213242/tree/<SomeFilename3>.9tVK8Z": No space left on device (28) rsync: write "/mnt/backupsys/shd/gesichert1/20130223_213242/tree/<SomeFilename4>.t3ARSV": No space …

12 linux  ubuntu  filesystems  rsync 

我们设置了一个Linux（在Amazon AWS上，它是一个类似CentOS的系统，尽管我们不确定是否对其进行了自定义），将系统具有4TB存储作为LVM上的XFS卷（最终用于通过NFS4进行服务），但是尚未使用），并且我们正在使用rsync将文件从我们生产的NFS服务器同步到XFS卷（即，从NFS上的源rsync到本地安装的基于XFS的LVM卷）。但是，我们观察到，在中间的某个时刻，rsync开始变得越来越迟钝（吞吐量急剧下降），并且平均负载和内存消耗都大大增加了（并且在iowait中CPU所占的比例非常大）。最终，我至少在过去的24小时内重新启动了XFS系统，并且该系统显然恢复了正常运行，并且rsync性能更加正常。 我们检查了munin监视图，没有发现任何明显的问题，但是我们发现“ Inode表大小”和“打开inode”度量标准（检查了munin插件实现，该实现指向从/ proc / sys /中读取的值fs / inode-nr）随时间持续下降。在我们观察到rsync陷入僵局之前不久，我们观察到两个指标都从数十万降到了几千（我们的非XFS服务器大部分时间都保持在大约50万，并且在长期内没有任何单调下降的趋势） ），我们观察到了来自内核的日志，如下所示： ip-XX-XXX-XXX-XXX登录：[395850.680006] hrtimer：中断花费了20000573 ns 9月18日17:19:58 ip-XX-XXX-XXX-XXX内核：[395850.680006] hrtimer：中断花费了20000573 ns [400921.660046]信息：任务rsync：7919被阻止超过120秒。 [400921.660066]“回显0> / proc / sys / kernel / hung_task_timeout_secs”禁用此消息。 [400921.660077] rsync D ffff880002fe4240 0 7919 7918 0x00000000 [400921.660093] ffff8800683e5638 0000000000000282 ffff880000000000 0000000000014240 [400921.660131] ffff8800683e5fd8 0000000000014240 ffff8800683e5fd8 ffff88000726da40 [400921.660153] 0000000000014240 0000000000014240 ffff8800683e5fd8 …

12 linux  rsync  xfs 

我正在使用rsync将一个目录移动到另一个目录。有什么方法可以使rsync在将文件复制到接收者之后从发件人中逐步删除文件？

12 linux  unix  rsync  file-transfer  command-line-interface 

我杀死了本地的“ rsync -ah”进程。 它将“ .abc.vmdk.zxivMN”之类的垃圾文件留在了目标目录中。 垃圾文件不会在连续的“ rsync -ah”运行中被删除。 详细信息： 我在同步的两个文件夹上都运行了差异，并且报告：“仅在/ mnt / archive1 / documents / general：.abc.vmdk.zxivMN” 清除临时rsync文件的最佳方法是什么？

12 rsync 

我想同步Server1和Server2的日志到LogServer。 对于Server1： rsync -avz -e 'ssh -p 2188' user@server1:/usr/local/servers/logs/* /usr/local/logs/ 这一项有效，但适用于Server2： rsync -avz -e 'ssh -p 2188' user@server2:/usr/local/servers/logs/* /usr/local/logs/ 它失败： shell-init: error retrieving current directory: getcwd: cannot access parent directories: no such file or directory job-working-directory: error retrieving current directory: getcwd: cannot access parent directories: no such file or directory …

11 linux  ssh  rsync  shell 

我正在使用rsync收到此消息： symlink has no referent: "/a/path" 好吧，rsync是正确的：在源文件系统中，（符号）链接指向一个不存在的位置。那是有意的。链接的目标仅存在于目标文件系统中。我希望rsync忽略该事实并在目标位置创建符号链接。 如何强制rsync做到这一点？

11 linux  rsync  symbolic-link 

这是指这里所述的问题，我也遇到了同样的问题。 在我的一台服务器中，我运行了一个rsync，将一个巨大的目录（大小大于300 Gb）备份到安装在同一台计算机上的另一个磁盘上。正在同步的目录包含数千个目录和文件。我发布了一个带有'nohup'的rsync命令，然后使用'＆'命令将其推送到后台。在远程bash shell上给出的完整命令（使用腻子）为： nohup rsync -avh /some/local/dir /backup/ >> /opt/rsync.dec22.log & 然后只是为了检查以什么速率复制数据，我使用了“ iotop”命令，发现有3个rsync运行着相同的参数。在搜索时，我发现上面的链接说这很正常。 但是，通过做一个iotop来仅监视那些以及系统上运行的rsync进程，我看到一个进程正在读取文件，一个正在写入文件，但是一个处于空闲状态。行为似乎很好，因为一个进程一次只做一件事，但是第三个进程在做什么（在下图中显示为中间的一个）？ 我使用的iotop命令是： iotop -p22250 -p22251 -p22252 这是iotop命令输出的屏幕截图： 我问这个原因，我经常使用rsync，并且想了解它的行为以获得长期利益。我什至都读了手册，但是却没说什么。

11 linux  rsync  command 

我正在使用rsync将某些数据从一台服务器备份到另一台服务器。一切正常，但完成时间可能会长一些，具体取决于要传输的数据量。 有什么保证方法可以确保在上一个命令使用cronjob完成之前不启动rsync命令？ 例如，我每小时运行一次rsync命令，但是可能要花1个多小时才能完成传输，因此下一个将在上一个完成之前开始。

11 linux  cron  rsync 

我们在的server-1中有一个中央文件存储库/srv/www。然后，我们也有N个服务器。我们希望server-1能够将其文件/srv/www尽快，高效地部署到所有服务器中。 是否有类似rsync的内容，但是不是指定单个目标，而是指定目标的集群（N个服务器）？ 我以为git可能可行，但是我们也可以指定多个遥控器来推送吗？ 最好的解决方案是，假设N台服务器最终可能达到数百台。

11 rsync  deployment  git 

目前，我们面临一个大问题：我们需要为一个客户镜像文件系统。那通常不是真正的问题，但是这里是： 在此文件系统上，存在一个包含数百万个硬链接的文件夹（是！百万！）。rsync建立档案清单需要4天以上的时间。 我们使用以下rsync选项： rsync -Havz --progress serverA:/data/cms /data/ 有谁知道如何加快此rsync或使用替代方法？我们无法使用，dd因为目标磁盘小于源磁盘。 更新： 作为原始文件系统，ext3我们将尝试dump和restore。我会告诉你的

11 linux  performance  rsync  hardlink 

稍后我在使用服务控制台在ESXi中执行任何操作这一事实令我感到rate惜... 我有一个可以在ESXi 4.1U1中使用的工作rsync二进制文件（v3.0.4）。将VM或备份从一个本地数据存储复制到另一本地数据存储时，我倾向于在cp上使用rsync。我已使用rsync将数据从一个ESXi盒复制到另一个ESXi盒，但这仅用于小型文件。 现在，尝试在我的主要ESXi计算机和辅助ESXi计算机之间通过ghettoVCB进行备份的真正差异同步。但是，即使我在本地执行此操作（从一个数据存储到同一台ESXi机器上的另一个数据存储），rsync仍会完整复制文件。我有两个总计80GB的VMDK，而rsync仍然需要1到2个小时之间的任何时间，但是VMDK并没有每天增长那么多。 以下是我正在执行的rsync命令。我在本地复制，因为最终这些文件将被复制到从远程系统上的LUN创建的数据存储中。它不是远程系统上的rsync守护程序将服务的rsync。 rsync -avPSI VMBACKUP_2011-06-10_02-27-56/* VMBACKUP_2011-06-01_06-37-11/ --stats --itemize-changes --existing --modify-window=2 --no-whole-file sending incremental file list >f..t...... VM-flat.vmdk 42949672960 100% 15.06MB/s 0:45:20 (xfer#1, to-check=5/6) >f..t...... VM.vmdk 556 100% 4.24kB/s 0:00:00 (xfer#2, to-check=4/6) >f..t...... VM.vmx 3327 100% 25.19kB/s 0:00:00 (xfer#3, to-check=3/6) >f..t...... VM_1-flat.vmdk 42949672960 100% 12.19MB/s 0:56:01 (xfer#4, to-check=2/6) …

11 vmware-esxi  vmware-esx  rsync 

我想使用Rsync将许多文件/文件夹从Windows传输到Linux。在linux服务器（目标）上，我希望将文件许可权设置为644，将文件夹许可权设置为755。如果可能的话，我希望所有文件/文件夹的所有权都设置为root.root。我尝试了-p选项，但是它不起作用。感谢您的任何帮助。

11 windows  permissions  rsync  chmod 

我正在使用rsync从远程FTP备份到本地计算机。 我在互联网上读到rsnapshot更好。 只想知道生产环境中使用了哪种

11 backup  rsync 

当我运行rsync涉及复制大文件的备份作业时，运行备份的计算机（Mac台式机和Linux服务器）会停顿下来，平均负载会达到顶峰。 我试过了： nice处理rsync过程（无济于事-瓶颈是磁盘） 在Linux上，请renice输入a kjournald（有帮助，但看起来像黑客，在Mac上不起作用） 使用--bwlimit rsync标记（有帮助，但这意味着所有传输都很缓慢-即使不需要传输） 那么，有没有什么办法可以“ nice” rsync的IO这样的机器都可用的备份运行时？ PS：我知道rsync在Mac上的危险…但是，我已经使用BackupBouncer来验证我的备份，而且看起来还可以。

11 backup  rsync  nice 

我使用rsync备份服务器，但是这些备份非常大，我想对其进行压缩。有没有一种方法可以在rsync周围进行某种包装，从而在备份文件中压缩文件，从实时文件rsync更改，然后在复制文件后立即重新gzip？ 也就是说，如果在现场的源文件是富，酒吧和巴兹，备份有foo.gz，bar.gz和baz.gz。 重申一下：我想要在一端压缩文件，而在另一端压缩文件。我不想在rsync之前进行压缩，因为即使使用--rsyncable，它也会降低rsync的效率。我知道rsync的-z选项。我的备份计算机上没有空间来存储所有未压缩的文件。

11 backup  rsync  gzip