Questions tagged «synchronization»

我想中断对debian squeeze软件raid的运行中的重新同步操作。（这是常规的预定比较比较同步。在这种情况下，raid阵列仍然干净。在磁盘发生故障并更换磁盘后，请勿将其与重建混淆。） 如何在运行时停止此计划的重新同步操作？另一个RAID阵列是“重新同步未决”，因为它们都在同一天（星期日晚上）接连检查。我希望此星期日晚上重新同步完全停止。 [编辑：sudo kill -9 1010不会停止，1010是md2_resync进程的PID] 我还想知道如何控制重新同步之间的间隔以及到下一次的保持时间。 [Edit2：我现在所做的是使重新同步非常缓慢，因此不再受到干扰： sudo sysctl -w dev.raid.speed_limit_max=1000 取自http://www.cyberciti.biz/tips/linux-raid-increase-resync-rebuild-speed.html 在夜间，我将其设置回较高的值，因此重新同步可以终止。 对于大多数情况，此解决方法都很好，不过，知道我所问的内容是否可能会很有趣。例如，在重新同步或重新同步“待处理”时似乎无法增长数组]

50 linux  raid  software-raid  synchronization  mdadm 

目前，我有两个目录A /和B /，除了时间戳外，每个目录都相同。因此，如果我运行命令： rsync --dry-run -crvv A/ B/ 然后所有文件都标记为“最新”，而命令： rsync --dry-run -rvv A/ B/ 显示所有文件都将从A /复制到B /。 我的问题是：鉴于我知道文件是相同的（就内容而言），那么有什么办法（通过rsync或其他方式）将B /中的文件的时间戳设置为与B /中的文件的时间戳相同。 A /，而不是将所有文件从A /复制到B /？ 谢谢

42 rsync  copy  synchronization  timestamp 

我有一个免费的保管箱帐户（2GB），我想知道大型文件的版本管理如何工作。 我对网站上的所有Web文件都进行了完整备份@刚刚超过1GB。最初上传1GB后，每次同步时，Dropbox都会计算出文件的增量，还是必须再次将整个文件上传到版本中？ 始终拥有一个大文件的最新版本会很酷，但是我不想每次都上传1GB的带宽时就浪费时间。 这可能吗？ 谢谢，

28 backup  synchronization  versioning  dropbox 

在我为之工作的一家公司中，我们有一个称为“播放列表”的东西，它们是每个〜100-300字节的小文件。大约有一百万。每小时大约有100,000个被更改。这些播放列表需要每小时上传到不同大洲的其他10个远程服务器，并且理想情况下，播放列表必须在2分钟内快速完成。在主副本上删除的文件也必须在所有副本上删除，这一点非常重要。目前，我们将Linux用于基础架构。 我正在考虑尝试使用带有-W选项的rsync复制整个文件而不比较内容。我还没有尝试过，但是也许有更多rsync经验的人可以告诉我这是否可行？ 还有哪些其他选项值得考虑？ 更新：我选择了lsyncd选项作为答案，但这仅仅是因为它是最受欢迎的选项。其他建议的替代方案也以其自己的方式有效。

27 rsync  optimization  synchronization 

我想将内部硬盘驱动器的目录同步到外部硬盘驱动器。 当我在内部硬盘驱动器上写入或修改文件时，相同的文件会自动复制到外部硬盘驱动器...并再见备份;） 这将类似于带有外部硬盘驱动器的RAID。 这可能吗？

25 synchronization 

在深入研究如何在不同的Linux机器上同步UID / GID之前，我想知道实际上有什么好处？ 我知道这使文件同步相对容易（因为所有权是“自然”保留的）。但是，这也可以通过传输服务来实现。 还有什么可以从一致的UID / GID中受益吗？

24 linux  synchronization  uid 

我与一个团队合作管理500-600台出租的Windows 7计算机，用于年度会议。我们需要将大量数据同步到这些计算机，最多1 TiB。这些计算机分为多个房间，并通过非托管的千兆位交换机连接。我们会在Windows安装和配置中提前准备好这些计算机，再加上在将基本映像发送给出租公司进行复制之前我们可以使用的所有文件。每年，我们都会使用演示者的方法处理多达数千个数据，这些数据需要被推送到将要演示的房间中。有时，它们只有几个小尺寸的文件，例如幻灯片PDF，但可以有时会大于5 GiB。 我们当前推送这些文件的策略是使用批处理脚本和RoboCopy。对于大型推送，我们实际上使用BitTorrent客户端生成一个torrent文件，然后使用batch-RoboCopy将torrent推送到受安装的BT客户端监视的远程计算机上的文件夹中。通常，此数据需要在很小的时间范围内立即推送。我们在控制室中有几台机器，这些机器与用于这些推动的地板上的机器相同。 有时我们需要在远程计算机上执行程序，并且当前我们使用批处理和PSexec来处理此任务。 我们希望能够以“对不起，您自己的错”对这些最后一刻做出回应，但不会发生。BT方法使我们有更快的响应时间，但是当有多个作业被推送时，整个批处理过程可能会变得混乱。我们将Enterprise Ghost用于其他流程，但在如此大规模的环境中效果不佳，此外，对于像这样的每年一次的任务，它确实非常昂贵。 编辑：严格要求地板上的远程计算机运行Windows。控制机器对操作系统没有严格要求。由于上游路由器的复杂性，我真的想远离多播。组播或BitTorrent是进行此操作的更好方法吗？还有另一种可能更好用的协议吗？

24 synchronization  multicast  files  bittorrent 

大文件树的意思是大约20万个文件，并且一直在增长。不过，在任何给定的小时内，文件更改的数量相对较少。 双向是指更改可能在任一服务器上发生并且需要推送到另一服务器，因此rsync似乎不合适。 所谓远程，是指服务器都位于数据中心内，但在地理位置上却彼此远离。当前只有2台服务器，但是随着时间的推移可能会扩展。 实时而言，同步之间有一点延迟是可以的，但是似乎每1-2分钟运行一次cron似乎并不正确，因为在给定的小时内可能有很小一部分文件发生更改，更不用说分钟了。 编辑：这是在VPS上运行的，所以我可能只能在可以执行的内核级工作上受限制。另外，VPS的资源也不丰富，因此我回避需要大量内存的解决方案（例如Gluster？）。 什么是完成这项工作的最佳/最“公认”的方法？这似乎很常见，但是我还没有找到一种普遍接受的方法，这令人惊讶。（我正在寻求群众的安全。：） 我遇到过lsyncd来触发文件系统更改级别的同步。这似乎很聪明，尽管不是超级常见，而且我对各种lsyncd方法有些困惑。只是将lsyncd与rsync一起使用，但是由于rsync没有内存的概念，这似乎对于双向来说可能是脆弱的（例如-知道是否应该在B上删除A上的已删除文件还是在B上是新文件）应该复制到A）。 唇形看起来只是一个lsyncd + rsync的实施，对不对？ 然后将lsyncd与csync2一起使用，就像这样：https : //icicimov.github.io/blog/devops/File-system-sync-with-Csync2-and-Lsyncd/ ...我倾向于这种方法，但是csync2有点古怪，尽管我确实对其进行了成功的测试。我最担心的是，我无法找到很多社区对此方法的确认。 这里的人们似乎非常喜欢Unison，但是似乎它不再处于活跃的开发中，并且不清楚它具有像lsyncd这样的自动触发器。 我已经看到Gluster提到过，但是对于我所需要的东西可能会过分杀了？ 更新： fyi-我最终使用了我提到的原始解决方案：lsyncd + csync2。它似乎运行得很好，并且我喜欢将服务器非常松散地连接在一起的体系结构方法，这样每台服务器都可以无限期地独立运行，而不管它们之间的链接质量如何。

21 linux  cluster  synchronization  lsyncd  csync2 

是否可以使用rsync仅向一个方向复制文件？ 例如，假设我们有： left/a.txt right/a.txt 文件最初是相同的。 如果随后进行了修改right/a.txt，则： rsync -avv left/ right/ 将复制right/a.txt到left/a.txt。 是否可以将rsync限制为仅复制自left/到right/（即防止它复制right/到left/）？

21 linux  rsync  synchronization 

我正在编写一个Linux Shell脚本，以将本地目录复制到远程服务器（删除所有现有文件）。 本地服务器： ftp和lftp命令可用，没有 ncftp或没有任何图形工具。 远程服务器：只能通过FTP访问。没有rsync或SSH或FXP。 我正在考虑列出本地和远程文件以生成lftp脚本，然后运行它。有没有更好的办法？ 注意：仅上传修改过的文件是一个加号，但不是必需的。

19 ftp  directory  synchronization  upload  recursive 

我仍然看到人们sync; sync; sync; sleep 30; halt在谈论关闭或重新引导Linux时建议使用咒语。 自Linux诞生以来，我一直在运行Linux，尽管这是BSD 4.2 / 4.3和SunOS 4天中推荐的过程，但我不记得我至少在最近十年中必须这样做。经历了Linux的关闭/重新启动的过程可能有数千次。 我怀疑这是不合时宜的，因为即使在单用户模式下，内核也无法卸载并同步所需的根文件系统和其他关键文件系统（例如/ tmp），因此有必要明确告知它刷新尽可能多地将数据存储到磁盘。 这些天来，我还没有在内核源代码中找到相关的代码（通过http://lxr.linux.no和google进行挖掘），我怀疑内核足够聪明，甚至可以干净地卸载根文件系统，并且文件系统也足够聪明。到在正常卸载本身之前有效做同步（2）shutdown/ reboot/ poweorff。 在"sync; sync; sync"其中的文件系统不会卸载干净（如物理磁盘故障）或系统处于这样的状态，只有直接强迫重新启动（8）将它弄出来的冷冻（如负载过只在极端的情况下有必要高以安排关机命令）。 我也从未sync在卸载可移动设备之前执行此过程，也从未遇到问题。 另一个示例-Xen允许向DomU发送shutdown来自Dom0 的命令，这被认为是“干净关闭”，而无需任何人先登录并输入魔法sync; sync; sync。 我是对的还是对数千次系统关闭感到幸运？

19 filesystems  synchronization 

关闭。这个问题是题外话。它当前不接受答案。 5年前关闭。 已锁定。该问题及其答案被锁定，因为该问题是题外话，但具有历史意义。它目前不接受新的答案或互动。 我使用OS X，Linux，Solaris和Windows进行工作和在家中工作。有很多好的工具可以让我独立管理平台所需的许多登录名/密码。但大多数情况下，他们希望我随身携带一个拇指驱动器，或要求直接访问某个中心位置（云中的天空驱动器）。 拇指驱动器很容易丢失（=需要同步备份），中心位置并非始终可访问/可安装。此外，公司政策经常可以防止这种情况。 有没有一种工具可以让我在本地添加密码，然后在以后将其数据库与“母舰”同步。还是您使用其他方法可以解决我的问题？ 编辑 我的问题更多是关于“同步”而不是跨平台。我已经评估（=阅读功能列表）一些很好的跨平台工具，但是需要一个能为我进行同步的工具。通过同步，我的意思是“合并两个版本”，而不是“（希望）将旧文件替换为新文件”。我不确定我是否总是遵守纪律/清醒以防止数据丢失。 UPDATE 2010 Lifehacker刚刚发布了AgileSolutions现在具有Windows 1Password的beta版本。 UPDATE 2014我已经在Windows / Os X / IOS上使用1Password几年了。它对我有用，但不是免费/开放的。 您可以在http://Altenativeto.ne/1password上查找具有类似功能列表的其他工具。

18 password  synchronization 

我有以下树 # upper letters = directory # lower letters = files A |-- B |-- C |-- D |-- e <= file |-- F |-- G 我需要将此树复制到另一个目标，以递归方式忽略所有空目录。因此，目的地最终看起来像： C |-- e 您将如何使用unix，rsync等执行此操作？

17 unix  filesystems  rsync  synchronization 

之后另一个用户问这个问题： Linux服务器上的Dropbox-如何包括/排除文件夹？ 执行其他问题和解答中列出的某些步骤后，我的图标仍然无法工作： /ubuntu/358913/no-dropbox-icon-in-the-indicator-panel /ubuntu/182567/dropbox-icon-in-tray-is-missing 编辑：如果有人在阅读这篇文章时有疑问，可以通过以下链接使我的图标最终显示出来： https://www.reddit.com/r/elementaryos/comments/2ufjsy/dropbox_icon_is_not_visible/ https://github.com/nathandyer/elementary-dropbox-mods 该问题对于想从命令行执行此操作的任何人仍然应该有效。 有一个排除的答案，但没有一个包含的答案。有什么办法可以做到这一点？ 我看到该dropbox命令的帮助文本中列出了前一个命令，但是没有任何可以帮助我进行包括的内容。 有人知道如何实现这一目标吗？ 这是我看到的当前帮助文本： Dropbox command-line interface commands: Note: use dropbox help <command> to view usage for a specific command. status get current status of the dropboxd help provide help puburl get public url of a file in your dropbox stop …

16 linux  command-line-interface  synchronization  dropbox 

我们的Intranet上有一个文件夹结构，其中包含大约800,000个文件，分为大约4,000个文件夹。我们需要将其同步到DMZ中的小型计算机集群。结构的深度很浅（从不超过两个深度）。 大多数文件永远不会改变，每天都有几千个更新文件和1-2 000个新文件。数据是在已清除源数据的地方维护的历史报告数据（即，这些是最终报告，其源数据足够旧，我们可以将其存档和删除）。鉴于每天同步一次可以在合理的时间范围内进行，因此每天同步一次就足够了。报告是在一夜之间生成的，我们将早晨的第一件事作为计划任务同步。 显然，由于很少有文件定期更改，因此我们可以从增量复制中受益匪浅。我们已经尝试过Rsync，但是仅完成“构建文件列表”操作就可能需要八到十二个小时。显然，我们正在迅速超越rsync的功能（12小时的时间框架太长了）。 我们一直在使用另一个名为RepliWeb的工具来同步结构，它可以在大约45分钟内进行增量传输。但是，似乎我们已经超过了它的极限，它开始看到文件在没有删除时显示为删除（也许某些内部存储器结构已经用完，我们不确定）。 还有其他人遇到过这种大规模的同步项目吗？是否有设计用于处理此类大型文件结构以进行同步的工具？

14 backup  rsync  synchronization  unison