分散,聚合,选择性同步的存储解决方案


0

最初,我只是想将我的1TB OneDrive的一些选定文件与我的笔记本电脑SSD以及我的所有文件同步外部硬盘。云存储程序(dropbox,gdrive,onedrive,resilio,syncthing ......)似乎不喜欢同一设备上具有相同内容的两个同步文件夹,因此要么必须用虚拟机欺骗它们,要么寻找另一个解。


我更多地考虑了最终的存储解决方案(至少对我的用例而言)并且它有点复杂,但对于现在的许多人来说这是一个相当正常的设置:

  • 小驱动器的笔记本电脑
  • 智能手机和平板电脑
  • 外置硬盘
  • (NAS)
  • (云储存)
  • SD卡(例如来自相机)

聚合(所有可用数据的虚拟驱动器)

在每个存储设备上,我想要一个虚拟主驱动器,其中聚合了所有设备中的所有文件。当前的活动文档,照片,视频通常可在所有设备上同步进行组织,编辑,删除等。旧的膨胀,大型视频文件,备份可能只驻留在一个或两个具有足够存储空间的位置(NAS,exHDD) ,但如果连接足够,仍然可以在我的家用驱动器中显示并随时可用。这样一个将数据从多个位置聚合到一个位置抽象层可能可以通过符号链接(mklink)实现,但我想这需要相当多的管理开销。

同步(分散,选择性)

接下来,只要两个设备可以通信,就需要同步不同的数据源(文件表总是,文件/文件夹)(SSD <-USB-> exHDD //智能手机<-WiFi-> NAS // exHDD <-USB和互联网 - >云)。我想这可以通过同步来实现,或者甚至可以从git开始(用于添加版本控制)。另一个选择是nextcloudseafile,但它们都是集中式方法,我想避免。我可以想象像SiaStorj这样的区块链存储也是很好的竞争者,但是想听听社区的意见。Resilio同步 对于分散式同步部分来说是完美的,但由于它是封闭源代码,我认为很难将它与聚合部分结合起来。

TL; DR

  • 将所有可用存储(SSD,exHDD,NAS,云,智能手机......)聚合到一个虚拟文件夹(symlink,mklink
  • 同步分散位置(syncthing,git)

  • 换句话说,我想要一个具有Windows脱机文件和慢速链接功能的网络文件夹,但是在分散的网络基础设施中

现状是什么?我是否监督可行的解决方案?我要求不可能吗?


我不认为有现状。我认为您可以找到并使用适合您需求的工具或工具,并坚持使用它们。我使用Resilio Sync,Linux与MDADM,Samba,NFS和文件夹同步,它可以提供你所要求的一切。但是您的设置和技能组合不同,因此您的解决方案可能看起来不同。有很多方法可以“贴上”东西,你必须找到自己的方式。
Damon

@Damon感谢您指点我正确的方向。您是否有任何教程或其他资源可以帮助您完成此设置?你有这个过程自动化吗?你有混合文件夹(SSD上最快的P:\ folder1,NAS和云,P:\ folder2 \上NAS(最快)和云,P:\ folder3 \上云,P:\ folder4 \上exHDD(最快)和NAS)Resilio遗憾的是无法在单个设备上同步两个位置。
aXeL-HH

我使用的唯一专有的东西是Resilio和Folder Sync,剩下的就是香草。文件夹同步是安排和自动化的,Resilio只是作为一项服务运行,并始终“开启”。我不确定你的意思是Resilio无法同步两个位置; 我让它同步各种各样的东西; 个人文件夹,具有自定义设置的应用程序文件夹,移动文件夹等。不可否认,我运行虚拟机,因此我在技术上有2个不同的Resilio实例可以绑定,业务与家庭。我将很快在VPS中运行Resiio以提供更好的上传容量。我在HDD上运行便宜的ol RAID10; 只有工作站上的操作系统SSD。
达蒙

我想说在纸上绘制您的基础设施,包括将在哪里运行哪些服务,并根据需要填写应用和服务。我没有任何一个教程。只需谷歌每个单独的一块。我使用的每件东西都是“免费的”,虽然我确实支付了Resilio Sync pro和文件夹同步,但你没有必要。它花了我多年的时间来实现,但我开始制定一份纸上计划,并在我开始学习新东西时更新了它。刚刚开始,并坚持下去!
达蒙

REG。同步2个本地文件夹: Resilio,Dropbox,OneDrive等不会同步c:\ folder1和d:\ folder1(SSD和exHDD或NAS)。据我所知,由于安全网络同步的通信开销,他们的协议效率低下,而Dropbox LAN同步实际上非常快!但是,使用不同的工具完成相同的任务,我感觉非常糟糕,尤其是。自动同步,因为如果没有以非常精确的顺序完成,通常会导致混乱。我不认为用户的系统是实体,而是用户的存储设备,需要进行(选择性)同步。
aXeL-HH
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.