使用Linux自制的自动分层存储解决方案?(内存-> SSD-> HDD->远程存储)


13

这个问题有关,关于将SSD用于系统,将HDD用于数据,除了我希望系统自动执行此操作外...

是否可以使用最好是免费的开源软件进行多层存储并在它们之间自动推送项目?

我知道非常昂贵的企业级解决方案,例如EMC SAN-> EMC Centera自动归档,但是我想知道这种分段存储是否可以自动完成。

能够在其中具有多个层将是很好的:内存-> SSD-> HDD->速度较慢的HDD或磁带或某些其他存档解决方案。

是否有任何文件系统可以自动执行此操作?(ZFS,Btrfs,HAMMER?)

任何Unix变量都很好,因为我对它的工作方式以及它是否可以移植到Linux或其他版本(BSD等)感兴趣。

Answers:


14

好吧,ZFS使用称为混合存储池(HSP)的存储分层:

  1. 图层:内存
  2. 层:基于SSD的读取缓存(L2ARC)和写入缓存(独立的意图日志,也称为slog)。
  3. 层:(便宜的)硬盘

与仅硬盘解决方案相比,有了HSP,它很容易自动受益于SSD的优势。使用HSP的系统可能比后者更快,更便宜。请参阅此链接,以获取一些不错的示例和更多详细信息。

我认为有关于ZFS的分层存储管理(HSM)的计划(例如,参见自动数据迁移(ADM) OpenSolaris项目),但我不知道其当前状态。


这就是我在想的,谢谢!(现在正在帮助Linux端口...;)
David Gardner,2009年

我不会称其为分层,而是缓存。从某种意义上说,缓存意味着保留经常使用的块的副本,将数据分层移动到速度较慢/更快的存储中。如果我理解正确的话,我不会将ZFS中的意图日志称为真正的写缓存。
mrossi '16


5

TIER似乎可以满足您的需求这是一个Linux内核模块,可以创建分层存储。似乎可以自己学习模式并优化存储位置

http://www.lessfs.com/wordpress/?p=776


刚看到问题很 ...对不起^^'
Dolanor 2012年

2
振兴旧的问题比散布在旧的和过时的信息上要好得多!
大卫·加德纳

我担心这个家伙想减少冗余以增加容量(尤其是在SSD相对较小且不可靠的情况下)。
东武

当实验软件最需要备份时,他还担心他建议使用raid作为解决方案。
东武

不过,这里有一些更积极的反馈:permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Tobu

1

用我刚刚发现的东西回答我自己的问题:

我只是在更新内核并查看已添加的新内容, 现在有一个'CACHEFILES'选项,该选项允许将(通常是远程的)文件系统缓存到本地文件系统。我想我可以用它来将较慢的存储机制(HDD)缓存到较快的存储机制(SSD),至少对于一个层次结构而言。


您尝试过此解决方案吗?效果如何?
skolima

1
没关系-我发现自己的CacheFS目前仅支持NFS和AFS。
skolima

为此,使用网络文件系统并不是一个坏主意,它们趋于比内核补丁集更快地成熟。我想知道Ceph或DRBD是否具有用于分层存储的有用模式。
东武

1

一些相关的链接。YMMV。

http://code.google.com/p/fscops/- “联机分层存储管理器(OHSM)是向企业级开源数据存储管理器进行的首次尝试,该管理器可自动在高成本和低成本存储之间移动数据媒体。”。

http://www.tack.ch/unix/dmapi/-Linux下的XFS + DMAPI

http://jfs.sourceforge.net/-Linux下的JFS + DMAPI


OHSM项目看起来很有趣。目前仅支持ext2和2.6.30内核,但是我希望如果运行良好,那么它将获得更多的文件系统。
David Gardner 2010年

该项目看起来被放弃了,最近的活动是在2009
。– sendmoreinfo 2011年


0

想到了LVM2快照...但是您只能做一个快照。


0

SAM-QFS是Sun的现有产品,于去年开源。它是CDDL,因此您只能将其直接移植到* BSD。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.