带有ZFS的备份存储服务器


9

我是一家小公司的所有人。我想设计一个新的基础结构,包括新服务器和具有公司范围备份策略的单独备份服务器。

公司中最重要的是SQL Server及其数据库。数据库有10个,但其中只有2个非常重要。前一个8GB,主要是文本数据和数字。第二个约300GB,每月增加16GB,其中包含PDF和GIF。

为了保存存储,当前备份策略包括每周一次完整备份和6个差异。我认为它每周约350GB,每月约1.4TB。

在阅读了有关静默数据损坏的文章之后,我决定尝试使用Nexenta社区版的ZFS。

我的问题:具有重复数据删除功能的ZFS在可靠性方面是否适合存储备份文件,还是我应该考虑进行一些磁带备份还是其他?

编辑:我知道现在我们无法预测性能,重复数据删除率等,但是我想知道这是否是个好主意。


重复数据删除对于基于磁盘的备份非常有用。如果您不断关注并随着时间的推移添加磁盘,则基本上可以永久进行增量备份。
pauska,2012年

您是否在数据库中存储了pdf和gif之类的大对象?不是最好的存储方式,我们使用数据库内的文件链接,这使数据库保持较小,并让文件系统(xfs)来管理文件。更容易,更快捷地备份和还原。
Unix管理员2012年

Answers:


10

当然,ZFS足够稳定,足以执行此类操作,那里有很多非常大型且可靠的生产平台,完全基于ZFS和Nexenta。

也就是说,总是喜欢进行基于磁盘的现场备份,例如您所建议的备份;以及基于磁盘或磁带的可移动备份,这些备份每天都会在现场进行备份,以防止火灾/地震/克苏鲁等问题。

所以我的回答是,可以,但是如果可以的话,我会选择两个选项。


2
+1预防cthulhu
Unix管理员

2
+1克苏鲁业力磁铁!
Janne Pikkarainen 2012年

10

(假设您指的是在ZFS和备份软件中使用重复数据删除)

除非您专门为存储系统设计存储系统,否则我建议对备份系统使用ZFS 本机重复数据删除。

在ZFS中使用重复数据删除会占用大量RAM。由于重复数据删除是在数据流式传输/写入存储池时实时发生的,因此内存中维护着一个表来跟踪数据块。这是DDT表。如果您的ZFS存储服务器没有足够的RAM容纳该表,则性能将受到极大影响。当表超过特定阈值时,Nexenta会警告您,但是到那时,为时已晚。可以通过使用L2ARC设备(读取缓存)来增强这一功能,但是许多ZFS的早期采用者都陷入了这一陷阱。

看到:

ZFS-销毁重复数据删除的zvol或数据集会使服务器停滞。如何恢复?

ZFS-L2ARC缓存设备故障的影响(Nexenta)

当我说要使用重复数据删除时对RAM的需求很高时,我估计要在64GB + RAM和200GB + L2ARC上描述的数据集的RAM和L2ARC需求。这不是一笔小投资。保留许多不会被重新读取的Windows系统文件和图像文档将很快填充该DDT。回报可能不值得先期进行的工程工作。

一个更好的主意是在zpool上使用压缩,可能会利用gzip功能来处理更可压缩的数据类型。重复数据删除是不值得的,因为当您需要删除重复数据删除的数据(需要引用DDT)时会遇到很大的麻烦。

此外,您将如何将存储呈现给备份软件?您将使用哪个备份软件套件?在Windows环境中,我将ZFS作为块存储提供给iSCSI上的Backup Exec。我从来没有发现ZFS CIFS功能足够强大,并没有喜欢本机格式设备的优点。

另外,这是一个出色的ZFS设计思想资源。关于ZFS的事情没人告诉你


2
我是ZFS重复数据删除技术的吸引力之一。在我们的测试环境中,一切工作正常。我们在生产中将其打开。一切都非常顺利,重复数据删除率达到2倍以上。美丽。我们开始将用户转移到新系统。直到有一天,我们移动了一个用户并且文件服务器的性能下降之后,才出现问题。突然机器掉到了膝盖上。在计算机处理dedup表时,崩溃和随后的重新引导花费了90分钟以上的时间来使计算机恢复运行。可怕。我们摆脱了dedup。我建议远离它。
jlp 2012年

0

另一种操作系统是OpenIndiana,它同样出色,并且有时会接收到更频繁的更新。

另一个选择是设置第二个ZFS服务器,该服务器具有较小的(可能是)启用了压缩的存储池。您可以将第二台设备用于静态备份。因此,您可以省去读取缓存,也不需要笨拙的CPU / RAM来处理它。

我们在我的工作环境中运行以下设置:

  • OpenIndiana主存储服务器[ main ]在三个三对镜像对的RaidZ1池中具有六个2TB磁盘。这在切入可用存储空间的同时,可提供一个快速且多冗余的存储池。
  • 辅助存储服务器[ backup ]也运行OpenIndiana,其磁盘配置类似,仅用作备份设备。
  • main具有从cron作业运行的脚本,该脚本在一天中定期对/ tank / [dataset]进行快照
  • 每天晚上,还会运行另一个cron作业,该作业将当天的快照通过网络推送到备份。一旦完成了所有快照的初始同步(仅一次的过程),快照的增量性质就意味着可以非常快速地将更改推送到备份设备。

我在这里快速了解如何组装ZFS发送/接收:http : //kyrill-poole.co.uk/blog/tech/zfs-send-and-receive/


哦,是的,您可以装配它,这样就不必设置nc / ssh来完成繁重的工作。
poolski 2012年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.