使用ZFS发送将池复制到没有ECC内存的服务器时,我是否会遇到数据丢失?


2

我有一个带有ZFS raidz2阵列的OmniOS文件服务器,我希望通过千兆以太网备份到另一台机器。另一台机器是Linux(Ubuntu 12.04)系统,非ecc RAM连接到一堆USB 3.0外部硬盘驱动器。我想在备份机的外部硬盘驱动器上使用ZFS,并使用ZFS发送/接收来备份数据。数据完整性和防止静默文件损坏是首要任务。理想情况下,我想将外部硬盘驱动器从linux机器安装到OmniOS服务器,就好像它们是本地磁盘(即:块级访问实际硬盘驱动器),以便所有zfs校验和都在OmniOS上完成机器,因为它有8个CPU核心和ECC RAM,而Linux机器是一个“桌面”(HTPC)双核心与非ECC RAM。

可以使用iSCSI完成吗?这可以通过以太网使用ATA来完成吗?(外部硬盘在Linux中显示为SATA磁盘,即:/ dev / sdb,/ dev / sdc,/ dev / sdd等)

如果我在备份计算机上使用Linux上的ZFS,那么我使用与静默损坏相关的备份数据会带来多大的风险?

感谢任何和所有的输入。

背景资料:

我正在构建一个虚拟化的“一切”服务器,现在我正在努力想出一个更好的备份解决方案。服务器将运行OmniOS(opensolaris衍生产品)作为内置虚拟化SAN,它将把我的所有数据保存在RAIDz2(ZFS版本的RAID6,两个磁盘冗余)阵列上。服务器还将运行其他一些东西,如LAMP堆栈和MythTV Backend,用于从附近的有线电视盒中录制电视节目等。它主要是一个充满音乐,图片,电影和电视节目录制的媒体服务器。

我非常关心数据完整性。鉴于我拥有的数据量和操作量(网络流媒体代码转换,电影内部流式传输到许多本地媒体显示系统,不断增加数十亿字节的照片等),极有可能出现静默损坏。这就是我运行ZFS所有内容,ECC RAM等的原因。

我对所有关键任务(我的工作,我的记忆等)进行了异地(和BluRay)备份,但我需要为某些媒体实现现场备份(我没有足够的互联网连接带宽来推送每天80千兆字节的高清电视节目显示在远程服务器上。

我有一个HTPC运行Ubuntu Linux与MythTv前端和XBMC(我优柔寡断)距离主服务器机房大约600英尺,在另一层楼。它通过千兆以太网连接回服务器机房(它通过该层的网络交换机,因此600英尺的以太网电缆不是问题)。它有一组2 TB的外置硬盘驱动器(WD MyBook Essentials,如果你很好奇的话)通过隐藏在锁定墙壁单元中的USB 3.0连接。我想将所有内容备份到那些硬盘上。

Answers:


2

我使用与静默腐败相关的备份数据会带来多大的风险?

ZFS非常重视数据完整性,我个人使用ZFS发送/接收的经验是它很强大。我建议你以最直接的方式实现发送/接收,并使用清理来确保检测到任何损坏。

我经常使用ZFS发送/接收将RAIDZ备份到外部USB 1TB 2.5“消费类驱动器。

只有一次我在备份磁盘上遇到错误(通过清理检测到)。擦除在发送/接收后的某个重要时间完成,因此我不能确定错误是在传输期间引入还是在数据已经在磁盘上的某个时间之后发生,但我强烈怀疑后者

备份磁盘是没有RAIDZ,快照或多个副本的单个磁盘,ZFS无法修复单个损坏的块,但通过复制原始文件手动修复是微不足道的。


我同意ZFS发送/接收似乎非常强大,至少在服务器硬件上是这样。我的问题与我所承担的风险主要是关于“备份”机器上缺少ECC ram。在将数据提交到磁盘之前,ZFS会对内存中的数据进行大量工作。我会使用镜像备份驱动器来实现冗余(而不是RAID)以防止非ECC支持的奇偶校验计算(更具风险的恕我直言)。该机器是否管理配备ECC RAM的消费者外部硬盘驱动器解决方案?很高兴听到有人已经使用ZFS作为备份媒体的消费者驱动器取得了一些成功。
杰伊

@Jay,是的,机器正在使用ECC RAM。我同意您的意见,ECC在备份计算机中是可取的,但它不会保护您的数据,因为它在网络上移动或在写入磁盘后。
Mike Fitzpatrick 2013年

Jeff Bonwick的博客提供了对ZFS端到端数据完整性的一些了解。引用:“ZFS存储池实际上只是一个块树.ZFS通过在每个块的父块指针中存储每个块的校验和来提供数据和校验和之间的故障隔离 - 而不是在块本身中。树中的每个块都包含所有孩子的校验和,所以整个游泳池都是自我验证的。“
Mike Fitzpatrick 2013年

我同意你的做法。我不是ZFS大师,但我的感觉是,在非ECC的桌面计算机上安装zpool的风险将小于添加通过以太网将远程驱动器安装到服务器的复杂性。ECC减轻了可能性较小的内存损坏问题 - 并且使用多个副本清理池可能会因驱动器损坏而捕获任何问题。
STW 2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.