存储10 TB数据的最安全,最便宜的方法是什么?


19

我是制作公司的成员,我们正在准备我们的第一部长片。我们一直在讨论数据存储的方法,以确保所有原始内容的安全(尽可能长的时间)。尽管我们知道数据永远不会100%安全,但我们想为我们找到最安全的解决方案。

我们考虑过:

  • 16TB NAS用于现场存储

  • 4-5个2TB硬盘驱动器(便宜,但不是冗余),将原始素材复制到驱动器中,然后装入防静电袋

  • 将数据刻录到蓝光磁盘(耗时且昂贵:200个磁盘== $ 5000)

  • 磁带机?

除了磁带驱动器比磁盘更可靠之外,我对磁带驱动器了解最少。非常感谢您拥有如此大量数据的经验/知识。


1
不要忘了告诉他们不要尝试用超强磁铁将其悬挂。对于软盘驱动器来说很糟糕,对于硬盘驱动器来说真的很
糟糕

2
这不是答案,但也许对您来说很有趣:blog.backblaze.com/2009/09/01/…–
Bobby

如何使用DiamonDisc DVD的 tomsguide.com/cn/… 我知道,有点贵。
摩押

Answers:


14

假设您要使用存档而不是常规备份或实时数据。

购买一组SATA硬盘驱动器(1或2 TB),以及一些其他功能。将数据复制到磁盘上。使用QuickPar(或支持奇偶校验卷的存档器)创建其他奇偶校验文件。在硬盘之间分配奇偶校验文件。

如果还剩足够的奇偶校验文件,则奇偶校验信息将允许您重构文件。因此,如果一个磁盘死了,但是其他具有奇偶校验信息的磁盘仍然可以工作,则可以使用奇偶校验文件来重建原始磁盘。

要获得更多的冗余,请全部执行两次并存储在单独的位置。

如果您真的很偏执,请将PCI和PCI Express也存储到每个站点的SATA控制器中!

编辑:哎呀,如果这是所有关于妄想症的内容,那就走一圈,在每个能够读取磁盘的站点上存储一台装有千兆以太网的PC!


10
+1我认为您已经有效定义并创造了一种新的综合症:dataparanoidism。; P
jrista

绝对要购买双倍的硬盘驱动器,并两次复制所有数据以实现冗余,谢谢!
Josh T

在“真正的偏执”方面,我认为USB SATA适配器可能比主板技术特定的连接器(例如PCI,PCI-E)使用的时间更长,尽管速度较慢。
马特·威尔基

9

我们使用的LTO4驱动器可以在每个磁带中装入800GB。缺点是驱动器本身的成本。如果您对蓝光光盘的5,000美元不满意,您将不会喜欢LTO4的成本。另一方面,每GB的运费本身非常便宜,因此您可以保留很多副本。这些磁带具有良好的保质期,但是在更换磁带驱动器时,您确实需要计划将它们移动到新介质上。从您如何描述如何使用此存储的角度来看,我认为磁带不适合。除非这将是备份解决方案,而不是存档解决方案,否则不会。不同的问题。

如果您的每日净更改足够小,则可能需要为此考虑某种基于云的备份供应商。当然,这取决于您的Internet连接的强大程度,从中恢复同样会很痛苦。这些服务是非常新的,因此未知它们如何处理您的数据破产问题。如果他们停业怎么办?

本地磁盘存储绝对是必经之路。考虑到成本限制,具有易于更换驱动器的驱动器机箱可能是最好的选择。如果您可以脱机使用该数据,请继续使用。磁盘便宜,磁盘盒也比磁带驱动器便宜。活动部件更少。


我假设您需要此文件进行存档,而不是视频角色中的有效用法。如果是这样,那就是另一个存储问题。


LTO5现在是1.5TO。不确定是否压缩,但可以肯定是1.5!
r0ca 2010年

2
我强烈建议您走这条路线。一次的成本有点高(5,500欧元左右),但是如果长期使用,则其中90%的成本用于驱动器。每盘磁带的价格为100美元,随着时间的流逝,成本可能会下降。另外,您可以以极低的风险运输损坏,并将它们放在安全的保险箱或类似物品中,风险也很小。同样是1.5T未压缩,3T以2:1压缩。
Slartibartfast

1
FWIW,LTO4目前的价格约为40美元/张CAD / USD。LTO5运行价格约为$ 120 /张CAD / USD。(来源:CDW)
Chealion 2010年

是的,但是磁带驱动器本身可以运行数千个。我在NewEgg上看到了3700美元的商品。
SysAdmin1138'7

3

在NAS研究中,您是否看过DroboProDroboElite自管理存储设备?

请考虑一下,如果您相应地丢失了部分/全部素材和预算,将会产生多少费用;


2

您是否考虑过托管服务?我不确定价格如何衡量,但您可能要考虑出售大容量存储的托管服务。也许是AWS


2
仅提供一些数字,Amazon S3上的10TB 为$ 1500 / mo。还有一个$ 1000 / mo的“增值”选项,称为减少冗余。
hyperslug

啊,很高兴知道-感谢您的数据。
nicorellius

但是,还有Amazon Glacier,它比S3存储便宜很多(10TB每月70美元)。但是,检索需要很长时间,而且如果您需要做很多事情则很昂贵。
克里斯

2

八到十个2TB硬盘驱动器;两套。如前所述,分开存放...

我会远离磁带,因为它对存储在磁带上的条件比对磁盘更敏感。同样,从现在开始的五年后,您仍然有可能将SATA驱动器插入某些设备,但是您可能无法访问可以读取磁带的磁带驱动器。

就长期稳定性而言,光学元件是最好的,但是,正如您所提到的,成本和物流使它们有些不切实际。


2

我建议为您经常使用的实时文件使用某种NAS / RAID。如果要使用大容量驱动器,则可能需要使用RAID-6或类似的产品,例如RAID-5 +热备用,可以在RAID降级之前使两个磁盘发生故障,但是与热备用配置不同您的第2个额外驱动器上也将具有奇偶校验,因此RAID无需在出现故障时为备用磁盘重建奇偶校验。随着驱动器变得越来越大,在重建过程中出现驱动器故障的可能性就更大,因此,尽可能多的实时奇偶校验是一件好事。

除此之外,我建议使用诸如磁带驱动器之类的硬盘。这些天,甚至可以购买硬盘盒(也包括这些硬盘盒),使您可以归档硬盘进行存档。您可以将文件转储到RAID,然后将多余的归档副本复制到要归档的驱动器上。

一些视频制作公司(例如Pixel Corps)使用类似的设置。

另外,我强烈建议将文件存储在多个位置(而不是在同一屋顶下)。另外,一定要遵循“如果没有在至少两个地方写的话,您还没有保存它”的口头禅。此外,RAID就不能算作其本身的备份。


2

我将假定这主要用于脱机备份类型的存储:易于创建和还原,但在日常操作中不常用。

目前,2TB驱动器的价格约为140美元。因此,对于10TB,5个驱动器,700美元。大约需要花400美元才能在运行Debian或Ubuntu或其他Linux操作系统的服务器周围构建半低功耗服务器。如果您的系统具有多个NIC,则可以绑定网络接口连接在一起(可能是,我相信您需要一个支持中继的管理型交换机)以增加服务器的可用带宽,并防止NIC故障。然后,您可以通过samba,NFS或其他方法将存储公开给需要使用它的工作站。对于如此大的数据量,您可能需要某种冗余,以便当(如果不是)这些驱动器之一咬住它时,您将不会缺少数据。出于多种原因,RAID5在这里不是一个好主意,但RAID10符合要求。由于服务器正在运行Linux,因此可以使用mdadm来管理RAID阵列。为此,您需要将物理设备的数量增加一倍,因此最多需要10个驱动器。该存储服务器的总成本:

如果您确实喜欢数据(如果这确实是重要的生产数据,那么应该!),则可以构建一台重复的服务器并备份备份。您可以使用rsync crontab(可能非常慢),netcat / tar管道解决方案(可以肯定会更快)来执行此操作,或者将RAID设备设置为drbd设备的基础。通过自动在两台计算机之间复制存储,您(基本上)已保证拥有数据的冗余备份。您甚至可以变得更高级,并设置心跳故障转移系统,以确保数据量的可用性。


rsync!=备份。请小心,因为这可以轻松同步损坏的文件。也就是说,除非您使用带有符号链接的更复杂的系统或自动创建历史档案的文件(更改的文件保留在较旧的版本中;不仅仅具有符号链接的文件)。
凯文·布洛克

2

Buffalo TeraStation III 8TB网络附加存储-1,085.56英镑

amazon.co.uk链接

我有一个令人讨厌的1TB版本,我已经升级到4TB,它对我而言在RAID5中完美无缺。您可以考虑购买较小的版本并自己进行升级以节省一些钱-或购买多个产品等。


1

我对磁带驱动器了解不多,也对磁带上存储数据的语义了解不多,所以我在这里不能为您提供帮助。鉴于使用Bluray作为大规模备份的成本高昂,我会坚持使用NAS或单个驱动器。

NAS / Raid需要注意的一件事是,尽管它们可以在单个虚拟驱动器中存储大量信息,但是您必须将所有驱动器保持在一起,而RAID通常不是长期的理想选择。备份”解决方案。您有可能丢失多个驱动器,丢失NAS设备本身(而且几乎不能保证替换设备即使是“相同”设备也能从驱动器中读取数据。)

考虑到这些天来硬盘的便宜程度以及它们的总体稳定性,我会选择单个硬盘。您可以轻松购买10个2Tb驱动器,而价格却不高(大约$ 1200-$ 1500),并生成两组备份。您可以获得数据的脱机备份和冗余备份,而不会涉及RAID或NAS设备的风险。单个驱动器还提供了更大范围的兼容性,因为SATA不太可能在不久的将来出现在任何地方。


1

如果您确实要确保不会丢失它,那么您至少需要两个存档选项。可能是磁带和硬盘驱动器。仅制作一个副本而没有某种形式的冗余只是滚动数据骰子的另一种方法。


1

根据存储需求,如果要备份单个工作站,请查看用于可移动SATA驱动器的Thermaltake BlacX外部存储扩展坞。它们支持外部USB和SATA连接。只需将驱动器放到扩展坞中,将数据复制过来,就可以进行备份了。

我在家有工作码头。我在每个位置进行备份,然后将其带到其他位置进行异地存储。我还有一个临时驱动器,用于在位置之间移动正在进行的工作。

坞站每个约60美元,您可以不到100美元的价格买到1.5TB驱动器。


1

Josh,您不清楚这是工作数据还是存档数据。如果数据有价值,则备份和存档之间没有真正的区别,只是存储位置,即在您的工作系统或存档系统上。同样,如果数据有价值,那么如果您要保护数据并遵守备份规则,则您的工作系统和存档系统将是相同的。

存档比存储的媒体更适用于媒体类型。存档意味着数据将永远不会改变,即一次写入和多次读取,通常称为WORM。WORM驱动器通常是磁带,但是RDX Quikstor和RDX Quikstation(8托架RDX站)之类的驱动器具有WORM选项,因此它们不能被覆盖。我怀疑RDX Quikstation可能适合您的归档。

请记住,存档系统是备份计划的一部分。您绝不应该考虑仅拥有任何数据的一个副本。

备份的一些规则是:

3-2-1规则。

三(3)份数据副本。在两种不同媒体上的一(1)个源和两(2)个备份,其中一(1)个保留在异地。

示例:现场服务器备份到现场NAS,然后异地备份到磁带或RDX。现场服务器备份到现场NAS,并备份异地NAS。现场服务器备份到现场NAS,并实时复制到非现场NAS。您的现场备份应该是磁盘。

媒体:

您的异地备份取决于时间。将场外备份到便携式媒体会自动引入时间延迟。即星期一的通宵备份在星期二晚上移到异地。如果您在星期二闭店前遭受灾难,您将损失两天的时间。您能承受多少损失完全取决于您的业务和数据更改的频率。

媒体存储:

充分遵守媒体存储规则。有些磁带要求您将它们垂直存放在狭窄的温度和湿度范围内,并且远离磁场源。掉落磁带会降低其可靠性。接下来,带着手提包里的女勤杂工把磁带送回家,她的手机真是一场灾难。磁带在备份环境中最多还需要两个小时的时间才能插入驱动器,以平衡磁带与磁带驱动器之间的温度和湿度。还需要按规定的时间/写入间隔丢弃并更换磁带。

就个人而言,由于这些原因,我不喜欢录音带。付出的代价不小,有人管理的代价也不小。投资磁带但不遵循规则毫无意义。您可以以便宜的价格来做到这一点,但是可靠性却有所下降。

消除单点故障:

不要将备份数据分散在多个介质上。例如,一个磁带上的完整备份和其他6个磁带上的差异使数据丢失的风险增加了7倍。如果有备份,我希望它包含恢复数据所需的所有文件。最好有7个完整备份。

从某种意义上说,突袭算作多种媒体。无论在哪里使用RAID,请确保它具有热插拔自动故障转移。驱动器托架中至少有一个备用驱动器作为专用的热交换备用,系统将自动用热交换备用交换掉死驱动器。如果您有数TB的数据,请考虑在RAID中有两个或更多的热交换备用磁盘。

观察异地距离:

您的异地距离很重要。如果仅在某些情况下防止数据丢失,那么进行异地备份将毫无意义。任何经历过地震,洪水,龙卷风,飓风等的人都会告诉你。在我们城市最近发生的地震中,许多大型公司陷入困境,没有异地备份(磁带仍在服务器旁边)或无法读取的备份。通常,60英里/ 90公里是一个不错的距离。

我不知道您的预算,因此很难提供建议。预算确实会影响备份和存储的选择。我曾在提供IT支持的电影制片人工作,所以我对您所在行业的发展有一定的了解。有很多未解决的问题:

您有什么服务器(如果有)?你有几个职员?这是您唯一一部的故事片吗?最大文件或文件集的大小是多少?这部电影和下一部电影之间是什么时间?例如,如果您全职生产,则您有现金流量来支付每月费用,例如通过光纤进行远程备份。电影将产生什么样的现金流?您对前进有什么要求?这些和其他问题确定了您的要求,方法和预算。

例如:如果您一年要制作3部故事片,每月要雇用十几名员工来制作商业广告,则您可以负担得起:带RAID的服务器备份到现场的RAID NAS。具有100mbit无竞争(不受ISP限制)的专用光纤链路(价格不贵)复制到60m / 90k距离的数据中心。重要的存档数据应写入磁带或RDX,并存储在数据中心或磁带库中。预算是您能够承受的冗余和备份程度的唯一决定因素。

或者,如果预算低,收入来自销售并且未来未知,则您可能正在考虑在家中存放TAPE,RDX或USB驱动器(不推荐)。

当前和将来的需求,现金流量和预算,再加上数据丢失,是您的决定性因素。我建议您聘请经验丰富的备份专家和/或业务分析师来为您完成存储和备份过程。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.