有关存档解决方案的一般建议。〜15tb并且还在增长。


9

我需要一个用于小型企业文件的更好的存储和存档系统。具体来说,文件是完整的视频项目。除了时间和成本限制之外,让我退缩的是我不相信我所考虑的任何解决方案。因此,我正在提出问题和我的想法。我将不胜感激。

预算: 我相信要花一切。话虽如此,我们是一家小企业。我希望我可以在<5k以及1-3k左右的范围内摆脱困境。那可能是个白日梦。就是这样告诉我。

问题:

  • 原始视频文件的文件大小很大。到目前为止,我们已经积累了大约10 TB以上的数据,并且正在快速增长。
  • 视频编辑需要对文件的快速读/写访问权限,因此中央或基于云的文件服务器将不够快。因此,我们可能需要针对旧项目的实现解决方案,而当前项目将不得不留在本地。
  • 我们需要某种冗余和异地解决方案。

我们目前正在做什么:

  • 我们使用大型,高质量的外部硬盘驱动器。
  • 我们总是成对购买并手动复制内容。换句话说,我们从一个工作,然后将文件复制到另一个,作为备份/回退。
  • 这些HD通过firewire800或USB3足够快,可以直接工作。
  • 装满后,我们将其放在一旁。

当前解决方案出了什么问题:

  • 尽管跨两个驱动器复制了数据,但是这些驱动器不是“备份”的,也不是在异地存储的。
  • 跨许多外部HD进行组织非常困难。什么项目在什么驱动器上?等等
  • 最终,我们将拥有大量的硬盘。
  • 复制不是RAID。

选项:

本地服务器

  • 购买机架安装服务器和机架安装的硬盘驱动器阵列机柜,例如Norco(SAS)(20个托架)。
  • 所有视频文件都将存储在此服务器上。我们可以安装并支付云服务来备份这台计算机/服务器。CrashPlan在Linux上运行,并且对数据量没有限制。硬盘驱动器将是连接到服务器的物理驱动器,因此我们避开了像CrashPlan这样的公司拥有的“无NAS”规则。它不是个人计算机,因此同步可以运行24/7/365。这样可以解决异地问题。
  • 代替使用像CrashPlan这样的在线备份服务,我们可以编写脚本将这些文件同步到Amazon Glacier帐户。
  • 视频可以窥视当前项目的外部硬盘驱动器的策略,但在完成后必须将该项目放置在此新计算机上。换句话说,继续将外部硬盘驱动器用于当前项目,并将归档的项目存储在此服务器上。

基于云的备份服务(CrashPlan.com,BackBlaze.com,Carbonite.com)

  • 通常,仅允许您备份物理连接到计算机的外部硬盘驱动器。(无NAS或网络驱动器)。
  • 通常,他们希望备份的外部驱动器保持与计算机的连接,而所有数据仍保留在驱动器中。如果您几个月都没有连接外部硬盘驱动器,那么备份将如何处理?如果您通过删除旧项目来清理空间,则它们也会从联机服务中删除。
  • 要求我们的用户将外部硬盘驱动器留在计算机上,直到所有数据都在云中为止。大型项目可能需要数周的时间。
  • 由于Internet的传输速度,恢复项目将非常缓慢。
  • 这些云备份帐户通常特定于一台用户/一台计算机。因此,如果一个硬盘驱动器由一个用户备份。然后,另一个用户在项目上工作,这是什么意思?

大型NAS

  • NAS是“网络区域存储”。您要插入尽可能多的硬盘驱动器。它将突袭他们。您可以通过网络连接或USB3 / Firewire进行访问。
  • 大多数都包含一个操作系统。因此,您无法运行其他软件,例如基于云的备份服务。您也无法进行任何自定义或运行自己的软件。你得到你买的东西。
  • 大型NAS相当昂贵,但并不是那么大。您不会发现超过4个海湾的许多海湾。目前,大型HD为3tb。因此4bay的存储空间可能不到12tb。未来并不超级舒适。

其他想法是:

  • 磁带备份。
  • 只需将较旧的项目直接归档到Amazon Glacier,跳过构建本地服务器来存储它们。

感谢您的任何建议!!!杰德


项目完成后,您需要多久返回一次并使用其数据?
迈克尔·汉普顿

您对“大型NAS”的了解非常少。从NetApp,EMC,IBM,Isilon到许多其他公司都想与您坐下来。
mfinni 2014年

我们将需要每月一次或两次返回此数据。如果访问此数据存在延迟(Amazon Glacier),我认为如果我们只聊几个小时而不是几天,那是可以接受的。
maestrojed 2014年

那就不要使用冰川。检索费用高,您的会计师拿到帐单时会大吃一惊。
HopelessN00b 2014年

@mfinni我敢肯定,EMC和IBM将有很棒的想法和出色的硬件(不了解NetApp)。不确定是否适合我描述的预算,也不适合小型企业。看起来NetApp生产的硬件类似于我所说的Norco生产的“硬盘阵列”。我在构建自己的服务器构想中提到了这一点。您建议采用这种方法吗?
maestrojed 2014年

Answers:


12

胶带。这样简单。昆腾拥有一个SuperSTore系统,该系统可以处理的方式更多,而且我发现它们的价格不到您5000的价格点-全新。好处是,您可以拉出磁带进行存储,因此进行扩展将具有很高的成本效益,并且磁带会持续使用。


由于您对几个小时的检索时间感到满意,因此,TomTom对此表示完全满意。磁带的价值很低,对于这种事情非常有用。
MadHatter

如果要使用磁带,请确保您有可以经常测试磁带的物品。以我的经验,大约75%的磁带备份无法正常工作,因为人们多次使用相同的磁带,三年后却无法从其中检索数据时,他们会感到惊讶。
马修

2
考虑到适当的储存(咳嗽)适当的服用可以保证档案的长度(我认为是30年),这足以令人惊讶。您可以轻松制作2份。拿秤真的很好。ppl的-抱歉-愚蠢的人甚至可能从未测试过一次还原....尽管我会按计划(1周,1个月,1年)进行操作。
TomTom 2014年

1
+1-这实际上是大容量磁带的教科书箱。增加存储的基于磁带的归档(即使切割两盘磁带来存储和异地)的增量成本比硬盘驱动器和磁带更低的意思进行归档。LTO得到了行业协会的支持,该协会已致力于构建可在旧媒体上访问的产品。即使这样,在几年后,当您替换磁带元素时,如果只是为了防止潜在的位腐烂,就应该将旧数据迁移为新的磁带格式。如果您需要将此作为“ OPEX”,请考虑使用租赁选项。
埃文·安德森

1
磁带是好的,但需要纪律处分-定期测试,异地轮换等。我个人会使用近线NAS(可能是nas4free),并将速率受限的rsync同步到异地同一个盒子。
quadruplebucky

4

首先,我建议避免使用冰川。这听起来不错,直到您减少实际还原大量数据的成本。 这是一个非官方的计算器,您可以用来计算冰川的储存和取回成本,并自行判断。从Glacier还原TB级的数据非常没有吸引力。

其次,我建议出于简单备份的目的,您可以摆脱一台具有大量驱动器的NAS服务器。在我看来,您只看过家庭和小型办公室NAS选件,应该考虑使用适当的NAS产品。我会优先考虑Dell,但要指出Dell的PowerVault NAS服务器,但是HP,IBM,SuperMicro和几乎所有其他人都提供类似的产品。我在家中有一个较旧的Dell PowerVault NX作为我的媒体库,并且其中有十二个2 TB近线SAS磁盘。这些天也有4 TB的近线SAS驱动器可用,因此您可以随时用它们填充适当的NAS服务器。(或购买几个NAS服务器。)

您可以轻松地在本地LAN上使用其中的一种,安装自己选择的备份软件(例如Bacula,如果您喜欢免费的话,或者安装十几种商业产品中的任何一种,如果需要供应商支持),并使用大容量的RAID作为您的备份软件备份目标。然后,您可以使用云备份服务来备份此NAS服务器,并具有本地和远程备份的优势。同样,这是我在家所做的。正确的NAS服务器,将数TB的数据备份到云服务。

当然,您也可以使用磁带...购买LTO磁带机或磁带库-就个人而言,我会竭尽全力避免使用磁带或光盘介质,但是它们是合法的选择,并且可能比磁盘便宜磁盘解决方案。

最后,我建议您需要考虑云备份服务的主要缺点,即互联网管道的大小。通过互联网连接上传TB级数据可能需要数周或数月的时间,并且/或者需要支付ISP的额外费用。因此,尽管它们是备份数据(甚至是企业数据)的可行选择,但是这是大多数人直到遇到问题才考虑的约束。


+1。Glacier是档案文件-认真使用S ++++进行备份。备份意味着没有期限的恢复,然后是很多-5%的配额意味着在恢复的情况下付款。
TomTom 2014年

1

我认为这取决于您的预算。如果您只能花费约6000美元,则可能需要构建自己的NAS。我会看看nas4free以及一台服务器要花多少钱。如果您可以花费2万美元,那么您可能可以在服务器上装满一堆磁盘,一块体面的RAID卡或Linux下的软件RAID或其他任何设备。

只需约4万美元,您便可以将具有10Gbit iSCSI的高端1U(IBM x3550 M4、2端口Emulex 10GBit NIC,4 Gbit NIC,128GB RAM,2个本地10k SAS磁盘)连接到带有24个4TB SAS磁盘的Infortrend SAN盒中。切成薄片,然后切成小方块。RAID6是合理的配置。

磁带也是个好主意,但我不知道它真的便宜多少。这取决于您拥有的图书馆多大。如果48磁带库是好的,则可以再次使用1U和外部SAS卡(价格为3万美元)和2个LTO6驱动器来完成此操作……但是,您需要软件许可证来管理磁带备份或其他操作。我只使用了NetBackup,它在这里可能不太适合您。只是不要忘记,您可能希望以某种方式在软件中驱动磁带库。但是,一旦您走出磁带库,就不要忘记寻找磁带并将其加载,以及用于访问的暂存区...

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.