您如何处理数据归档?[关闭]


9

备份是一回事,但长期存档是另一回事。例如,可能要求您将电子邮件存储7年,或无限期保留所有项目数据。我曾经将存档保存到磁带,但是后来磁带被毁了(驱动器将磁带撕裂了)。所以...写2盘磁带,我听你说。那是别人做的吗?是否具有2个(或更多)相同数据的磁带以实现冗余?

但是,另一个问题是磁带通常不能由其他备份软件供应商读取。例如,如果您从Arcserve-> Backup Exec-> Commvault离开了10年,则需要保留所有3个系统,以便还原旧数据。对于硬件也是如此。旧磁带可能未打条形码。可能与新库等不兼容。那么,您是否保留旧的磁带硬件和旧的软件,以防万一您可能需要还原10年的文件?

或者...当您转移到新的备份系统时,是否将所有已归档的数据迁移到新系统,然后将其重新归档到新的磁带上?那可能是一项巨大的工作。

有什么想法吗?


您要归档多少数据?
GreenKiwi

Answers:


3

我们在谈论多少数据?我们的“归档”数据非常小,以至于我们只将其保存在活动存储中(在NAS单元上),该活动存储中会存储有通常的实时数据,因此它的存在与我们的常规数据一样,并且受相同的恢复技术的约束,不必担心保留十年历史的技术。如果我们的实时数据移至新的存储平台,则存档将随之移动。我们还设置了存档数据的权限,以使只有存档安全组的成员(成员用户很少)有权从这些文件夹中删除任何内容。

如果您要处理的数据超出了合理地保存在实时存储中的数量,那么磁带可能是长期存储的最佳选择,同时还要在不同的受控存储位置中至少保留两个副本。每隔两年将它们取出来,以确保媒体仍然可读,如果要更换供应商,请从旧媒体迁移到新媒体,以确保可以继续访问数据。


1
档案约为3或4 TB。作为常规备份的一部分,这太多了,无法备份,每周将需要许多额外的磁带,这是浪费,因为它永远都不会改变。而且我们也没有多余的SAN存储。
PowerApp101

1
对于3-4 TB,我将挑选一堆1.0-1.5 TB的外部驱动器,并直接在驱动器上制作两组备份副本。希捷制造的机箱可容纳4个1TB SATA驱动器,并允许通过单个USB连接进行访问。您可以加载其中两个,然后将它们分别放在不同的位置。仍然每年或两年将它们带出,以确保它们仍然可以工作并根据需要更换驱动器。磁带可能会便宜一些,具体取决于您的供应商。
贾斯汀·斯科特

是的,我想在这些便宜的磁盘时代,这是一个可行的解决方案。我想离开磁带,这太不可靠了(CRC错误,磁带断裂,标签错误等)。
PowerApp101

是的,我会选择这个选项。如今,驱动器空间是如此便宜,将数据保存在冗余系统中是必经之路。
2009年

1
USB上的4TB备份将花费近20个小时才能完成。您没有完成工作的窗口,还是像您所说的那样,您的数据永不改变?如果您有窗户,我会选择更高数据速率的。
JohnyD

3

就我而言,我们将存档归档到磁带上,我将告诉您为什么这对我们有意义。

首先,我们使用的软件Tivoli Storage Manager是不言而喻的,我们将在可预见的将来使用该软件。在我看来,就企业备份软件而言,TSM是食物链中最重要的部分,因此,对于我们而言,相对而言不存在更改为其他软件平台的问题。

话虽如此,我们确实保存了许多长期档案,并且我们有几种不同的处理方法。对我们来说幸运的是,我们使用了一些最新的磁带技术,每个磁带盒可以存储多达1TB的数据,因此,将大量存档存储在库中并不是问题。

  • 存档到本地磁带,然后将这些存档复制到我们的备用数据中心,存档磁带位于磁带库中。

我们对某些类型的数据执行此操作,因为会定期从中还原数据,并且数据足够重要,需要两个副本。

  • 存档到本地磁带,而不是远程磁带,并将磁带留在库中。

我们对不太重要的数据执行此操作,这些数据需要定期恢复。

  • 存档到本地磁带,然后将它们发送到异地进行存储。

过去,上述做法已经为我们解决了。几年前,我们确实迁移到了另一种完全不同的磁带技术,并且要移动数据的工作量很大,但这确实没什么大不了的。在TSM中,它实际上是每台服务器价值一个归档文件的一个命令,它将运行。可能要花几天时间才能运行,但这对任何人来说都不是一项积极的工作。

不过,未来的潮流显然是基于磁盘的存储。

只要有机会,我就将磁盘阵列放置在安全的存储设施中,并将长期审核类型的存档复制到这样的设备上。


好主意。实际上,我们有一个类似的设置。我们有2个带有磁带库的远程设施。我们使用Commvault,我猜它类似于TSM。问题是,如何定义“不太重要的数据”。对某人来说很重要!这可能对业务至关重要,而您对此并不了解。
PowerApp101

在磁盘阵列上,值得一看的是Solaris或NetApp上的ZFS,它可以定期验证每个块的校验和,从而大大减少了位腐烂的机会。任何不考虑位腐的归档方法对我来说都是不足的。
RichVel


0

您还可以查看诸如Data Domain(现为NetApp)之类的解决方案。他们归档并执行称为DeDupe的高级压缩,从而查找相似的数据块并获得非常高的压缩率。

您要备份什么样的数据?是所有“随机”数据,例如视频还是音乐?还是数据可能适合压缩?


怀疑它会像Avamar一样花费太多。如果您花钱,我们会使用Commvault软件,该软件也会执行DeDupe,而我们没有。该死的GFC!
PowerApp101

0

继续使用新的归档解决方案,并在需要这些数据的期间保留磁带。如果您永久需要它,则可以考虑将其迁移到磁盘。借助磁盘备份,迁移到将来的介质无疑变得更加容易。

如果不再需要这些备份,则从现在开始的一年或之后的2年,您可以开始分发磁带。

如果时间能为您解决问题,那么重新实现将是一项巨大的工作。如果您有与存储备份和/或与这些备份一起使用的软件许可证相关的成本,请进行成本分析。


0

为了简化您的谜题,数据归档的问题似乎是旧磁带与新硬件的未来兼容性。

我的解决方案:仅选择一家拥有完整解决方案(软件和硬件)的供应商,您相信该解决方案将尽最大努力提供传统兼容性。

考虑到您的忠诚度,显然可以得到非常好的价格合同;)

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.