如果LTO-3完全备份需要多个磁带。下一步我的硬件明智的做法是什么?


12

好。一些考虑因素

我使用Backup Exec 12.x / 13.x,具有包含Exchange的服务器2003/2008环境。

我发生了备份到磁盘(完全/差异)的情况,与备份到LTO(完全/差异)的状况无关。由于多个原因,我宁愿不只是要从磁盘备份到磁带,而是要直接将备份备份到LTO。

我目前只有一个LTO-3驱动器,没有任何装载程序/机器人/库。LTO驱动器包装盒中装有Adaptec 39160 Ultra160 SCSI卡。我目前使用一盘录像带来充满(每周一盘),用一盘录像带来比较(每星期取出磁带前四天)。完整备份正在突破372.5GB的障碍,当备份没有完成时,它将在星期一早上等待磁带。

沃德提到在正常工作时间之后的星期一下午/晚上放第二根LTO3完整磁带。问题与下面进行比较:

正常流量

  • 星期五插入LTO3磁带1以进行第1周的完整备份
  • 星期一插入LTO3胶带用于差分
  • 星期二,星期三,星期四差异使用星期一插入的磁带
  • 重复第2周

2条LTO3磁带可实现完整备份

  • 星期五插入LTO3磁带1以进行第1周的完整备份
  • 星期一插入LTO3磁带2以进行第1周的完整备份
  • 星期一插入LTO3磁带1以进行第1周的完整备份(用于验证过程)
  • 星期一插入LTO3磁带2以进行第1周的完整备份(用于验证过程)
  • 星期二插入LTO 3差分胶带
  • 星期三,星期四差异使用星期二插入的磁带
  • 重复第2周

到星期一,多余的磁带交换会吃掉6个多小时(从我放入第二个磁带的时间开始)。如果我在下午5点这样做,我会一直待到午夜几乎要交换磁带。这还不包括等待磁带的星期六/星期日/星期一的空闲时间。

现在,我可以关闭验证过程并保存两次磁带交换,并将“备份”过程缩短几个小时,但是如果我不关闭验证,我就不能只放磁带2并在一天结束时走开。将备份溢出到第二个磁带上会延长备份过程,但同时也会

  • 增加循环中的磁带数量(成本)
  • 增加运输中的磁带数量(前往现场存放的公文包的大小/重量)
  • 使我下班后仍待在现场进行验证过程,从而增加了备份过程的复杂性
  • 增加了在我的办公室(服务器室旁边)管理备份/还原的复杂性。对于在家中处理此类问题,这要翻两番。

是的,我星期六不去那里坐6个多小时,然后照看磁带机。我想工作以外的生活。MF发生12小时后,它们已经很糟糕了。我不会将自己永久固定在每周工作6天的工作上。

磁带机是Dell PowerVault 110T LTO3。备份服务器仅使用单个NIC在千兆以太网上,并且可以在大约12小时内填满整个磁带。

我可以更改备份过程,以将一台更密集的服务器分离到自己的LTO上进行完全备份,以暂时搁置这一决定,但是不久之后,我想我需要选择以下选项之一:

  1. 购买LTO-3驱动器,并利用仅有的第二个物理磁带。这是不太理想的选择,并且只有在LTO-3驱动器比LTO-4驱动器便宜得多的情况下才有意义。

  2. 购买LTO-4驱动器,并使用LTO-4磁带进行完整备份,并使用LTO-3磁带进行差异备份,直到LTO-3磁带旋转出来并且新的LTO4磁带与LTO3磁带的价格相符。这可能使我无需更换磁带就可以进行多年的周末备份。由于LTO4的最低速度低于LTO3,因此这也部分解决了擦鞋问题。

  3. 购买可以自动装入磁带的东西。我假设没有可以添加到PowerVault 110T中的东西,这意味着要购买一台新的设备,该设备在同一单元中具有磁带和装载器。与仅获得驱动器和手动加载磁带相比,这可能不具有成本效益,但是自动加载LTO4将是最终的便利。我让上面的老板在单个磁带驱动器和自动加载驱动器之间做出选择。

埃文·安德森(Evan Anderson)在另一种解决方案中提到,您可以在此价格范围内购买硬盘

 LTO-4 (internal drive, 1 tape / day) - $2,766.00  
 LTO-4 (autoloader, 1 tape / day) - $4,566.00

但是我不知道他或您对实际驱动器和(如果需要)控制器的建议的具体细节。如果您不介意查找它,或者只是给我一个品牌和型号,请给我显示一个新蛋URL(或Dell,HP或您喜欢的任何供应商的名字),如果您不介意查找它,或者只给我一个品牌和型号,我会很乐意腿自己动手。

我正在寻找一些必要的购买方式,以免这种备用轮换变得太麻烦了。我大概有几个月了。

Xenny提到了服务器的年龄和备份速度。Exchange服务器已使用6年(尽管硬盘驱动器要新得多)。消费者级别的sata驱动器(WD6400AAKS)混合使用了两台具有4年历史的服务器。我认为“新”的服务器已有2年的历史了。

从旧的交换服务器备份到磁盘的速度高达2184 MB / min,但是在此设置中,通常备份到磁盘的速度与备份到磁带的速度一样慢。实际上,备份到磁盘有时比备份到LTO-3磁带驱动器慢。我还遇到了驱动器故障以及缺少托架以添加更多驱动器的问题。通常,到磁盘备份比LTO3 / 4过渡甚至是一个更大的问题,但是如果我想输入有关该主题的信息,则这是关于serverfault的另一个问题。

我将从最近的备份中选择一些数字,以使您对速度有所了解。这不是完整的列表,但可以让您对所涉及的各种速度有所了解。我计划尽快以oldspeed MB / min newspeed MB / min 的格式进行更新,其中oldspeed是旧的SCSI 320 LTO3,而newspeed是SAS LTO4。

DC C:〜850 MB / min
DC系统状态〜700 MB / min
Exchange Server C:和系统状态〜500 MB / min〜600 MB / min
Exchange Server D:〜1400 MB / min〜1200 MB / min
Exchange Server首先存储组〜1100 MB /分钟〜700MB /分钟
网络服务器C:〜600 MB /分钟〜950 MB /分钟
网络服务器E:〜1700 MB /分钟〜1950 MB /分钟
文件服务器C:〜500 MB /分钟
文件服务器E:〜1500 MB /分钟〜2200 MB /分钟
文件服务器G:〜1800 MB /分钟〜2400 MB /分钟
文件服务器的系统状态〜650 MB /分钟
faxserver C:〜400 MB /分钟〜550 MB /分钟
计费服务器C:〜1300 MB / min〜1775 MB / min
计费服务器D:〜1500 MB / min〜2250 MB / min
计费SQL实例〜1600 MB / min
应用服务器C:和系统状态〜700 MB / min〜900 MB /分钟
备份服务器C:700 MB /分钟〜1800 MB /分钟
备份服务器E:1350 MB /分钟〜2900 MB /分钟

监视文件服务器我看到一些数字,使我认为RAI​​D控制器正在抑制传输速率。控制器为SATA 1.5,但驱动器为3.0。在将卷从RAID 1更改为RAID 10之后,我发现备份速度没有增加。不幸的是,将持续读取速度提高一倍对备份到LTO3磁带驱动器没有影响。

通常,直接备份到LTO可以为我的服务器提供I / O限制的地方提供不错的基准。备份速度低于1500 MB / min的服务器通常是磁盘速度较慢的服务器,而那里备份的服务器和2400 MB / min之间的服务器仍然是低挂果。例如,Exchange 2003服务器的磁盘空间不足,并继续将“第一存储组”的数据库扩展到磁盘的较慢部分。该服务器将被具有更快处理器和更多磁盘的Exchange 2010服务器替换。其他服务器将获得磁盘升级和/或SSD。

http://en.wikipedia.org/wiki/Tape_drive提到“ 擦鞋时,它会显着影响可达到的数据速率以及驱动器和磁带寿命。” 但是没有提到擦鞋会降低磁带的有效容量。查看了银行提供的存档磁带后,我可以确认LTO3磁带上浪费了大约2%至15%的空间。距离我足够远,无法阻止我迁移到LTO4或自动装带器,但这可能很重要。对于使用Backup Exec的人,您可以通过以下方法计算擦鞋浪费:

  • 进行备份作业,无需压缩即可备份大约100%的磁带本机容量。运行测试时,禁用驱动器和软件上的压缩。
  • 在备份执行程序的媒体标签中查看,然后将“已用容量”列与“数据”列进行比较。如果关闭了压缩并且数字匹配,那么您根本就不会感到厌烦。

以我为例,我有一个存档的LTO3磁带,其中“使用”为272.4 GB,但“数据”仅为233.67 GB,另一个为400.6 GB,而后者为395.19 GB。我还尝试了不压缩的LTO4备份,仅使用786.77 GB的“数据”获得了833 GB的“已使用”。显然,根据我的环境,鞋底会有所不同,但是在此之前,我不打算进行测试。希望这可以使您清楚地知道如何计算备份环境中浪费了多少磁带。

编辑:http://www.fujifilmusa.com/shared/bin/LTO_Overview.pdf上的新信息,显示LTO3和LTO4的最低磁带速度。看起来IBM LTO4实际上具有比IBM LTO3更低的最低速度。无论哪种方式,我的平均服务器速度都太慢,以至于无法毫不费力地喂LTO3 / 4。我担心即使备份到磁盘本地卷也太慢而无法快速填充驱动器,但我必须对此进行测试。

我从上面的PDF中提取IBM全高驱动器信息

LTO4 : 30-120MB/s 800GB native (45-240MB/s compressed)
LTO3 : 40- 80MB/s 400GB native (60-160MB/s compressed)
LTO2 : 18- 35MB/s 200GB native (27- 70MB/s compressed)
LTO1 : 15- 15MB/s 100GB native (30- 30MB/s compressed)  


更新:我用于备份的服务器开始出现停止错误,因此我将磁带机移至另一台服务器。旧的SCSI控制器是Adaptec 160,“新的”控制器是基于LSI的320(至少我认为外部连接器是320,因为服务器内部的4个硬盘驱动器在服务器管理中提到320 SCSI)。

新服务器的情况使我暂时无法备份到磁盘,直到获得用于直接连接存储的外部存储设备为止。总的来说,这次LTO讨论使我倾向于为服务器购买更多硬盘。我将进行重新配置RAID阵列的工作,以提高备份速度,并希望提高整体设置的可靠性。

更新2:下面的比较使用一个旧的文件服务器,其RAID控制器以〜40MB / s的速度限制所有传输,因此理想的速度约为2400MB / min。这大约是测试鞋擦边缘所需的速度。据推测,数据流不会完全规则,并且会在整个测试过程中强制进行速度匹配。

我不再知道我在旧LTO3驱动器的速度测试中使用的缓冲区大小和缓冲区计数,但是它并没有太大改变,通过调整缓冲区,我可能获得了100MB / min的增益。测试数据约为20GB扫描的tif和jpg。我在星期五的下午进行了这些测试,但我没有重复测试足够的时间来平均数据或清除无效数据。下班后进行测试,选择不同的数据以及其他变量可能会明显影响这些测试。

在所有测试中都使用相同的服务器。旧驱动器位于PCIx的320 SCSI LVD控制器上。新驱动器位于PCIe LSI 3801E SAS控制器上。驱动器控制器和/或LTO3磁带驱动器可能是瓶颈。我将不会测试单个组件,只会测试旧配对与新配对。运行Backup Exec的服务器具有4GB内存,32位Server 2008标准,奔腾D 3.2GHz双核CPU。

网络连接是通过1Gb交换机实现的,两个服务器都位于同一交换机上。我打开了“远程桌面连接”,但是随着备份的进行,该连接的Gb连接在最坏的情况下利用率不到50%,而平均利用率则高达25%。

因此,尽管测试方法很粗糙,但我相当有信心瓶颈不是我要忽略的变量。

简短的测试结果
使用Dell LTO3驱动器和LTO3磁带压缩功能打开时,〜1500 MB / min,块大小为64KB(已测试许多缓冲区计数,此处列出了最佳结果)

使用带有LTO3磁带(与上面相同的磁带)的Quantum Superloader3 LTO 4驱动器以1800 MB / min的速度压缩打开,64KB块大小,64KB缓冲区大小,缓冲区计数10,高水位计数0,写单块模式打开,写SCSI传递通过模式开启

使用带有LTO3磁带(与上述相同的磁带)的Quantum Superloader3 LTO 4驱动器以〜2150 MB / min的速度压缩打开,256KB块大小,256KB缓冲区大小,缓冲区计数10,高水位计数0,写入单块模式为ON,写入SCSI传递在Quantum Superloader3 LTO 4驱动器上使用LTO3磁带(与上述相同的磁带)压缩关闭,256KB块大小,256KB缓冲区大小,缓冲区计数10,高水位计数0,写入模式下,以
大约2200 MB / min的速度通过模式ON,写入SCSI直通模式开启

使用Quantum Superloader3 LTO 4驱动器以〜2050 MB / min的速度打开LTO4磁带压缩,256KB块大小,256KB缓冲区大小,缓冲区计数10,高水位计数0,写单个块模式打开,写SCSI直通模式打开
〜2250 MB / min使用Quantum Superloader3 LTO 4驱动器,LTO4磁带压缩关闭,256KB块大小,256KB缓冲区大小,缓冲区计数10,高水位计数0,写入单块模式打开,写入SCSI直通模式打开

使用Quantum Superloader3 LTO 4驱动器以〜2050 MB / min的速度打开LTO4磁带压缩,256KB块大小,1MB缓冲区大小,缓冲区计数10,高水位计数0,写单个块模式打开,写SCSI直通模式打开
〜2300 MB使用Quantum Superloader3 LTO 4驱动器/ min,使用LTO4磁带压缩功能关闭,256KB块大小,1MB缓冲区大小,缓冲区计数10,高水位计数0,写入单块模式打开,写入SCSI直通模式打开

使用Quantum Superloader3 LTO 4驱动器以2200 MB / min的速度打开LTO4磁带压缩,256KB块大小,1MB缓冲区大小,缓冲区计数20,高水位计数0,写单个块模式打开,写SCSI直通模式打开
〜2300 MB使用Quantum Superloader3 LTO 4驱动器/ min,使用LTO4磁带压缩功能关闭,256KB块大小,1MB缓冲区大小,缓冲区计数20,高水位计数0,写入单块模式打开,写入SCSI直通模式打开

显然,调整块大小比缓冲区大小更重要。无论您使用的块大小或缓冲区大小如何,如果源数据无法满足磁带机的最低数据匹配率,关闭压缩都将获得更好的性能。不幸的是,这是每个驱动器设置,而不是每个作业或磁带格式设置,因此您不能仅将压缩限制为完全备份或仅限于LTO3。您还必须测试硬件/软件组合带来的问题。当然,对性能的影响很小,更重要的测试将是将完全备份的容量从600GB优化为800GB,而不是20GB。备份几周或几个月后,我将尝试再次更新。


2
您正在使用压缩,对吗?
马特·西蒙斯

马特,请参阅Xenny回答的评论,我们将在其中讨论压缩率。
pplrppl 2010年

你弄清楚去哪里吃饭肯定是谋杀。;)
joeqwerty 2010年

这实际上很容易做到。食物不是只有一个正确答案的领域。我有很多我喜欢的食物。至于写作,我倾向于落入拉里·尼文的阵营。他的同时代人曾说过,当他为一个概念写一个故事时,做得如此彻底,以至于没有理由再做一次。有关示例,请参见books.google.com/…
pplrppl

在记录某些东西时,我的目标是使它变得足够彻底,以至于我完全可以忘记那些细微的细节,并且记住足够多的地方来搜索它或搜索我在本地拥有的文档以恢复过去的工作。在这个过程中,有时我学到的东西比我打算涵盖的要多,但是探索新概念通常会有所回报。
pplrppl 2010年

Answers:


7

顺带一提,请注意100MB / min远低于使用LTO 3进行磁带流传输的最低速度,因此,在磁带停止和启动时,您可能会损失相当多的容量(即,您可能会提高到1.5以上: 1压缩,但这会丢失在磁带上的数据间隙中)。对于LTO 4,这可能会更糟,因为我认为最低速度已经提高。

磁盘-磁盘-磁带将帮助解决最低速度问题,并为您提供一些免费容量。

如果不这样做,请强烈考虑要备份的服务器上磁盘的某种计划的碎片整理。在相当现代的硬件上,千兆以太网的吞吐量不是1000 MB / min的高水平。我希望即使在使用了2年的计算机上,您也应该能够获得1800MB / min的速度(仅以30MB / sec的速度从服务器磁盘读取数据),因此还有改进的余地。

编辑:对于LTO 3,您确实需要256KB的块大小才能获得最佳性能。

WRT擦鞋器闪闪发光,如果缓冲区短暂耗尽,则磁带将没有时间倒带,因此会在磁带上留出空隙。


1
如果我能确定擦鞋效果会影响可用容量,那么您肯定会被修改。如果容量影响显着,我将创建一个新问题,因为该概念并不直接与该问题相关。
pplrppl

Backup Exec和Windows都不提供256KB的块大小。提供给我的最高的是64KB块。可能可以在硬件RAID阵列中指定更高的块大小,但并非我的所有服务器都具有硬件RAID。
pplrppl

由于PowerVault 110T LTO-3是IBM全高驱动器,除HP以外的任何人都转移到LTO4,实际上会降低我的最小传输速率–请参见上述编辑
pplrppl

我在最新的完整备份上得到了1.536:1。备份执行程序将四舍五入并调用1.6:1。578.53GB磁带上压缩到367.6GB。优化备份速度将花费我数周(甚至数月)的时间。
pplrppl

您还可以通过擦鞋鞋来减少驱动器寿命
马特·西蒙斯

3

备份不可避免地超出了您最初计划的容量。这是我对您的情况的建议和看法:

  1. 因此,完全备份超出了一根磁带的容量。然后使用两盘胶带。

  2. 遵循Symantec的建议,继续将其备份到磁盘,然后将那些磁盘备份备份到磁带。安排将备份到磁盘的时间安排在使用较少资源的几个小时之后。计划在磁盘备份完成后的一天中的任何时间进行到磁带的备份,因为到磁带的备份对生产系统没有任何影响。

  3. 将一周的备份(完全备份和差异备份)视为同一备份集的一部分。如果每周需要两三盘磁带,那就这样吧。

  4. 安排备份到磁带仅在您交换磁带的那一周进行。

我有类似的情况,我正在使用Dell Powervault 110t Lto2驱动器,这是我的工作:

  1. 在星期六,我对磁盘进行了完整备份(对磁盘文件夹进行了完整备份)。

  2. 星期日到星期五,我将增量备份备份到磁盘(将另一备份备份到磁盘文件夹以获取增量备份)。

  3. 星期一至星期五,我将备份备份到磁带的完整备份中,并将增量备份备份到磁盘文件夹中。当磁带达到容量时,我将其换出。如果它在深夜达到容量,我将在第二天早上将其换出,然后磁带作业完成。

  4. 星期五备份到磁带作业后,下周交换磁带。我拉出的两个磁带是当前周的完整磁带和增量磁带,进入我的4周轮换。现在我知道当前所有星期的备份数据都存储在一个磁带集上,并且存储在异地。

冲洗并重复


1
附带说明,我不会在任何其他磁带驱动器,自动装载器等上花费任何金钱。您不能正确地认为,每当备份超过单个磁带的容量时就需要购买新的硬件。想想在任何给定的一周内发生的备份是同一备份集的一部分,是否需要一盘,两盘,三盘磁带等
。– joeqwerty

如果在更改数据之前未插入第二个磁带,则直接备份到磁带时,备份中将记录错误。由于您先备份到磁盘再备份到磁带,所以可以避免此问题。为此,我将测试备份到磁盘到磁带的备份,并在不久的将来测试擦鞋效果。但是,对于刚使用第二条磁带的建议,您应该比较谨慎。有很多要考虑的问题。
pplrppl

@pplrppl:骑士?认真吗 您认为我的建议比较轻率,就像在轻率而轻蔑地驳回重要事项一样?您为什么不告诉我您如何看待我的建议。另外,您为什么不对与使用第二个备份磁带相关的重大问题进行教育,因为很明显,我对适当的备份技术缺乏了解。非常感谢。
joeqwerty,2010年

1
@pplrppl:另外,尽管您可能不同意我的回答,甚至可能在技术上认为它是不正确的或劣等的,但也没有必要对我的建议做出判断,因为这暗示了自己的勇气,因为这意味着缺乏良好的意愿甚至是我的粗心。恕我直言,这里没有这类评论的地方。
joeqwerty,2010年

好吧,因为您的清单中有重复的数字,所以很难清楚地评论问题。如果我们说第一个列表是A,而第一个列表是1A,那么我想我们可以用它来指定。
pplrppl

2

我们执行类似于joe的操作:

  1. 星期六:完整备份到磁盘,完成后将其完整备份到磁带
  2. 星期一:一天结束时,再贴上一条胶带,让备份完成
  3. mon-fri:仅将差异备份到磁盘

如果您确实必须独立于磁盘-磁盘备份来做磁带,则我将两个备份略微不同步:

  1. 在星期六启动磁盘和磁盘磁带,磁盘将完成,并且磁盘磁带将在星期一等待第二个磁带
  2. 在星期一完成磁带录像带(我仍然要等到一天结束才能放入磁带)。
  3. 周一至周五,请进行磁盘与磁盘的区别(实际上,我看到您没有说要这样做,但我假设您是这样做的)
  4. 周二至周五,做您的磁盘磁带差异

我在两个不同的媒体上备份略有不同的文件集没有问题。在几乎所有情况下,您都将要从磁盘备份中还原文件,而磁带只是后备或组织多个备份集的简便方法。


如果备份到已满的第二个磁带的磁带是在业务结束时开始的(例如下午5点或下午6点之后),那么您将无法执行第4点中提到的Tue-Fri差异。充其量,这将给我留下完整的第二个磁带周一上午,在周二,周三,周四与磁带差异化,下一个完整磁带1在周五进行。
pplrppl

1

这是一个可以帮助您度过一会儿的选择:

您是否考虑过将备份分为两个单独的数据集?根据文件的组织方式,您可以轻松地将其分为两个逻辑块(即按部门划分)。您将在星期四晚上对第一个数据集进行完整备份,并在星期五晚上对第二个数据集进行完整备份。此后的每个晚上,都会在单个磁带上运行两个作业,每个数据集都有差异。

这样一来,您就不必在周末出门,也不必在等待验证完成时就坐下硬盘。此外,可以说,您获得了额外的保护,可以避免所有鸡蛋都放在一个篮子里。


我绝对考虑过类似的策略。我分解工作的最大顾虑是,当我不在时(去银行或从银行去),如何处理磁带。我已经放了三个星期的假期,如果我离开,谁会跟上复杂的磁带轮换?我最近正在为我的父亲做手术,被要求放入磁带的人周五没有按需插入新磁带。查看电子邮件并查看磁带请求后,我进入了Sat。在一周的任何一天添加更多的磁带交换会增加备份无法按计划进行的机会。
pplrppl 2010年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.